AIにソフトウェアの変更を任せるとき、変更後の動作を何で確かめるかが気になります。PerplexityのAstra活用事例は、そのテストを用意する仕事にも目を向けるきっかけになります。

テストを最初から最後まで通せても、途中の外部サービスが模擬応答なら、実際に確かめた範囲には境界があります。どこまでを自動テストで確かめ、どこに別の評価を残すべきでしょうか。

鍵になるのは、テスト用の応答と、本物のモデルが返す回答を分けて考えることです。

Astraにテストの足場を作らせると何を確かめられるか

Perplexityの共同創業者Johnny Ho氏が紹介するのは、Astraにアプリを囲む小さなテストプログラムを作らせる使い方です。言語モデルAPIやコネクターの応答を模擬し、アプリの一連の処理を検査します。同氏は従来のモデルより途中で確認する頻度が減ったと述べていますが、削減率や比較条件は示されていません。OpenAIの事例紹介

ここでのテストプログラムは、対象アプリへ入力を与え、結果を観察するための足場です。テストハーネスとも呼ばれます。GPT-6 Astraは、公式のモデル資料でもコーディングや複雑な推論を用途に挙げています。ただし、対応する能力があることと、個々のテストの合格条件が適切なことは別の判断です。

たとえば回答表示画面をテストするなら、内部の関数が呼ばれたことより、受け取った回答をユーザーが読めることを合格条件にしたいところです。Playwrightのテスト設計指針も、実装の細部ではなくユーザーから見える動作を検査するよう勧めています。AIにテストを作らせる場合も、期待する結果を先に言葉にすると、生成された検査内容をレビューしやすくなりますね。

APIを模擬すると、接続先の実際の動作は検査の外に出る

外部APIの代わりに用意した応答を返す方法は、既存のテストツールでも使えます。PlaywrightのAPIモックの公式例では、page.route()でブラウザーのリクエストを捕捉し、route.fulfill()でJSONを返します。この例では実際のAPIへリクエストを送りません。これは仕組みを理解するための補足で、PerplexityがPlaywrightを使っているという意味ではありません。

応答を固定すれば、同じ入力条件でアプリの表示や分岐を調べられます。一方、その応答を実サービスが返せるか、認証が通るか、生成された回答が正しいかは、この検査だけでは分かりません。

次の表は、テスト対象を分けるための設計例です。Perplexityの内部構成を表したものではありません。

検査の組み立て	確かめる問い	別に残る問い
外部応答を固定してアプリを動かす	この応答を受けたとき、画面や処理は期待どおりか	実サービスでも同じ応答を取得できるか
実サービスへ接続して処理を通す	この環境と条件で接続し、結果を扱えるか	他の入力でも回答の品質を保てるか
実モデルを評価用データで比較する	対象業務の基準をどの程度満たすか	評価に含めていない場面でどう振る舞うか

「端から端まで」という言葉だけで判断せず、どの接続先を置き換えたかを見ると、テスト結果の意味が具体的になります。

確認の手間を減らすなら、合格条件と失敗記録を残す

本物の生成AIは、同じ入力に対して異なる出力を返すことがあります。OpenAIの評価設計ガイドは、この変動を踏まえて、目的、データセット、指標を定め、変更のたびに評価を続ける流れを示しています。固定応答による動作確認に加えて、実際の回答を業務の基準で評価する理由がここにあります。

自分のアプリに取り入れるなら、まず一つの処理について、成功と失敗を何で判断するかを決めると進めやすそうです。たとえば外部サービスが失敗した場面では、「完了として表示しない」を合格条件にする、といった形です。これは導入時の設計案であり、事例で実施された手順ではありません。

失敗時に追える記録もセットにします。ブラウザーテストなら、PlaywrightのTrace Viewerを使う運用指針が参考になります。操作の時系列、DOMのスナップショット、ネットワークリクエストを調べられるため、失敗した箇所をたどれます。

導入効果を見る際も、途中で声をかけた回数に加え、失敗原因の調査や修正にかかった時間を記録すると、任せた後の負担を判断しやすくなります。AIに任せられるテストの範囲は、合格条件と模擬した部分を説明できる範囲から広げていく。その積み重ねが、確認の手間を減らしながら結果を判断できる運用につながります。

出典

• Title: Perplexity trusts GPT-6 Astra with end-to-end systems
• URL: https://openai.com/index/perplexity-improving-accuracy-with-astra