DeepSearchQA

一つの事実を見つけることと、 すべての 事実を見つけることは、異なる検索課題です。BrowseComp の回答は幸運な検索一回で見つかることがありますが、DeepSearchQA の回答は、エージェントが見つかった情報とまだ不足している情報を追跡しながら、複数の検索を通じて組み立てる必要があります。この網羅性への要求は検索スタックの別の部分を試すもので、結果の幅広さと重複排除がランキングと同じくらい重要になります。

モデルを固定して実行するのは、OpenRouter のユーザーが実際に制御できる変数を切り分けるためです。その変数とは、検索を処理するエンジン、検索をサーバーツールとプラグインのどちらで実行するか、ループで許可するエージェントのターン数です。これらはまさに、現在リクエストで設定できる項目です。

これらのスコアは検索構成を比較するものであり、エージェント製品を比較するものではありません。モデルは検索結果の抜粋のみを読み、ページ全体の取得もコードツールの使用も行わないため、絶対値はその両方を許可する公開エージェントランキングよりも低くなります。スコアの絶対的な水準ではなく、構成を比較してください。

各回答を完全正解か不正解かで判定する採点方式により、この評価スイートは厳格になっており、リスト項目を一つ欠いた場合もすべて欠いた場合も同じスコアになるため、スコアは低くなり、エンジン間の小さな差にはノイズが多く含まれます。ここでは、信頼区間の重なりは同等性の証拠ではなく、差を確定できないものとして扱います。構成のコストもスコアと同様に現実的な要素なので、品質と効率を併せて評価してください。

問題は公開されているため、時間の経過とともに暗記によって絶対スコアがかさ上げされる可能性がありますが、すべての構成で同じモデルを使用しているため、検索構成間の差には引き続き意味があります。

各タスクは、期待される回答要素の参照リストが付いた質問で構成されます。判定モデルは、期待されるすべての要素と回答を照合し、参照リストにない内容を回答が断定している過剰な回答要素にもフラグを付けます。判定モデルが期待されるすべての要素を確認し、過剰な回答要素がないと判断した場合にのみ、タスクは正解となります。採点は部分点のない二値評価で、失敗または拒否されたタスクの得点はゼロです。

reward = all_expected_parts_found ∧ no_excessive_answers   // ∈ {0, 1}
judge  = gemini-2.5-flash, strict json_schema completeness verdict
empty or refused answers skip the judge and score 0

検索構成は、単一のモデル、検索エンジン、リクエスト形式、検索予算の上限で構成されます。スコアは検証済みの各実行の質問数で重み付けされ、小規模なスモークテストは除外されます。

実行は、OpenRouter のベンチマークハーネスである Kepler 上で、本番エンドポイントに対して行われます。サーバーツール構成では、 ウェブ検索サーバーツールにリクエスト単位のツール呼び出し予算を設定します。プラグイン構成では、 ウェブ検索プラグインを使用して、推論前に質問を一度検索します。エンジンは、本番トラフィックの処理と同じデフォルト構成を使用します。

各実行では、使用したモデル、エンジン、リクエスト形式、検索予算、コスト、利用可能なタイミングのテレメトリが正確に保存されます。設定が欠けている場合は比較表でも欠けたままとなり、 absent or zero telemetry is not treated as free or instantaneous performance.