BrowseComp

BrowseComp の質問では、経歴の断片で描写された人物や、複数の制約の交差によって特定される出来事など、何層もの間接的な手がかりの先にある、検証可能な単一の答えを特定します。一度の検索で答えにたどり着くことはまれで、エージェントは仮説を立て、検索し、仮説を棄却し、方向転換する必要があります。そのため、検索の 構成 が何をもたらすかを測定するうえで、これは私たちが持つ最も鋭いツールであり、同じモデルでも、エージェントとしての処理予算を十分に与えると、推論前に一度だけ検索する場合の数倍のスコアを達成します。

OpenRouter ユーザーが実際に制御できる変数を切り分けるため、モデルを固定して実行します。その変数とは、どのエンジンが検索を処理するか、検索をサーバーツールとプラグインのどちらとして実行するか、ループでエージェントのターンを何回まで許可するかです。これらはまさに、現在リクエストで設定できる項目です。

これらのスコアは、エージェント製品ではなく検索構成を比較するものです。モデルは検索結果の抜粋のみを読み、ページ全体の取得もコードツールの使用も行わないため、絶対値は両方を許可する公開エージェントランキングより低くなります。数値の水準そのものではなく、構成を比較してください。

ここでは、信頼区間の重なりは同等性の証明ではなく、未確定として扱います。ある構成の品質がわずかに優れていても大幅に高価な場合は、品質と併せてコストも評価してください。

データセットは学習コーパスへの混入を防ぐため、カナリア文字列を含めて暗号化した状態で配布されますが、質問は公開されており、採点はリアルタイムの複数段階検索に依存するため、暗記による近道は困難です。

各タスクは、短い参照回答が付いた一つの質問です。モデルは固定形式（説明、正確な回答、申告した確信度）で回答し、判定モデルが抽出された回答と参照回答が意味的に同等かどうかを評価します。「1988 to 1996」は「1988-96」と一致しますが、異なるエンティティは不正解になります。評価は部分点のない二値評価で、不正解または拒否されたタスクのスコアはゼロになります。

reward = judge(extracted_answer ≡ reference_answer)   // ∈ {0, 1}
judge  = gpt-4.1 at temperature 0, strict json_schema verdict
empty or refused answers skip the judge and score 0

検索構成は、単一のモデル、検索エンジン、リクエスト形式、検索予算の上限で構成されます。スコアは検証済みの各実行の質問数で重み付けされ、小規模なスモークテストは除外されます。

実行は、OpenRouter のベンチマークハーネスである Kepler 上で、本番エンドポイントに対して行われます。サーバーツール構成では、 ウェブ検索サーバーツールにリクエスト単位のツール呼び出し予算を設定します。プラグイン構成では、 ウェブ検索プラグインを使用して、推論前に質問を一度検索します。エンジンは、本番トラフィックの処理と同じデフォルト構成を使用します。

各実行では、使用したモデル、エンジン、リクエスト形式、検索予算、コスト、利用可能なタイミングのテレメトリが正確に保存されます。設定が欠けている場合は比較表でも欠けたままとなり、 absent or zero telemetry is not treated as free or instantaneous performance.