HLE

HLE は、検索のスペクトルにおいて BrowseComp とは反対の端に位置します。その問題は各分野の専門家によって曖昧さがなく極めて難しいものとして作成されているため、モデルのベースラインスコアは主に既存の知識によって決まります。ウェブ検索を追加すると、検索構成が専門家レベルの知識を必要に応じてどれだけ取得できるか、という別の問いに変わります。

モデルを固定して実行するのは、OpenRouter ユーザーが実際に制御できる変数を切り分けるためです。それらは、検索を処理するエンジン、検索をサーバーツールとして実行するかプラグインとして実行するか、ループで許可するエージェントのターン数です。これらの調整項目は、まさに現在リクエストで設定できるものです。

これらのスコアは、エージェント製品ではなく検索構成を比較するものです。モデルは検索結果の抜粋のみを読み、ページ全体の取得もコードツールの使用も行わないため、絶対値はその両方を許可する公開エージェントランキングより低くなります。スコアの絶対値ではなく、構成を比較してください。

HLE は閲覧の深さよりも専門知識を重視するため、検索構成間の差は BrowseComp よりも小さく、多くの問題はどの予算でも同じように正答または誤答されます。信頼区間が重なるエンジン間の差は、ここでは同等である証拠ではなく、未確定として扱います。構成のコストはスコアと同じく実質的な指標なので、品質と効率を併せて評価してください。

公開データセットのテキストのみのサブセットを使用し、マルチモーダルの問題は除外しているため、スコアを HLE 全体のランキングと直接比較することはできません。問題が公開されているため、時間の経過とともに記憶によって絶対スコアが水増しされる可能性がありますが、すべての構成で同じモデルを使用しているため、検索構成間の差には引き続き意味があります。

各タスクは、短い参照回答が付いた質問です。モデルは固定形式（説明、正確な回答、申告された確信度）で回答し、判定モデルが抽出された回答と参照回答の意味的な同等性を採点しますが、これは BrowseComp が使用するものと同じ回答同等性の採点方式です。採点は部分点のない二値評価で、失敗または拒否されたタスクは零点になります。

reward = judge(extracted_answer ≡ reference_answer)   // ∈ {0, 1}
judge  = gpt-4.1 at temperature 0, strict json_schema verdict
empty or refused answers skip the judge and score 0

検索構成は、単一のモデル、検索エンジン、リクエスト形式、検索予算の上限で構成されます。スコアは検証済みの各実行の質問数で重み付けされ、小規模なスモークテストは除外されます。

実行は、OpenRouter のベンチマークハーネスである Kepler 上で、本番エンドポイントに対して行われます。サーバーツール構成では、 ウェブ検索サーバーツールにリクエスト単位のツール呼び出し予算を設定します。プラグイン構成では、 ウェブ検索プラグインを使用して、推論前に質問を一度検索します。エンジンは、本番トラフィックの処理と同じデフォルト構成を使用します。

各実行では、使用したモデル、エンジン、リクエスト形式、検索予算、コスト、利用可能なタイミングのテレメトリが正確に保存されます。設定が欠けている場合は比較表でも欠けたままとなり、 absent or zero telemetry is not treated as free or instantaneous performance.