Mistral's official instruct fine-tuned version of Mixtral 8x22B. It uses 39B active parameters out of 141B, offering unparalleled cost efficiency for its size. Its strengths include:
See benchmarks on the launch announcement hereOpens in new tab. #moe
| $2.00 | $6.00 | $0.20 | 0.49s | 102 tps | ||
| $2.00 | $6.00 | $0.20 | 0.43s | 104 tps | ||
Standard ルーティングでは使用されません:これらのエンドポイントが使用されない理由 | ||||||
| $2.20 | $6.60 | $0.22 | -- | -- | ||
P50、プロバイダー全体での最良値
P50、最適なプロバイダー
上流のプロバイダーでエラーが発生した場合、リクエストフィルターが許可していれば、別の正常なプロバイダーにルーティングして復旧できます。プロバイダーごとの稼働率データにプログラムでアクセスするには Endpoints APIを利用できます。詳しくは、 負荷分散とプロバイダールーティングのオプションをご覧ください。