A 12B parameter model with a 128k token context length built by Mistral in collaboration with NVIDIA.
The model is multilingual, supporting English, French, German, Spanish, Italian, Portuguese, Chinese, Japanese, Korean, Arabic, and Hindi.
It supports function calling and is released under the Apache 2.0 license.
| $0.018 | $0.03 | -- | 0.63s | 11 tps | ||
28% off | $0.023$0.01656 | $0.03$0.0216 | $0.015$0.0108 | 0.34s | 61 tps | |
| $0.029 | $0.03 | -- | 0.72s | 27 tps | ||
| $0.03 | $0.03 | -- | 0.43s | 88 tps | ||
Standard ルーティングでは使用されません:これらのエンドポイントが使用されない理由 | ||||||
| $0.15 | $0.15 | $0.015 | 1.04s | 59 tps | ||
P50、プロバイダー全体での最良値
P50、最適なプロバイダー
上流のプロバイダーでエラーが発生した場合、リクエストフィルターが許可していれば、別の正常なプロバイダーにルーティングして復旧できます。プロバイダーごとの稼働率データにプログラムでアクセスするには Endpoints APIを利用できます。詳しくは、 負荷分散とプロバイダールーティングのオプションをご覧ください。