A 12B parameter model with a 128k token context length built by Mistral in collaboration with NVIDIA.
The model is multilingual, supporting English, French, German, Spanish, Italian, Portuguese, Chinese, Japanese, Korean, Arabic, and Hindi.
It supports function calling and is released under the Apache 2.0 license.
| US$0.018 | US$0.03 | -- | 0.65s | 10 tps | ||
28% off | US$0.023US$0.01656 | US$0.03US$0.0216 | US$0.015US$0.0108 | 0.36s | 59 tps | |
| US$0.029 | US$0.03 | -- | 0.83s | 21 tps | ||
| US$0.03 | US$0.03 | -- | 0.37s | 105 tps | ||
Standard 라우팅에서 사용되지 않음:이 엔드포인트가 사용되지 않는 이유 | ||||||
| US$0.15 | US$0.15 | US$0.015 | 0.67s | 57 tps | ||
P50, 제공업체 중 최고
P50, 최상의 제공업체
업스트림 제공업체에서 오류가 발생하면 요청 필터가 허용하는 경우 정상 상태인 다른 제공업체로 라우팅하여 복구할 수 있습니다. 제공업체별 가동 시간 데이터에 프로그래밍 방식으로 액세스할 때 사용하는 API는 엔드포인트 API입니다. 자세히 알아볼 수 있는 관련 옵션은 부하 분산 및 제공업체 라우팅 옵션입니다.