A 12B parameter model with a 128k token context length built by Mistral in collaboration with NVIDIA.
The model is multilingual, supporting English, French, German, Spanish, Italian, Portuguese, Chinese, Japanese, Korean, Arabic, and Hindi.
It supports function calling and is released under the Apache 2.0 license.
28% off | US$0.023US$0.01656 | US$0.03US$0.0216 | US$0.015US$0.0108 | 0.36s | 45 tps | |
|---|---|---|---|---|---|---|
| US$0.018 | US$0.03 | -- | 1.03s | 29 tps | ||
| US$0.029 | US$0.03 | -- | 0.95s | 25 tps | ||
| US$0.03 | US$0.03 | -- | 0.57s | 109 tps | ||
Standard 라우팅에서 사용되지 않음:이 엔드포인트를 사용하지 않는 이유 | ||||||
| US$0.15 | US$0.15 | US$0.015 | 0.58s | 81 tps | ||
P50, 제공업체 전체 중 최고
P50, 최고 제공업체
업스트림 제공업체에서 오류가 발생하면 요청 필터에서 허용하는 경우 정상 상태인 다른 제공업체로 라우팅하여 복구할 수 있습니다. 제공업체별 가동 시간 데이터는 프로그래밍 방식으로 엔드포인트 API를 통해 확인할 수 있습니다. 로드 밸런싱 및 사용자 지정 옵션에 대해 자세히 알아보세요.