Sao10K: Llama 3.1 Euryale 70B v2.2

Este modelo é hospedado por um provedor. O OpenRouter encaminha todas as solicitações diretamente a ele — não há decisões de roteamento a tomar.

O preço médio que os clientes realmente pagam por este modelo, ao lado dos preços publicados pelos provedores. O cache e os descontos fazem com que o preço efetivamente pago seja frequentemente bem inferior ao preço anunciado.

A vazão indica a velocidade com que o modelo escreve (tokens por segundo — quanto maior, melhor). A latência é o tempo total de ida e volta (quanto menor, melhor). TTFT é o tempo até o primeiro token — quanto tempo leva para você ver algo aparecer (quanto menor, melhor).

A disponibilidade é a porcentagem dos últimos 3 dias em que pelo menos um provedor estava respondendo às solicitações. A disponibilidade é a porcentagem de tempo em que a inferência foi realizada com sucesso. O OpenRouter monitora continuamente e usa o próximo melhor provedor quando um deles retorna um erro.

Aplicativos públicos que enviam mais tráfego para este modelo. Um bom indicador de como são as cargas de trabalho reais em produção — e uma pista sobre os casos de uso para os quais este modelo é mais adequado.

Volume de tokens e tráfego de requisições para este modelo ao longo do tempo.