ERNIE-Light-DT-1.0 is based on open-source GLM models and includes research findings from Baidu Search's Lightning large model. It features Baidu Sparse Attention (BSA), a unique sparse attention mechanism developed by Baidu ERNIE. By using feedback-driven history compression, it improves the storage and indexing of historical information. This significantly reduces KV cache storage and computational costs while maintaining model performance. As a result, it allows for longer context windows at a lower cost.
Derzeit nicht über EU-regionales Routing verfügbar. Dokumentation zum regionsinternen Routing
P50, bester Wert über alle Anbieter hinweg
P50, bester Anbieter
Wenn bei einem vorgelagerten Anbieter ein Fehler auftritt, können wir diesen durch die Weiterleitung an einen anderen funktionsfähigen Anbieter beheben, sofern Ihre Anfragefilter dies zulassen. Sie können programmgesteuert auf die Verfügbarkeitsdaten pro Anbieter zugreifen, und zwar über die Endpunkt-API. Erfahren Sie mehr über unsere Optionen für Lastverteilung und Anbieter-Routing.