Wie Descript neue Modelle aus der Entwicklungswarteschlange nahm

Descript ist eine KI-gestützte Plattform zur Video- und Audiobearbeitung, die professionelle Content-Erstellung für alle zugänglich macht. Durch die Kombination von transkriptbasierter Bearbeitung mit KI-Tools zur Audioverbesserung, zum Klonen von Stimmen und für generative Medien ermöglicht Descript Teams, Inhalte in Studioqualität ohne spezielles Fachwissen zu produzieren. Unternehmenskunden aus dem Gesundheitswesen, dem Finanzsektor, der Medienbranche und der Technologiebranche nutzen Descript, um ihre Content-Produktion zu skalieren und dabei die menschliche Kontrolle über jede kreative Entscheidung zu bewahren.

Underlord, der Videobearbeitungsagent von Descript, kombiniert LLMs mit einem Harness, der dem Modell vorgibt, wie es handeln und Videos bearbeiten soll.

Aleks Mistratov, der das KI-Produkt leitet, erklärt, dass Descript auf Videos mit sprechenden Personen spezialisiert ist: YouTube-Creator-Videos, Marketingvideos mit einer sprechenden Person, Video-Podcasts. Der gemeinsame Nenner sind narrative und transkriptbasierte Inhalte, und wie gut ein Modell damit umgeht, lässt sich nicht durch einen öffentlichen Vergleichstest beantworten.

Descript unterhielt drei direkte Integrationen mit OpenAI, Anthropic und Google. Die Fallback-Logik zwischen ihnen bestand aus Code, den das Team selbst schrieb und verantwortete, und funktionierte durch Modellwechsel: Wenn eine GPT-Anfrage fehlschlug, antwortete stattdessen ein Anthropic-Modell.

Die technische Hürde waren sich ändernde Parameter. Jeder Modellentwickler erwartete eine andere Art der Informationsübergabe, und bei jeder neuen Version musste geprüft werden, welche Parameter nun fehlten, welche nun erforderlich waren und welche nicht mehr unterstützt wurden. Ein neues Modell in Betrieb zu nehmen, kostete mindestens ein paar Stunden, die größtenteils für die Fehlersuche aufgewendet wurden.

Die organisatorische Hürde war größer. Die Person, die ein neues Modell testen wollte, war nicht die Person, die es hinzufügen konnte, sodass für Tests erst Zeit im Kalender eines Entwicklers gefunden werden musste. Es vergingen Tage, bevor sich jemand darum kümmern konnte. Die Arbeit selbst dauerte immer nur ein paar Stunden. Diese Stunden in der Aufgabenliste eines Entwicklers unterzubringen, machte aus einer Frage zu einem vielversprechenden Modell eine einwöchige Wartezeit, bevor jemand wusste, ob es sich lohnte, es weiterzuverfolgen.

Descript stellte im Wesentlichen ein Modell bereit, als es beschloss, Claude auszuprobieren, und über OpenRouter kam das zweite hinzu.

Stand August 2026 laufen im Produktivbetrieb 13 Modelle von vier Modellentwicklern:

• Anthropic: Fable 5, Opus 5, Opus 4.8, Opus 4.7, Opus 4.6, Sonnet 5, Sonnet 4.6, Haiku 4.5
• Google: Gemini 3.1 Pro, Gemini 3.5 Flash
• OpenAI: GPT-5.4, GPT-5.5
• xAI: Grok 4.5

Fünf dieser Anthropic-Modelle sind Spitzenversionen, die gleichzeitig laufen.

Im Produktivbetrieb wurden drei direkte Integrationen durch eine Verbindung über OpenRouter ersetzt. Descript behält weiterhin eine direkte Verbindung zu Anthropic bei, weil es ein früher Anthropic-Partner ist und einige Early-Access-Modelle nur über diese API verfügbar sind. Dieser Weg wird nicht im Produktivbetrieb genutzt.

Für jedes Modell stehen verschiedene Inferenzanbieter zur Wahl, und Descript konfiguriert diese Auswahl pro Modell. OpenRouter zeigt für jeden davon Durchsatz, Verfügbarkeit und Kosten an, und Descript legt anhand dieser Werte die Prioritätsreihenfolge fest: ein Anbieter zuerst für Sonnet 5, eine andere Reihenfolge für Gemini. Die Richtlinie zur Datenaufbewahrung ist Teil derselben Entscheidung, und Descript leitet Anfragen nur an Inferenzanbieter weiter, die seiner Richtlinie entsprechen.

Dort greift auch die zweite Art von Fallback. Die alte Logik von Descript wechselte die Modelle. Die Logik von OpenRouter wechselt die Inferenzanbieter und behält dasselbe Modell bei, sodass ein Ausfall bei einem Host nicht ändert, welches Modell antwortet.

Das Team nutzt seinen eigenen Schlüssel für Baseten für eine dedizierte Bereitstellung eines Open-Weight-Modells. OpenRouter leitet Anfragen für dieses Modell primär an Baseten weiter, wobei andere Anbieter als Fallbacks für dasselbe Modell konfiguriert sind, die alle die oben genannte Richtlinienvorgabe erfüllen. Descript behält die direkte Geschäftsbeziehung und seinen eigenen Schlüssel bei und ist dennoch gegen Rate-Limits und Ausfälle einzelner Anbieter abgesichert.

Descript evaluiert Modelle inzwischen mehrmals pro Woche. Die meisten davon gelangen nie in die Produktion, und genau darum geht es.

Mistratov beschreibt das Muster: Er ist spazieren, sieht einen Ankündigungsbeitrag zu einem neu veröffentlichten Modell und bittet in Slack um Evaluierungen dazu, mit einem Link zum Modell auf OpenRouter. Ein bis zwei Stunden später sind die Evaluierungen im eigenen Harness von Descript durchgelaufen.

Der Mechanismus dahinter ist Claude Tag, die Slack-Integration von Anthropic, die Descript in einem Kanal mit einer Reihe von Skills für diesen Ablauf eingerichtet hat. Sie führt die Evaluierungen aus, öffnet einen Pull Request, der das Modell zum Harness von Descript hinzufügt, und einen zweiten, der das Modell hinter ein Feature-Flag stellt. Ein Mensch prüft und genehmigt die Änderungen.

OpenRouter hat die Integrationsarbeit pro Modell beseitigt, durch die diese Evaluierungen bisher in der Aufgabenliste eines Entwicklers landeten. Der eigene Agent und der Harness von Descript automatisieren alles rund um diese Schnittstelle. Die Arbeit muss niemandem mehr zugewiesen werden.

Bei einer kürzlich erfolgten Veröffentlichung von Anthropic dauerte es von der Ankündigung bis zum Livebetrieb ein paar Stunden. Die verbleibenden Schritte liegen bei Descript selbst: interne Evaluierungen, eine Entscheidung darüber, ob das Modell das bisherige übertrifft, Konfiguration für die Modellauswahl, Feature-Flag, Deployment. David Dodero, der am Harness und den Evaluierungen des Agententeams arbeitet, merkte an, dass der Großteil dieser verbleibenden Arbeit eher durch die Struktur des Descript-Codes als durch die Anbindung an das Modell entsteht und dass es einfacher wäre, wenn dies auf ihrer Seite anders eingerichtet wäre.

Keith Simmons, der technische Leiter des AI-Enablement-Teams von Descript, hatte beobachtet, dass die Kosten für Modelle der Spitzenklasse zum Problem wurden, und Open-Weight-Veröffentlichungen erschienen so schnell, dass sich nur noch die Frage stellte, ob eines dieser Modelle den eigenen Testfällen von Descript standhielt. Indem diese Frage mehrmals pro Woche geprüft wurde, wurde das Open-Weight-Modell auf dem Baseten-Deployment entdeckt. Simmons beziffert die gesamten Modellausgaben von Descript auf weniger als die Hälfte des früheren Werts, teilweise dank dieses Prozesses, und sagt, dass die Qualität anhand der eigenen Testfälle von Descript gleich geblieben sei.

Simmons betrachtete Routing zunächst als eine Aufgabe, für die Descript keine Entwicklungszeit aufwenden sollte. Das hat sich geändert.

Fallbacks greifen und das Team erfährt erst hinterher beim Lesen der Protokolle davon – oder gar nicht.

In den OpenRouter-Protokollen kann Mistratov beobachten, wie der Datenverkehr wechselt: der primäre Anbieter in ruhigen Phasen, 429er bei Lastspitzen, dann Plan B, Plan C, Plan D mit minimalen Auswirkungen auf das, was die Nutzer erhalten. Wenn jemand in Slack einen Screenshot einer Claude-Statusseite postet und fragt, ob Descript betroffen ist, lautet die Antwort nein, weil der Claude-Datenverkehr zu Vertex AI als weiterem Inferenzanbieter wechselt. Simmons merkt an, dass das Team Claude Code in diesen Zeitfenstern nicht nutzen kann, während Underlord weiter funktioniert.

Zwischen den Vorfällen bleibt es bei diesem Muster.

Das galt selbst, als Descript das Baseten-Deployment einrichtete.

Das Agententeam ist nicht das einzige, das die Anbindung nutzt. Das Media-Understanding-Team leitet hochgeladene Videos über OpenRouter an Gemini weiter, um Inhalte zu analysieren, und Google hat angekündigt, die verwendete Version einzustellen. Der Wechsel zu einer anderen Version ist eine Konfigurationsänderung statt eines Projekts.

Ein anderes Team nutzte die bestehende Anbindung, um mit vier bis sechs Modellen Prototypen für die Generierung visueller Layouts zu entwickeln, darunter Modelle, die das Agententeam nicht in der Produktion einsetzt.

Das beeinflusst inzwischen, wie Mistratov jeden bewertet, der ihm Inferenz verkaufen will.