Comment Descript a sorti les nouveaux modèles de la file d’attente de l’équipe d’ingénierie

Descript est une plateforme de montage vidéo et audio basée sur l’IA qui rend la création de contenu professionnel accessible à tous. En combinant le montage basé sur la transcription avec des outils d’IA pour l’amélioration audio, le clonage vocal et les médias génératifs, Descript permet aux équipes de produire du contenu de qualité studio sans expertise spécialisée. Des entreprises clientes des secteurs de la santé, des services financiers, des médias et de la technologie utilisent Descript pour développer leur production de contenu tout en maintenant un contrôle humain sur chaque décision créative.

Underlord, l’agent de montage vidéo de Descript, associe des LLM à un harness qui indique au modèle comment agir et comment monter des vidéos.

Aleks Mistratov, responsable produit IA, explique que Descript se spécialise dans les vidéos face caméra : vidéos de créateurs YouTube, vidéos marketing où une personne prend la parole, podcasts vidéo. Leur point commun est un contenu narratif fondé sur une transcription, et une évaluation comparative publique ne permet pas de savoir dans quelle mesure un modèle le traite bien.

Descript maintenait trois intégrations directes, avec OpenAI, Anthropic et Google. La logique de secours entre elles reposait sur du code écrit et maintenu par l’équipe, et fonctionnait en changeant de modèle : si une requête GPT échouait, un modèle Anthropic répondait à sa place.

La difficulté technique tenait à l’évolution des paramètres. Chaque développeur de modèles attendait que les informations soient transmises différemment, et chaque nouvelle version exigeait de vérifier quels paramètres manquaient désormais, lesquels étaient devenus obligatoires et lesquels n’étaient plus pris en charge. La mise en service d’un nouveau modèle prenait au moins deux heures, consacrées pour l’essentiel à comprendre pourquoi quelque chose ne fonctionnait pas.

La difficulté organisationnelle était plus grande encore. La personne qui souhaitait tester un nouveau modèle n’était pas celle qui pouvait l’ajouter, si bien que les tests nécessitaient de trouver un créneau dans l’agenda d’un ingénieur. Des jours passaient avant que quelqu’un puisse s’en occuper. Le travail lui-même prenait toujours deux heures environ. C’est l’intégration de ces heures dans la file de tâches d’un ingénieur qui transformait une question sur un modèle prometteur en une semaine d’attente avant que quiconque sache s’il valait la peine d’aller plus loin.

Descript ne proposait pour ainsi dire qu’un seul modèle lorsqu’il a décidé d’essayer Claude, et c’est via OpenRouter que le deuxième est arrivé.

En août 2026, la production utilise 13 modèles de quatre développeurs de modèles :

• Anthropic : Fable 5, Opus 5, Opus 4.8, Opus 4.7, Opus 4.6, Sonnet 5, Sonnet 4.6, Haiku 4.5
• Google : Gemini 3.1 Pro, Gemini 3.5 Flash
• OpenAI : GPT-5.4, GPT-5.5
• xAI : Grok 4.5

Cinq de ces modèles Anthropic sont des versions haut de gamme qui fonctionnent simultanément.

La production est passée de trois intégrations directes à une seule connexion via OpenRouter. Descript conserve une connexion directe à Anthropic, car il compte parmi ses premiers partenaires et certains modèles en accès anticipé ne sont disponibles que via cette API. Cette voie n’est pas utilisée en production.

Pour chaque modèle, plusieurs fournisseurs d’inférence sont disponibles, et Descript configure ce choix modèle par modèle. OpenRouter expose le débit, la disponibilité et le coût de chacun, et Descript utilise ces données pour définir l’ordre de priorité : un fournisseur en premier pour Sonnet 5, un ordre différent pour Gemini. La politique de conservation des données intervient dans cette même décision, et Descript ne route les requêtes que vers des fournisseurs d’inférence conformes à sa politique.

C’est aussi à ce niveau qu’intervient le deuxième type de basculement. L’ancienne logique de Descript changeait de modèle. Celle d’OpenRouter change de fournisseur d’inférence tout en conservant le même modèle, de sorte qu’une défaillance chez un hébergeur ne change pas le modèle qui répond.

L’équipe utilise sa propre clé auprès de Baseten pour un déploiement dédié d’un modèle à poids ouverts. OpenRouter route les requêtes vers Baseten en tant que fournisseur principal de ce modèle, avec d’autres fournisseurs configurés en secours pour le même modèle, tous conformes à la contrainte de politique mentionnée ci-dessus. Descript conserve sa relation commerciale directe et sa propre clé, tout en restant protégé contre les limites de débit et les pannes d’un fournisseur unique.

Descript évalue désormais des modèles plusieurs fois par semaine. La plupart ne passent jamais en production, et c’est précisément le but.

Mistratov décrit le scénario habituel : il se promène, voit une publication annonçant la sortie d’un nouveau modèle et demande sur Slack qu’il soit évalué, en joignant un lien vers le modèle sur OpenRouter. Une heure ou deux plus tard, les évaluations ont été exécutées dans le harness de Descript.

Le mécanisme repose sur Claude Tag, l’intégration Slack d’Anthropic, que Descript a configurée dans un canal avec un ensemble de Skills pour cette boucle. Il exécute les évaluations, ouvre une pull request pour ajouter le modèle au harness de Descript, puis une seconde pour placer le modèle derrière un indicateur de fonctionnalité. Un humain vérifie et approuve.

OpenRouter a supprimé le travail d’intégration propre à chaque modèle qui plaçait ces évaluations dans la file de tâches d’un ingénieur. L’agent et le harness de Descript automatisent tout ce qui entoure cette interface. Ce travail n’a plus besoin d’être attribué à qui que ce soit.

Lors d’une récente sortie d’Anthropic, il n’a fallu que quelques heures pour passer de l’annonce à la mise en production. Les étapes restantes sont propres à Descript : évaluations internes, décision sur la supériorité du modèle par rapport au modèle en place, configuration du sélecteur de modèles, indicateur de fonctionnalité, déploiement. David Dodero, qui travaille sur le harness et les évaluations de l’équipe chargée des agents, a indiqué que l’essentiel de ce travail restant tient à la structure du code de Descript plutôt qu’à la connexion au modèle, et que ce serait plus simple si cette structure était différente de leur côté.

Keith Simmons, responsable technique de l’équipe AI Enablement de Descript, avait constaté que le coût des modèles les plus avancés devenait problématique, et les modèles à poids ouverts sortaient à un rythme tel que la seule question était de savoir si certains tenaient la route face aux propres cas de test de Descript. C’est en examinant cette question plusieurs fois par semaine que le modèle à poids ouverts du déploiement Baseten a été repéré. Simmons estime que les dépenses totales de Descript en modèles sont désormais inférieures à la moitié de leur niveau antérieur, en partie grâce à ce processus, et affirme que la qualité s’est maintenue sur les propres cas de test de Descript.

Simmons considérait initialement le routage comme une tâche à laquelle Descript ne devait pas consacrer de temps d’ingénierie. Cela a changé.

Les basculements se déclenchent et l’équipe l’apprend après coup en lisant les journaux, ou ne l’apprend pas du tout.

Dans les journaux OpenRouter, Mistratov peut observer le trafic se déplacer : fournisseur principal pendant les périodes calmes, erreurs 429 lors des pics, puis plan B, plan C, plan D avec un minimum de perturbations pour les utilisateurs. Lorsque quelqu’un publie dans Slack une capture d’écran d’une page de statut de Claude en demandant si Descript est affecté, la réponse est non, car le trafic Claude passe sur Vertex AI comme autre fournisseur d’inférence. Simmons précise que l’équipe ne peut pas utiliser Claude Code pendant ces périodes, tandis qu’Underlord continue de fonctionner.

Entre les incidents, le constat reste le même.

C’était déjà le cas pendant que Descript mettait en place le déploiement sur Baseten.

L’équipe agents n’est pas la seule à utiliser cette connexion. L’équipe Media Understanding achemine les vidéos importées vers Gemini via OpenRouter pour en analyser le contenu, et Google a annoncé l’abandon de la version qu’elle utilise. Passer à une autre version est un changement de configuration plutôt qu’un projet.

Une autre équipe a utilisé la connexion existante pour créer des prototypes avec quatre à six modèles de génération de mises en page visuelles, dont des modèles que l’équipe agents n’utilise pas en production.

Cela influence désormais la manière dont Mistratov évalue tous ceux qui lui proposent des services d’inférence.