Cómo Descript logró incorporar nuevos modelos sin pasar por la cola de ingeniería

Descript es una plataforma de edición de vídeo y audio basada en IA que pone la creación de contenido profesional al alcance de todos. Al combinar la edición basada en transcripciones con herramientas de IA para mejorar el audio, clonar voces y generar contenido multimedia, Descript permite a los equipos producir contenido con calidad de estudio sin conocimientos especializados. Los clientes empresariales de los sectores de salud, servicios financieros, medios de comunicación y tecnología utilizan Descript para ampliar la producción de contenido sin perder el control humano sobre cada decisión creativa.

Underlord, el agente de edición de vídeo de Descript, combina LLM con un harness que indica al modelo cómo actuar y cómo editar vídeo.

Aleks Mistratov, responsable de producto de IA, explica que Descript se especializa en vídeos de personas hablando a cámara: vídeos de creadores de YouTube, vídeos de marketing con alguien hablando y pódcasts en vídeo. El denominador común es el contenido narrativo y basado en transcripciones, y lo bien que un modelo lo maneja no es algo que una prueba de evaluación pública pueda determinar.

Descript mantenía tres integraciones directas, con OpenAI, Anthropic y Google. La lógica de conmutación por error entre ellas era código que el equipo había escrito y mantenía, y funcionaba cambiando de modelo: si una solicitud a GPT fallaba, un modelo de Anthropic respondía en su lugar.

La dificultad técnica era la variación de los parámetros. Cada desarrollador de modelos esperaba recibir la información de una forma distinta, y cada nueva versión exigía comprobar qué parámetros faltaban ahora, cuáles eran ahora obligatorios y cuáles habían dejado de ser compatibles. Poner en funcionamiento un modelo nuevo requería al menos un par de horas, dedicadas en su mayoría a depurar por qué algo no funcionaba.

La dificultad organizativa era mayor. La persona que quería probar un modelo nuevo no era quien podía añadirlo, así que probarlo implicaba encontrar un hueco en la agenda de un ingeniero. Pasaban días antes de que alguien pudiera ocuparse. El trabajo en sí siempre llevaba un par de horas. Conseguir que esas horas entraran en la lista de tareas de un ingeniero era lo que convertía una pregunta sobre un modelo prometedor en una semana de espera antes de que alguien supiera si valía la pena seguir adelante.

Descript ofrecía básicamente un solo modelo cuando decidió probar Claude, y OpenRouter fue la vía por la que llegó el segundo.

En agosto de 2026, el entorno de producción utiliza 13 modelos de cuatro desarrolladores de modelos:

• Anthropic: Fable 5, Opus 5, Opus 4.8, Opus 4.7, Opus 4.6, Sonnet 5, Sonnet 4.6, Haiku 4.5
• Google: Gemini 3.1 Pro, Gemini 3.5 Flash
• OpenAI: GPT-5.4, GPT-5.5
• xAI: Grok 4.5

Cinco de esos modelos de Anthropic son versiones de primer nivel que se ejecutan al mismo tiempo.

El entorno de producción pasó de tres integraciones directas a una sola conexión a través de OpenRouter. Descript sigue manteniendo una conexión directa con Anthropic porque es uno de sus primeros socios y algunos modelos de acceso anticipado solo están disponibles a través de esa API. Esa vía no se utiliza en producción.

Detrás de cada modelo hay una selección de proveedores de inferencia, y Descript la configura para cada modelo. OpenRouter muestra el rendimiento, el tiempo de actividad y el coste de cada uno, y Descript utiliza esos datos para establecer el orden de prioridad: un proveedor primero para Sonnet 5 y un orden diferente para Gemini. La política de retención de datos forma parte de la misma decisión, y Descript solo dirige las solicitudes a proveedores de inferencia que cumplen su política.

Ahí es también donde entra en juego el segundo tipo de alternativa de respaldo. La lógica anterior de Descript cambiaba de modelo. La de OpenRouter cambia de proveedor de inferencia y mantiene el mismo modelo, de modo que un fallo en un proveedor de alojamiento no cambia el modelo que responde.

El equipo utiliza su propia clave con Baseten para un despliegue dedicado de un modelo de pesos abiertos. OpenRouter dirige las solicitudes a Baseten como proveedor principal de ese modelo, con otros proveedores configurados como alternativas de respaldo para el mismo modelo, todos ellos dentro de las restricciones de la política mencionada. Descript mantiene la relación comercial directa y su propia clave, y sigue contando con protección frente a los límites de solicitudes y las interrupciones de un único proveedor.

Descript ahora evalúa modelos varias veces por semana. La mayoría nunca llega a producción, que es precisamente el objetivo.

Mistratov describe el patrón: está dando un paseo, ve una publicación que anuncia el lanzamiento de un nuevo modelo y escribe en Slack para pedir que lo evalúen, con un enlace al modelo en OpenRouter. Una o dos horas después, las evaluaciones ya se han ejecutado en el propio harness de Descript.

El mecanismo es Claude Tag, la integración de Anthropic con Slack, que Descript configuró en un canal con un conjunto de Skills para este ciclo. Ejecuta las evaluaciones, abre una pull request que añade el modelo al harness de Descript y abre otra que coloca el modelo detrás de una bandera de funcionalidad. Una persona revisa y aprueba.

OpenRouter eliminó el trabajo de integración por modelo que hacía que estas evaluaciones acabaran en la cola de tareas de un ingeniero. El propio agente y el harness de Descript automatizan todo lo que rodea a esa interfaz. Ya no es necesario asignar el trabajo a nadie.

En un lanzamiento reciente de Anthropic, pasaron un par de horas desde el anuncio hasta la puesta en producción. Los pasos que quedan son los propios de Descript: evaluaciones internas, decidir si el modelo supera al actual, configuración del selector de modelos, bandera de funcionalidad y despliegue. David Dodero, que trabaja en el harness y las evaluaciones del equipo de agentes, señaló que la mayor parte de ese trabajo restante se debe a cómo está estructurado el código de Descript y no a la conexión con el modelo, y que sería más fácil si lo organizaran de otra manera por su parte.

Keith Simmons, responsable técnico del equipo de AI Enablement de Descript, había observado cómo los costes de los modelos de vanguardia se convertían en un problema, y los lanzamientos de modelos con pesos abiertos llegaban tan rápido que la única pregunta era si alguno estaba a la altura en los casos de prueba de Descript. Plantear esa pregunta varias veces por semana fue lo que permitió descubrir el modelo con pesos abiertos del despliegue en Baseten. Simmons sitúa el gasto total de Descript en modelos por debajo de la mitad de lo que era, en parte gracias a ese proceso, y afirma que la calidad se mantuvo en los casos de prueba de Descript.

Al principio, Simmons consideraba que el enrutamiento era un trabajo al que Descript no debía dedicar tiempo de ingeniería. Eso ha cambiado.

Se activan las alternativas de respaldo y el equipo se entera después al leer los registros, o no se entera en absoluto.

En los registros de OpenRouter, Mistratov puede observar cómo se mueve el tráfico: el proveedor principal en los períodos de poca actividad, errores 429 durante los picos y, después, el plan B, el plan C y el plan D con una alteración mínima de lo que reciben los usuarios. Cuando alguien publica una captura de pantalla de una página de estado de Claude en Slack y pregunta si Descript se ve afectado, la respuesta es no, porque el tráfico de Claude pasa a Vertex AI como otro proveedor de inferencia. Simmons señala que el equipo no puede usar Claude Code durante esos intervalos, mientras que Underlord sigue funcionando.

Entre incidentes, el patrón se mantiene.

Esto fue así incluso mientras Descript ponía en marcha el despliegue en Baseten.

El equipo de agentes no es el único que utiliza la conexión. El equipo de Media Understanding enruta los videos subidos a Gemini a través de OpenRouter para analizar el contenido, y Google ha anunciado que retirará la versión que utilizan. Dejar de usarla supone un cambio de configuración en lugar de un proyecto.

Otro equipo utilizó la conexión existente para crear prototipos con entre cuatro y seis modelos para la generación de diseños visuales, incluidos modelos que el equipo de agentes no utiliza en producción.

Eso ahora influye en cómo Mistratov evalúa a cualquiera que le venda servicios de inferencia.