Agentes de IA por teléfono: la arquitectura y los tropiezos que ninguna demo enseña

Un agente de voz que coge la llamada, reserva la cita, responde las preguntas habituales con tu base de conocimiento y pasa a una persona cuando hace falta: es uno de los proyectos de IA más pedidos ahora mismo. La demo es fácil. Lo que hace que funcione en una línea real son los tiempos, las interrupciones, un traspaso limpio y lo básico en lo legal. Esta es la arquitectura que uso y los tropiezos que conviene prever.

Dominik Heinrich

8 de noviembre de 202610 min de lectura

1. Empieza por la tarea, no por la voz

Los mejores agentes telefónicos hacen pocas cosas muy bien: responder las preguntas que tu equipo responde veinte veces al día, reservar o mover una cita, tomar un recado y pasar todo lo demás a una persona. Escribe esas tareas con la información que necesita cada una, los sistemas que toca y qué cuenta como hecho.

Esa lista decide la arquitectura mucho más que la elección de la voz. Una clínica que reserva citas necesita acceso al calendario y una comprobación de identidad; un restaurante que da su horario no necesita ninguna de las dos. Empieza estrecho, mide y luego amplía.

2. Dos arquitecturas: una cadena o un solo modelo de voz

La cadena clásica tiene tres piezas: voz a texto, un modelo de lenguaje que decide qué decir y qué herramienta llamar, y texto a voz. Cada pieza es sustituible, puedes registrar el texto de cada turno y las llamadas a herramientas funcionan igual que en un agente de chat. El precio es la latencia: tres pasos que tardan cada uno lo suyo.

La opción más nueva es un único modelo de voz a voz, como la Gemini Live API de Google, que escucha y responde directamente en audio. Reacciona más rápido y suena más natural, pero tienes menos control sobre cada paso y menos sitios para tus propias comprobaciones. Mi opción por defecto para procesos de negocio es la cadena con streaming en cada paso; uso un modelo de voz a voz donde la calidad de la conversación importa más que un control estricto.

3. La línea: números, media streams y WebSockets

La llamada llega a un número de un proveedor como Twilio o Azure Communication Services. Desde ahí, el audio tiene que llegar a tu agente en tiempo real. Twilio Media Streams envía el audio en bruto de una llamada en curso por un WebSocket y, en modo bidireccional, recibe audio de vuelta; ConversationRelay de Twilio va un paso más allá y se encarga del reconocimiento y la síntesis de voz, de modo que tu servidor solo ve texto. Azure Communication Services ofrece Call Automation con las mismas piezas en Azure.

Elijas lo que elijas, pon el servidor del agente cerca de la región de medios del proveedor y deja el camino del WebSocket corto: sin proxies de más ni capas que acumulen. Cada salto añade un retraso que se oye.

Arquitectura de un agente de IA telefónico: quien llama llega a un número en Twilio o Azure Communication Services; el audio pasa a voz a texto, a un agente LLM con respuestas habladas cortas y a texto a voz, y vuelve a quien llama; el agente usa tus herramientas de calendario, CRM y reservas; grabación y transcripción solo con aviso; el tiempo hasta el primer sonido se mide en cada turno; como alternativa, un único modelo de voz a voz como la Gemini Live API; la llamada puede pasarse al equipo con un resumen. — La cadena de un agente telefónico, la alternativa de voz a voz y la salida hacia una persona. Haz clic para verlo a tamaño completo.

4. El presupuesto de latencia: tiempo hasta el primer sonido

La telefonía tiene desde hace tiempo su propia norma sobre cuánto retraso en un sentido tolera una conversación (ITU-T G.114). Un agente de voz suma tiempo de modelo encima de la red, así que trata el retraso como un presupuesto que repartes entre los pasos: detectar que quien llama ha terminado, transcribir, las primeras palabras del modelo y el primer sonido de la respuesta.

La métrica que sigo es el tiempo desde el final de la frase de quien llama hasta el primer sonido que reproducimos, en cada turno, y miro los turnos lentos, no la media. Tres cosas ayudan más: hacer streaming en cada paso en lugar de esperar frases completas, mantener cortas las respuestas habladas y lanzar las llamadas a herramientas en cuanto la intención está clara. Si una consulta tarda, dilo («un momento, miro el calendario») en vez de quedarte en silencio.

5. Interrupciones y turnos de palabra

La gente interrumpe. Dice «no, el martes» mientras el agente todavía lee los huecos del lunes. El agente tiene que notar que la persona habla, parar su propio audio al momento y escuchar. Sin esa interrupción, quien llama habla encima de una voz que no se detiene y la llamada se desmorona.

Diseña además para el teléfono, no para una pantalla: nunca leas listas de diez opciones, ofrece dos; repite a quien llama los datos importantes, como la fecha y la hora; y evita todo lo que solo funciona a la vista, como enlaces o tablas. Una conversación telefónica son frases cortas y confirmaciones.

6. Herramientas y datos: las mismas reglas que tu equipo

El agente reserva, mueve y cancela a través de tus propios sistemas, con herramientas lo más estrechas posible. Dale las mismas reglas que a tu recepción: comprobar quién llama antes de revelar o cambiar nada personal, leer el cambio en voz alta y obtener un sí antes de guardarlo, y nunca manejar números de tarjeta en la conversación; los pagos van en un flujo propio y certificado.

Registra el texto de cada turno y cada llamada a herramienta, para poder revisar las llamadas difíciles, mejorar la base de conocimiento y demostrar lo que hizo el agente cuando alguien pregunte.

7. Traspaso: en caliente y con un resumen

Todo agente telefónico necesita una salida. Cuando quien llama pide una persona, cuando el agente no entiende dos veces seguidas o cuando el tema queda fuera de sus tareas, transfiere la llamada. Una transferencia en frío, en la que la persona repite todo, deshace el tiempo que ahorró el agente. Un traspaso en caliente le da a quien coge el teléfono un resumen de dos líneas: quién llama, qué quiere y qué se ha comprobado ya.

Prevé el caso en que no hay nadie libre o la oficina está cerrada: toma un recado con un número para devolver la llamada y crea una tarea, en lugar de dejar que suene al vacío. Dial de Twilio y las funciones de transferencia de Azure Communication Services cubren la parte telefónica.

8. Consentimiento, grabación y decir que es una IA

Empieza cada llamada diciendo que quien llama habla con un asistente de IA. En la UE esto pasa a ser obligatorio: el AI Act exige informar a las personas cuando interactúan directamente con un sistema de IA, y esa obligación se aplica desde el 2 de agosto de 2026.

Las normas sobre grabación de llamadas cambian según el país, así que pide asesoramiento para los mercados en los que trabajas. Un punto de partida seguro: avisar de la grabación al principio, grabar solo cuando lo necesitas, guardar transcripciones en lugar de audio donde baste, fijar un plazo de conservación y dejar los datos personales fuera de los logs que no los necesitan. Y dar a quien llama una forma de hablar con una persona en cualquier momento.

Conclusión
Un agente telefónico funciona por los tiempos y la confianza: streaming en todo, dejar interrumpir, actuar con las reglas de tu equipo, traspasar en caliente y decir claramente que es una IA.

Proyectos reales relacionados

Plataforma de reservas y operaciones para hostelería

Pruébalo tú mismo

Listo para producción

¿Lo quieres en tu empresa? Hablemos mail@dominikheinrich.ch

Fuentes y guías oficiales

Más artículos