Call Translator: llamadas traducidas mientras hablas y un agente de IA que llama por ti

El reto

Mucha gente en España vive en un idioma que no es el suyo. Una llamada cualquiera - pedir cita con el médico, aclarar una entrega, hablar con el casero de una avería - se convierte en un problema: la otra persona responde demasiado rápido y se pierde la mitad de la información. Las empresas con clientes extranjeros tienen el mismo problema desde el otro lado.

Un intérprete es caro y hay que organizarlo con tiempo, así que creamos un servicio en el que la traducción ocurre dentro de la propia llamada.

Una llamada en la que cada uno habla su idioma

Quien llama elige el idioma de la otra persona - hay 13 idiomas, español por defecto - y empieza la llamada. A partir de ahí:

• Cada parte habla en su idioma, y más o menos un segundo y medio después de terminar una frase, la otra parte la oye traducida.
• La voz original se mantiene, pero más baja: por defecto se reduce 15 dB y la traducción suena encima, así que se siguen oyendo el tono y las pausas. Quien llama puede mover el control o quitar el original.
• Subtítulos de las dos partes en pantalla durante la conversación.
• El idioma se puede cambiar en plena llamada, si resulta que la otra persona prefiere otro.

Técnicamente cada parte está en su propia sala de audio y un agente de traducción está conectado a las dos. Para cada oyente publica una sola pista: la voz del otro, bajada, más la traducción. Si se corta la conexión con el modelo de traducción, el agente deja pasar al momento el original a volumen normal, se reconecta y la app muestra que la traducción se está recuperando.

Llamadas a números de teléfono normales

La otra persona no necesita ninguna app. Las llamadas a teléfonos normales salen por un troncal SIP de Zadarma, el operador de telefonía, y un servidor LiveKit SIP propio; quien llama oye los tonos hasta que contestan.

LiveKit funciona en servidores propios y no en un servicio en la nube, y las claves de los proveedores de traducción y telefonía se quedan en el servidor: la app y el navegador solo reciben un token temporal de acceso a una sala.

Historial y transcripciones sin grabaciones

El audio de las llamadas nunca se guarda en disco. Lo que se conserva es la llamada - quién, cuándo, cuánto duró, en qué idioma - y la transcripción: cada frase de las dos partes en el original y traducida, con su momento en la llamada. El usuario puede abrir el historial, volver a llamar al mismo número, borrar una llamada o todo el historial y eliminar su cuenta.

Antes de empezar a hablar, la otra persona debe saber que una máquina traduce la llamada. Los textos de ese aviso se configuran por idioma en el panel de administración, y una empresa puede escribir los suyos en su panel.

Un agente de IA que llama por ti

La segunda mitad del servicio es un agente de IA que hace la llamada en tu lugar. Describes con tus palabras lo que necesitas - “pregunta al laboratorio dental si la corona del pedido 1042 está lista y cuándo la pueden entregar” - y la IA lo convierte en una tarea: el objetivo, la lista de preguntas con el tipo de cada respuesta (sí/no, fecha y hora, número, texto, opción), lo que puede decir de ti y lo que no debe aceptar. Revisas la tarea, la corriges si hace falta y lanzas la llamada.

El agente habla el idioma de la otra persona. Primero dice que es un asistente de inteligencia artificial que llama en nombre de alguien y que la llamada se transcribe, hace una pregunta cada vez, repite nombres, números y fechas, y anota cada respuesta en el momento en que la oye, junto con la frase en la que se basa. Sabe marcar teclas en un menú de voz, esperar en línea y dejar un mensaje en el contestador. Si le preguntan si es una máquina, dice la verdad; si la persona no quiere hablar con una IA, se disculpa y cuelga, y la petición de “no vuelvan a llamar” añade el número a una lista de exclusión.

Después de la llamada, un análisis aparte prepara la ficha de resultado: la respuesta a cada pregunta con una cita de la conversación, el resultado (todo aclarado, en parte, contestador, no pasó el menú, rechazo, etc.) con su motivo en una línea, un resumen breve y los siguientes pasos en tu idioma, además de la transcripción con traducción.

Los límites vienen de serie: solo se aceptan tareas de información y servicio, y las ventas, la publicidad, las bromas y la suplantación se rechazan al preparar la tarea y otra vez al iniciar la llamada; los números de emergencia y de tarificación especial están bloqueados; solo se llama en horario diurno del país del número; hay límites diarios por cliente y por número, y reintentos si comunica o no contestan. Un modo de ensayo permite hacer tú mismo de interlocutor en la app y probar el agente con la misma tarea e instrucciones antes de que llame a nadie. Para las pruebas automáticas hay bots interlocutores: la recepción de una clínica, un menú de voz con música de espera, un contestador, un rechazo y la pregunta “¿es usted un robot?”.

Para empresas: panel, API, webhooks y SDK

Cada empresa tiene su panel: gestores con invitaciones y un interruptor de “de turno”, clientes, el historial de llamadas con transcripciones bilingües, las llamadas en curso, sus propios textos de aviso y sus llamadas con IA - la tarea se escribe con palabras normales, la IA la prepara, el gestor la revisa y lanza la llamada.

Todo está también disponible por una API documentada con OpenAPI: iniciar una llamada, consultar su estado, transcripción y coste, colgar, preparar e iniciar una llamada con IA. Los webhooks firmados avisan de que una llamada está sonando, se ha contestado, se ha perdido o ha terminado, envían la transcripción a medida que crece y entregan el resultado de una llamada con IA; los envíos se reintentan y quedan registrados. Dos SDK, para web y para Flutter, permiten integrar la llamada traducida en la web o la app de la empresa.

Panel de administración y costes

El panel de administración muestra cada llamada con su cronología - quién entró, el tiempo hasta la primera traducción, el retraso de cada frase, cortes y reconexiones - y su coste, calculado según las tarifas del proveedor. Una página de servicios comprueba el estado del proveedor de traducción, el servidor de medios, el SIP y la telefonía.

La app Android

La app móvil está hecha en Flutter, sobre el mismo SDK que reciben las empresas. Se entra con número de teléfono o correo, se elige un contacto, se ven subtítulos durante la llamada y después la transcripción por pares: lo que dijo una parte junto a lo que oyó la otra. La app también tiene un modo empresa para los gestores, y las llamadas con IA se preparan desde el móvil: una tarea con tus palabras, un borrador para revisar y después la ficha de resultado.

Tecnologías

- Backend: Laravel 13, Inertia + React 19 + Ant Design (administración y panel de empresa)
- Tiempo real: LiveKit y LiveKit SIP (en servidores propios), Laravel Reverb, colas Horizon
- Agente de traducción: Python, LiveKit Agents, modelos Realtime de OpenAI
- Análisis de llamadas con IA: modelo de texto de OpenAI con esquema JSON estricto
- Telefonía: troncal SIP de Zadarma
- App móvil: Flutter (Android)
- SDK: web (npm) y Flutter
- API: REST con documentación OpenAPI, webhooks firmados
- Base de datos: MySQL, Redis
- Infraestructura: clúster k3s en la UE, Docker, GitLab CI, Argo CD; servidor de medios en su propio VPS

Resultado

Una llamada con barrera de idioma se convierte en una conversación normal: cada parte habla su idioma, oye a la otra con un pequeño retraso y ve subtítulos, y al final tiene una transcripción en los dos idiomas y ninguna grabación. Cuando no hay tiempo para llamar, un agente de IA hace la llamada con una tarea clara y trae las respuestas con las citas de las que salen. Estado: el servicio es un prototipo que funciona en un servidor de pruebas; la app existe solo para Android, y el agente de IA de momento solo ha llamado a bots de prueba y a personas que hacían de interlocutor en modo ensayo, no a organizaciones reales.