KI-Agenten am Telefon: die Architektur, und die Stolperfallen, die keine Demo zeigt

Ein Sprachagent, der den Anruf annimmt, den Termin bucht, die üblichen Fragen aus Ihrer Wissensbasis beantwortet und bei Bedarf an eine Person übergibt: Das ist gerade eines der meistgefragten KI-Projekte. Die Demo ist einfach. Was es auf einer echten Telefonleitung zum Laufen bringt, sind Timing, Unterbrechungen, eine saubere Übergabe und die rechtlichen Grundlagen. Hier ist die Architektur, die ich verwende, und die Stolperfallen, die man einplanen sollte.

Dominik Heinrich

8. November 202610 Min. Lesezeit

1. Mit der Aufgabe beginnen, nicht mit der Stimme

Die besten Telefonagenten können wenige Dinge sehr gut: die Fragen beantworten, die Ihr Team zwanzigmal am Tag beantwortet, einen Termin buchen oder verschieben, eine Nachricht aufnehmen und alles andere an eine Person weitergeben. Schreiben Sie diese Aufgaben auf, mit den Informationen, die jede braucht, den Systemen, die sie berührt, und dem, was als erledigt gilt.

Diese Liste entscheidet die Architektur weit mehr als die Wahl der Stimme. Eine Praxis, die Termine bucht, braucht Kalenderzugriff und eine Identitätsprüfung; ein Restaurant, das Öffnungszeiten nennt, braucht beides nicht. Schmal anfangen, messen, dann erweitern.

2. Zwei Architekturen: eine Pipeline oder ein Sprachmodell

Die klassische Pipeline hat drei Teile: Sprache zu Text, ein Sprachmodell, das entscheidet, was es sagt und welches Tool es aufruft, und Text zu Sprache. Jeder Teil ist austauschbar, Sie können den Text jedes Wortwechsels protokollieren, und Tool-Aufrufe funktionieren genau wie bei einem Chat-Agenten. Der Preis ist Latenz: drei Schritte, die je Zeit brauchen.

Die neuere Option ist ein einziges Speech-to-Speech-Modell, etwa die Gemini Live API von Google, das direkt in Audio zuhört und antwortet. Es reagiert schneller und klingt natürlicher, aber Sie haben weniger Kontrolle über jeden Schritt und weniger Stellen für eigene Prüfungen. Mein Standard für Geschäftsprozesse ist die Pipeline mit Streaming in jedem Schritt; ein Speech-to-Speech-Modell nehme ich, wo Gesprächsqualität wichtiger ist als enge Kontrolle.

3. Die Telefonleitung: Nummern, Media Streams, WebSockets

Der Anruf kommt bei einer Telefonnummer eines Anbieters wie Twilio oder Azure Communication Services an. Von dort muss das Audio in Echtzeit zu Ihrem Agenten. Twilio Media Streams schickt das rohe Audio eines laufenden Anrufs über einen WebSocket und nimmt im bidirektionalen Modus Audio zurück; ConversationRelay von Twilio geht einen Schritt weiter und übernimmt Spracherkennung und -ausgabe, sodass Ihr Server nur Text sieht. Azure Communication Services bietet mit Call Automation dieselben Bausteine auf Azure.

Was Sie auch wählen: Halten Sie den Agenten-Server nahe an der Medienregion des Anbieters und den WebSocket-Weg kurz: keine zusätzlichen Proxys, keine puffernden Schichten. Jeder Zwischenschritt bringt Verzögerung, die man hört.

Architektur eines Telefon-KI-Agenten: Ein Anrufer erreicht eine Nummer bei Twilio oder Azure Communication Services; das Audio fliesst zu Sprache-zu-Text, einem LLM-Agenten mit kurzen gesprochenen Antworten und Text-zu-Sprache und zurück zum Anrufer; der Agent nutzt Ihre Tools für Kalender, CRM und Buchungen; Aufnahme und Transkript nur mit Hinweis; die Zeit bis zum ersten Ton wird pro Wortwechsel gemessen; als Alternative ein einziges Speech-to-Speech-Modell wie die Gemini Live API; der Anruf kann mit Zusammenfassung an das Team übergeben werden. — Die Pipeline eines Telefonagenten, die Speech-to-Speech-Alternative und der Ausweg zu einer Person. Klicken für volle Grösse.

4. Das Latenzbudget: Zeit bis zum ersten Ton

Die Telefonie hat seit Langem eine eigene Norm dafür, wie viel Verzögerung in eine Richtung ein Gespräch verträgt (ITU-T G.114). Ein Sprachagent legt Modellzeit auf das Netz obendrauf, behandeln Sie Verzögerung also als Budget, das Sie auf die Schritte verteilen: erkennen, dass der Anrufer fertig ist, transkribieren, die ersten Worte des Modells und der erste Ton der Antwort.

Die Kennzahl, die ich verfolge, ist die Zeit vom Ende des Satzes des Anrufers bis zum ersten Ton, den wir abspielen, bei jedem Wortwechsel, und ich schaue auf die langsamen Wechsel, nicht auf den Durchschnitt. Drei Dinge helfen am meisten: jeden Schritt streamen statt auf ganze Sätze zu warten, gesprochene Antworten kurz halten und Tool-Aufrufe starten, sobald die Absicht klar ist. Dauert ein Nachschlagen länger, sagen Sie es («einen Moment, ich schaue in den Kalender»), statt still zu werden.

5. Unterbrechen und Sprecherwechsel

Menschen unterbrechen. Sie sagen «nein, Dienstag», während der Agent noch die Termine vom Montag vorliest. Der Agent muss merken, dass der Anrufer spricht, seinen eigenen Ton sofort stoppen und zuhören. Ohne dieses Unterbrechen reden Anrufer gegen eine Stimme, die nicht aufhört, und das Gespräch zerfällt.

Bauen Sie ausserdem für das Telefon, nicht für einen Bildschirm: nie Listen mit zehn Optionen vorlesen, sondern zwei anbieten; wichtige Angaben wie Datum und Zeit dem Anrufer wiederholen; und alles vermeiden, was nur visuell funktioniert, wie Links oder Tabellen. Ein Telefongespräch besteht aus kurzen Sätzen und Bestätigungen.

6. Tools und Daten: dieselben Regeln wie für Ihr Team

Der Agent bucht, verschiebt und storniert über Ihre eigenen Systeme, mit Tools, die so schmal wie möglich sind. Geben Sie ihm dieselben Regeln wie Ihrem Empfang: prüfen, wer anruft, bevor etwas Persönliches genannt oder geändert wird; die Änderung vorlesen und ein Ja holen, bevor sie gespeichert wird; und nie Kreditkartennummern im Gespräch verarbeiten, Zahlungen gehören in einen eigenen, zertifizierten Ablauf.

Protokollieren Sie den Text jedes Wortwechsels und jeden Tool-Aufruf, damit Sie schwierige Anrufe nachvollziehen, die Wissensbasis verbessern und belegen können, was der Agent getan hat, wenn jemand fragt.

7. Übergabe: persönlich, mit Zusammenfassung

Jeder Telefonagent braucht einen Ausweg. Verlangt der Anrufer eine Person, versteht der Agent zweimal hintereinander nicht oder liegt das Thema ausserhalb seiner Aufgaben, verbindet er weiter. Eine kalte Weiterleitung, bei der der Anrufer alles wiederholt, macht die gesparte Zeit zunichte. Eine persönliche Übergabe gibt der Person, die abnimmt, eine Zusammenfassung in zwei Zeilen: wer anruft, was er will, was schon geprüft ist.

Planen Sie den Fall, dass niemand frei oder das Büro geschlossen ist: eine Nachricht mit Rückrufnummer aufnehmen und eine Aufgabe anlegen, statt ins Leere klingeln zu lassen. Dial von Twilio und die Weiterleitungsfunktionen von Azure Communication Services decken die Telefonieseite ab.

8. Einwilligung, Aufnahme und sagen, dass es eine KI ist

Beginnen Sie jeden Anruf damit, dass der Anrufer mit einem KI-Assistenten spricht. In der EU wird das zur Pflicht: Der AI Act verlangt, dass Menschen informiert werden, wenn sie direkt mit einem KI-System interagieren, und diese Pflicht gilt ab dem 2. August 2026.

Die Regeln für Gesprächsaufnahmen unterscheiden sich von Land zu Land, holen Sie sich also Rat für die Märkte, die Sie bedienen. Eine sichere Grundeinstellung: die Aufnahme zu Beginn ankündigen, nur aufnehmen, wenn Sie es brauchen, wo es reicht Transkripte statt Audio aufbewahren, eine Aufbewahrungsfrist festlegen und Personendaten aus Protokollen heraushalten, die sie nicht brauchen. Und dem Anrufer jederzeit einen Weg zu einer Person geben.

Fazit
Ein Telefonagent gelingt über Timing und Vertrauen: alles streamen, Anrufer unterbrechen lassen, nach den Regeln Ihres Teams handeln, persönlich übergeben und klar sagen, dass es eine KI ist.

Echte Projekte dazu

Buchungs- und Betriebsplattform für das Gastgewerbe

Selbst ausprobieren

Bereit für Produktion

Das für Ihr Unternehmen? Sprechen wir mail@dominikheinrich.ch

Quellen und offizielle Leitfäden