Chatbots wurden als große Heilsbringer angekündigt und bleiben häufig hinter den Erwartungen zurück. Ein Erfahrungsbericht zeigt, dass es auch anders geht und dass für eine erfolgreiche Chatbot-Entwicklung sechs Schritte zu durchlaufen sind.
Richtig umgesetzt, können Chatbots einen wertvollen Beitrag zum Kundenservice leisten.
Partner des Bank Blogs
Die Euphorie in der gesamten westlichen Technologiewelt war riesig, als Mark Zuckerberg im April 2016 die Verfügbarkeit von Bots im Facebook Messenger ankündigte. Bots kannte man zwar bereits aus China, beispielsweise bei WeChat, aber Facebook brachte jetzt noch die nötige Reichweite in der westlichen Welt von damals knapp einer Milliarde Nutzern. Eine Technologie die reif genug scheint, Unternehmen Kosteneinsparungen verspricht und gleichzeitig auch noch das gesteigerte Bedürfnis der Kunden nach Self-Service Angeboten bedient. Eine „Win-Win-Win“ Situation.
Fast drei Jahre später zeigt sich allerdings häufig ein ernüchterndes Szenario. Chatbots verstehen die Anfragen des Kunden nicht, Entwicklungskosten übersteigen die Erwartungen und Nutzer stecken in Endlosschleifen fest.
In sechs Schritten zum Chatboterfolg
Im Berliner Innovation Lab der ERGO haben wir gezeigt, dass eine Investition in Chatbots zum Erfolg führen kann und im Kundenservice den Anforderungen gerecht wird. Dabei sind die folgenden sechs Schritte für eine erfolgreiche Entwicklung zu beachten:
Schritt 1: Die richtige Technologiegrundlage finden
Als wir uns im Sommer 2016 des Themas Chatbots annahmen, trafen wir zunächst auf einen stark wachsenden Markt. Gerade in Berlin tauchten eine Vielzahl Technologieanbieter und Start-ups auf, die alle die beste AI („Artificial Intelligence“ dt. künstliche Intelligenz) und die besten Bots versprachen. Qualitätsunterschiede sind auf den ersten Blick häufig schwer zu identifizieren und jede Demo funktioniert immer reibungslos. Anbieter unterscheiden sich zumeist in der technologischen Herangehensweise (mathematisch oder semantisch), im Hosting (On-Premise oder Cloud), im Geschäftsmodell (Lizenz oder Open Source) und in der Unternehmensgröße (Startup oder Großkonzern).
Um hieraus einen passenden Partner objektiv auszuwählen, haben wir uns für einen kleinen Prototypentest entschieden. Dazu haben wir vier Anbieter ausgewählt, die alle Ausprägungen abgedeckt haben.
Zu Beginn hat jeder Anbieter einen identischen anonymisierten Datensatz aus 10.000 historischen Chatverläufen bekommen. Anschließend haben wir alle Einzellösungen mit einem neuen Datensatz auf Erkennungsquote (wie häufig erkennt der Chatbot das Anliegen des Kunden) und Konversationstiefe (wie weit kann der Chatbot das Anliegen bearbeiten) getestet. Bei der Auswertung des Testlaufs stellte sich heraus, dass in den quantitativen als auch qualitativen Entscheidungsmerkmalen das Startup Rasa (ehemals LastMile) die beste Lösung für uns darstellt und ist seither unser fester Partner.
Schritt 2: Die richtigen Anwendungsfälle identifizieren
Nachdem der passende Entwicklungspartner gefunden war, galt es Anwendungsfälle für den Bot zu definieren. Grundsätzlich können Bots solche Fälle lösen, die sich klar abgrenzen lassen. Das bedeutet ein Bot kann beispielsweise sehr gut bei der Anpassung einer Adresse helfen, eignet sich allerdings nicht für die allgemeine Beratung zu allen Versicherungstarifen. Zusätzlich sollten Fälle auch Ende zu Ende bearbeitet werden können. Möchte der Kunde beispielsweise seine Adresse ändern, wird die Adressänderung zunächst vom Bot erkannt und anschließend auch direkt im System vermerkt.
Ein erster guter Ausgangspunkt ist die Analyse bisheriger Kundenchats auf inhaltliche Muster und Häufigkeit. Neben der reinen statistischen Analyse ist es aber zwingend, Kolleginnen und Kollegen aus dem operativen Geschäft in die Auswahl und Priorisierung von Anwendungsfällen mit einzubeziehen. Der große Erfahrungsschatz hilft solche Fälle zu identifizieren, die zwar häufig vorkommen, aber sehr schnell erledigt werden können und somit überhaupt kein Problem im täglichen Geschäft darstellen. Um die verheißende „Win-win-win“ Situation zu ermöglichen, sollte der Fokus auf die Fälle gerichtet werden, die sowohl Mehrwert für den Kunden als auch für den Mitarbeiter schaffen.
Schritt 3: Das grundlegende Design festlegen
Eine wichtige Entscheidung in der Entwicklung von Chatbots ist die Festlegung der möglichen Nutzerinteraktion. Dabei gibt es die Möglichkeit dem Nutzer ein Freitextfeld anzubieten oder ihn durch einen Logikbaum mit Fragen und Buttons durch den Dialog zu leiten. Freitext ist die deutlich kompliziertere Variante, da der Chatbot die Reaktion / Antwort des Nutzers nicht voraussagen kann und wirklich die Sprache verstehen muss. Allerdings ist genau das Sprachverständnis der entscheidende Punkt der Technologie und bietet die Möglichkeit einer wirklichen Konversation. Alternativ kann ein Entscheidungsbaum eine Konversation gut imitieren und ist gegenüber der freien Kommunikation sehr sicher, da der Chatbot nicht mit unbekannten Nutzerreaktionen umgehen muss.
Wir wollten den Kunden in seinem Anliegen aber nicht begrenzen und haben uns daher für die Freitextvariante entschieden.
Eine weitere wichtige Entscheidung im Design ist die angestrebte Qualität und deren Kontrollierbarkeit. Abhängig von der individuellen Risikobereitschaft kann man definieren, ab welchem Konfidenzlevel der Chatbot beispielsweise aktiviert werden soll. Es wird also bestimmt, wie sicher sich der Bot bei einer Antwort sein muss. Darf die 70 Prozent wahrscheinlichste Antwort an den Kunden geschickt werden oder nur die mit 90 Prozent Konfidenz?
Selbstverständlich kann eine neue Technologie noch nicht fehlerfrei von Tag 1 funktionieren, muss aber für ein realistisches Bild auch im Livebetrieb getestet werden. Zwischen Vertestung der Technologie am Kunden und den hohen Qualitätsansprüchen im Livebetrieb entsteht daher zunächst ein Zielkonflikt. Wir haben uns daher für eine hybride Lösung zum Start entschieden. Hybrid bedeutet, dass der Chatbot zwar eingesetzt wurde, dieser aber nicht direkt mit dem Kunden kommuniziert, sondern vorerst den Mitarbeiter in seiner Arbeit unterstützt. Der Chatbot beantwortet zwar die Frage des Kunden und schreibt auch die Nachricht in das Antwortfeld des Kundenservicemitarbeiters, der Mitarbeiter muss diese Nachricht aber noch final freigeben und an den Kunden abschicken. Stimmt eine Antwort nicht, kann der Mitarbeiter jederzeit eingreifen und den Chat übernehmen. Dieser hybride Ansatz hat den Vorteil, dass der Chatbot im echten Dialog verprobt und gleichzeitig die Qualität kontrolliert werden kann.
Schritt 4: Nutzeranliegen in technische Intents, Entities und Utterances umwandeln
In der technischen Entwicklung des Algorithmus werden sogenannte Intents, Entities und Utterances benötigt. Intents bezeichnen die unterschiedlichsten Anliegen eines Nutzers. Beispielsweise kann ein Nutzer sein Passwort für den Login Bereich vergessen haben. „Passwort vergessen“ stellt in diesem Beispiel einen Intent dar. Der Algorithmus benötigt jetzt möglichst viele Beispielsätze für diesen Intent, um diesen in Zukunft zuverlässig erkennen zu können. Der Satz „Ich habe mein Passwort für meinen Account mit der E-Mail max@mustermann.de vergessen“, wäre hier ein geeignetes Beispiel. Im Betrieb versucht der Chatbot diese Beispielsätze im Anliegen des Kunden wiederzuerkennen und somit den Intent zu identifizieren. Vergrößert sich die Anzahl der Beispielsätze, „lernt“ der Chatbot und wird in seiner Erkennung besser.
Entities oder Entitäten sind Variablen in einem Anliegen. Aus dem Beispiel entnimmt der Algorithmus die E-Mailadresse „max@mustermann.de“ als Entität. Entitäten sind typischerweise Orte, Adressen, Geburtsdaten, etc. Letztlich gibt es für jeden Intent auch mindestens eine definierte Utterance. Diese stellt sozusagen die Antwort beziehungsweise den nächsten Schritt dar. Eine sinnvolle Utterance könnte also sein „Vielen Dank für Ihre Nachricht. Ihr Passwort lautet MaxM12345!“. In der Entwicklung des Algorithmus hat man die Möglichkeit immer eine beste Antwort für einen bestimmten Vorfall (Intent) oder mehrere Antworten festzulegen, aus dem der Algorithmus wählen kann.
Schritt 5: Den Bot „lernen“ lassen und ständig aktuell halten
Im Kontext von Bots und AI hört man immer wieder den Begriff „selbstlernendes System“. Der Begriff ist etwas irreführend, da er häufig die Erwartung weckt, dass der Algorithmus einfach auf magische Weise besser wird. Ein System lernt nicht vollständig autark, sondern benötigt immer eine Art Feedback. Im hybriden System konnte der Algorithmus lernen, dass seine Antwort richtig war, wenn der Mitarbeiter nicht eingreifen musste. Hat der Servicemitarbeiter eingegriffen, hat das System diese Antwort negativ vermerkt und konnte seine Antwort anpassen. Selbstverständlich sind auch andere Formen des Feedbacks denkbar, wie beispielsweise eine Nutzerbewertung am Ende des Chats. Unterm Strich hat sich das hybride System bewährt und den Bot um ca. 42 Prozent verbessert.
Neben den ständigen Feedbacks, muss der Chatbot, wie auch jeder Mitarbeiter, über Prozessänderungen informiert werden. Nach ein paar Wochen erzielten wir plötzlich deutlich niedrigere Annahmequoten der Botvorschläge. Letztlich stellte sich heraus, dass es interne Prozessveränderungen gab, die einen anderen Umgang mit einem bestimmten Anliegen erforderten und die Mitarbeiter den Bot daher immer überstimmt hatten. Den Mitarbeitern musste daher innerhalb der Bot-Technologie eine Funktion geschaffen werden, die Antworttemplates permanent anzupassen.
Schritt 6: Lösung Schritt für Schritt weiter ausbauen
Die hybride Lösung ist mittlerweile fest im Kundenservice der ERGO integriert und hat sich über die vergangenen Monate bewährt. Die gesteigerte Qualität hat inzwischen ein Niveau erreicht, dass eine direkte Kommunikation mit dem Kunden möglich ist. Entsprechend wird die Lösung Stück für Stück umgestellt und dem Kunden ermöglichen direkt mit dem Bot zu interagieren. Der Mitarbeiter wird dann die Nachricht nicht mehr freigeben, sondern lediglich den Chat vom Bot übernehmen, sollte dieser die Antwort nicht kennen.
Bei einer Umstellung auf die direkte Kundenkommunikation ist zu beachten, dass der Kunde eine Information und auch Wahlmöglichkeit wünscht. Dies haben verschiedenste Umfragen und Nutzertests belegt. Zusätzlich zur direkten Kommunikation sind auch neue Anwendungsfälle geplant. Neben weiteren reinen Serviceanliegen soll die Technologie in diesem Jahr auch noch in der Verkaufsunterstützung eingesetzt werden.
Fazit: Lohnt sich die Investition in die Technologie?
Für ERGO ist das Projekt eine Erfolgsgeschichte in vielerlei Hinsicht. Im Kern steht dabei eine partnerschaftliche Zusammenarbeit mit einem aufstrebenden Startup, bei dem in der Kooperation eine innovative Lösung für den operativen Einsatz geschaffen worden ist. Zudem haben sich viele weitere auch interne Anwendungsfälle für die Technologie gefunden und ERGO hat viel über den automatisierten Umgang mit Sprache gelernt, der sich auch auf andere Kanäle, beispielsweise Telefonie oder E-Mail, übertragen lässt.
Eins ist jedoch klar: Chatbots sind keine Selbstläufer und es bedarf einer Menge überlegter Entscheidungen in der Entwicklung. Richtig umgesetzt, können Chatbots aber einen relevanten Anteil zukünftiger Kommunikation übernehmen und somit auch der initialen Euphorie gerecht werden.