Praxisbeispiel KI im Kundenservice
5 Min.
Mission: Kundenservice entlasten
Das Karlsruher Unternehmen cab entwickelt und produziert Kennzeichnungslösungen vom Etikettendrucker für den Büroalltag bis hin zu Beschriftungslasern für den industriellen Einsatz. Kunden sind Unternehmen aus allen Branchen, zum Beispiel aus der Automobil-, Pharma- und Lebensmittelindustrie. Durch die große Produktvielfalt mit vielen Anwendungsmöglichkeiten und Varianten entsteht im Kaufprozess und bei der Nutzung der Produkte Beratungs- und Informationsbedarf.
Die Idee ist, dass KI in zwei unterschiedliche Rollen schlüpfen und den Kundenservice unterstützen soll:
- Als Kundenberater während des Kaufprozesses.
- Als Programmierer bei der Nutzung der Geräte.
Chatbot 1: Der Kundenberater
Kunden von cab können aus einem sehr umfangreichen Portfolio das für ihren Anwendungsbereich passende Produkt auswählen. Während dieses Auswahlprozesses ist oft individuelle Beratung erforderlich. Um die Servicemitarbeiter zu entlasten und dennoch eine präzise und schnelle Produktempfehlung zu ermöglichen, soll ein Beratungs-Chatbot die notwendigen Informationen bereitstellen.
Chatbot 2: Der Programmierer
Für die Konfiguration des Etikettendrucks setzt cab eine eigene Programmiersprache ein. Viele Kunden wollen die Konfiguration gerne selbst anpassen, scheuen aber die Code-Eingabe. Die Lösung soll auch hier ein KI-gestützter Chatbot sein, der die Anforderungen der Kunden in natürlicher Sprache aufnimmt und daraus einen Code generiert, den der Kunde anschließend verwenden kann.
Analyse und Planung
Nachdem die Projektziele definiert waren, haben wir den weiteren Ablauf skizziert. Da die KI nur so gut sein kann wie die zugrunde liegenden Daten, haben wir die relevanten Daten eingegrenzt, geordnet und den Reifegrad beurteilt. Außerdem haben wir uns in die unternehmensinterne Programmiersprache eingearbeitet, um die Qualität der KI-Ausgabe beurteilen zu können.
Im nächsten Schritt testeten wir zwei Tools zur Erstellung der Chatbots und zum Training der KI: "Dante AI" und "OpenAI Playground". Für die Tests erstellten wir Testtrainingsdaten, die wir an unterschiedliche Fragestellungen angepasst hatten. Nach mehreren Testläufen entschieden wir uns für "Dante AI", da dieses Tool die Projektanforderungen am besten erfüllte.
Mit den richtigen Daten zum Chatbot
Für die Toolauswahl hatten wir bereits einen überschaubaren Satz an Trainingsdaten erstellt. Für das Training der Chatbots haben wir den Umfang erweitert und die Daten vorbereitet. Dabei wählten wir für die beiden Anwendungsfälle unterschiedliche Ansätze.
Für das Training des Beratungs-Chatbots erstellten wir einen Knowledge-Graphen. Ein Knowledge-Graph ist ein semantisches Netz aus Entitäten, die über verschiedene Beziehungen miteinander verbunden sind. Diese Entitäten sind z. B. Knoten (Classes), Kanten/Beziehungen (Object Properties) und Eigenschaften (Individuals). Für die Erstellung des Knowledge-Graphen nutzten wir Protégé, ein kostenloses Tool der Stanford-University. In Protégé erstellten wir mit verschiedenen Modellierungsansätzen Knowledge-Graphen und testeten diese mit der KI bzw. dem Chatbot. Ergänzend zum Knowledge-Graphen wurde der Chatbot auch mit Inhalten der cab-Website trainiert.
Für das Training des Programmier-Chatbots erstellten wir ein Word-Dokument auf Basis der Dokumentation von cab. Dieses listet die Befehle auf, erläutert deren Funktionsweise und nennt Syntax-Beispiele. Im Verlauf des Projekts hat sich gezeigt, dass die KI die Inhalte der Trainingsdokumente besser auswerten kann, wenn diese mit entsprechenden Tags ausgezeichnet werden. Deshalb haben wir die Inhalte der Word-Datei in eine XML-Struktur übertragen, um die Textfunktionen für die KI zu kennzeichnen. Außerdem haben wir das ursprüngliche Trainingsdokument in zwei separate Dateien aufgeteilt. Während zuvor allgemeine Informationen zur Programmiersprache und spezifische Beispielcodes aus dem Kundenservice kombiniert vorlagen, zeigte die Testphase, dass eine Trennung dieser Inhaltstypen die Genauigkeit der KI-Antworten erhöht.
Testen, justieren, verbessern
Die Tests der KI-gestützten Chatbots erfolgten in einem iterativen Prozess, in dem wir die Trainingsdokumente laufend verbesserten. Beim Beratungs-Chatbot überprüften wir, ob die KI die Verknüpfungen und Abhängigkeiten des Knowledge-Graphen korrekt interpretiert und die Relationen richtig dargestellt werden.
Beim Programmier-Chatbot war die entscheidende Frage, ob der KI-generierte Programmiercode korrekt ausgegeben wird und flexibel an verschiedene Anwendungsfälle angepasst werden kann.
Abschließend prüften wir die unterschiedlichen Sprachmodelle, die in "Dante AI" zur Verfügung stehen, um deren Leistungsfähigkeit und Genauigkeit für verschiedene Anwendungsfälle zu bewerten. Zu den getesteten Modellen gehörten GPT-3.5-Turbo, GPT-3.5-Turbo-16k und GPT-4. Die Ergebnisse zeigten, dass sich GPT-4 am besten für diese Anwendungsfälle eignete, da es die Zusammenhänge innerhalb eines Chats sowie die gestellten Fragen am präzisesten erfasst und versteht.
Hartnäckiger Widerstand
Nach Abschluss der Tests und Durchführung aller Anpassungen erwiesen sich einige Probleme als hartnäckig. Zum Beispiel wurden Auflistungen auch nach wiederholter Korrektur unvollständig ausgegeben. Darüber hinaus neigte der Chatbot bei einigen Antworten zu Halluzinationen in Form von fehlerhaften Aussagen. Diese Halluzinationen traten sehr unregelmäßig auf, was die Identifikation ihrer Ursachen erschwerte.
Problematisch war, dass bei den Antworten der KI nicht nachvollziehbar war, welche Dokumente berücksichtigt wurden und ob die KI bestimmte Dokumentenarten bevorzugt.
Fazit
Wir haben aus der Arbeit mit KI-gestützten Chatbots folgende Schlüsselerkenntnisse gezogen:
- Konsistente und strukturierte Inhalte in ausreichender Menge führen zu stabileren Ergebnissen. Ob der Aufwand für die nachträgliche Optimierung der Inhalte gerechtfertigt ist, muss für jeden Anwendungsfall betrachtet werden.
- Trainingsdaten müssen laufend getestet und verbessert werden. Es ist schwer nachvollziehbar, warum die KI wie auf was reagiert – vor allem, wenn die KI nicht selbst programmiert wurde, sondern auf bereits vorhandene Modelle zurückgegriffen wird. Deshalb muss am Anfang getestet werden, mit welchen Formulierungen, Formatierungen und Dateiformaten die KI Informationen am zuverlässigsten verarbeiten kann. Die Erkenntnisse können dann für alle folgenden Anwendungsfälle genutzt werden.
- Für die untersuchten Anwendungsfälle ist der KI-Ansatz unterschiedlich gut geeignet. Der Programmier-Chatbot erzielt bereits sehr gute und verwertbare Ergebnisse. Um die Ziele mit dem Beratungs-Chatbot zu erreichen, bietet sich eher ein herkömmlicher Ansatz mit definiertem Algorithmus an, mit dem Chatbot als Schnittstelle.
In unserem Projekt haben wir gesehen, dass durch einen mutigen Umgang mit KI Raum für kreative Lösungen entsteht. Für Unternehmen und ihre Kunden ergeben sich daraus Vorteile, die sich oft mit relativ geringem Aufwand erreichen lassen.
Wenn Sie Ideen für den Einsatz von KI in der Technischen Redaktion oder im Kundenservice haben, melden Sie sich bei uns und wir vereinbaren einen unverbindlichen Termin.
