Kundenkommunikation mittels KI: parlamind performt besser als Google Dialogflow, Rasa und IBM Watson
KI Made in Germany erreicht eine höhere Trefferquote als die globalen Big Player
- Bild-Infos
- Download
Berlin (ots)
parlamind, Experte für Kundenkommunikation mittels KI, ist stolz auf das Erreichte: Im Test schneidet ihre KI beim korrekten Erkennen von Kundenanliegen besser ab als die KI, auf der Google Dialogflow ES, Rasa und IBM Watson Assistant basieren. In Zahlen ausgedrückt bedeutet das: Bei einer Accuracy von 0,88 wie bei parlamind können nur 12% der eingehenden Anfragen nicht beantwortet werden, bei IBM Watson sind es 16%, bei Rasa und Google Dialogflow 18% (1).
Dr. Tina Klüwer, geschäftsführende CTO und Gründerin von parlamind überträgt das Ergebnis in die Praxis: "Bei 100.000 Kundenanfragen, die ein Unternehmen via E-Mail oder Chat erreichen, kann unsere KI durchschnittlich ca. 5.000 mehr korrekt bearbeiten als die nächstbesten - Google Dialogflow und Rasa. Diese Anzahl lässt sich auch in Zeit ausdrücken - das ist wertvolle Arbeitszeit, die der Kundenservice spart und zu Gunsten von Anfragen nutzen kann, für die nach wie vor menschliches Verstehen und Einfühlungsvermögen gefordert sind."
Statistisch präziser sind die Test-Ergebnisse nach F1-Score: Der F1-Score von parlamind ist mit 0,92 der höchste, gefolgt von Google Dialogflow und Rasa mit 0,87 sowie IBM Watson mit 0,78 (1). parlamind ist also nur 0,08 Punkte vom vollständigen Erkennen aller vorliegenden Kontaktgründe entfernt, Google hingegen 0,13 (2).
Testszenario: Wie gut versteht die Künstliche Intelligenz Kundenkommunikation?
Für den Vergleich wurden alle Systeme mit denselben Lernbeispielen und Testdaten trainiert. Ebenso wurden daraufhin dieselben Anfragen an die Systeme geschickt und die Ergebnisse verglichen. Über fünf Jahre Entwicklung und KI-Training zahlen sich schließlich aus: parlamind erreicht eine bessere Trefferquote als die drei weltweit agierenden Unternehmen IBM Watson, Rasa und Google Dialogflow. Genauere Infos zur Vorgehensweise und den Ergebnissen finden sich im " KI-Report: Intelligente Kontaktgrunderkennung - Qualitätsanalyse und Anbietervergleich 2021".
"Im Test ging es darum, herauszufinden, wie gut alle Systeme im Test Anfragen von Kunden inhaltlich richtig verstehen und sie einem oder keinem von 10 definierten Kontaktgründen zuordnen", erläutert Klüwer.
Bei den von parlamind im Test verwendeten Kontaktgründen handelt es sich um jene Anfragen, die der Experte für automatisierte Kundenkommunikation auf Basis seiner jahrelangen Erfahrung als die Top 10 der Anliegen im Kundenservice eruiert hat. Zur Herstellung der Vergleichbarkeit enthielten die getesteten Anfragen dabei immer nur einen oder keinen der 10 Kontaktgründe. parlamind wendet diese Test-Methode seit Jahren zur Verbesserung der eigenen KI an.
Die folgenden Kontaktgründe im Kundenservice wurden getestet:
- Rücksendeschein zusenden
- Bestellung stornieren
- Wie lauten die Bankdaten?
- Bestätigungsmail fehlt
- Wann erfolgt meine Lieferung?
- Rechnung zuschicken
- Rücksendefrist verlängern
- Rechnung fehlt
- Paket nicht erhalten
- Newsletter abbestellen/Keine Kontaktaufnahme
Open Source-Modell zur Evaluation entwickelt
Zur Durchführung seiner Testreihe hat parlamind ein eigenes Evaluationsmodell UnifyEval entwickelt, das den Vergleich verschiedener NLP-Pipelines für maschinelles Lernen mit verschiedenen Backends erleichtert. Das leistungsstarke Tool kommt vor allem überall dort zum Einsatz, wo die tatsächliche Leistung einer KI für die Bearbeitung einer bestimmten Aufgabe - sei es eine Textklassifizierung oder eine Sprachmodellierung, schnell und zuverlässig evaluiert werden muss. Auf diese Weise sind Entwickler und Anbieter von KI in der Lage, mit der hohen Dynamik im Bereich Forschung und Entwicklung des Maschinellen Lernens sicher Schritt zu halten.
Die überzeugende Performance von parlamind gegenüber der Konkurrenz hat mehrere Gründe: Zum einen beherrscht parlamind die Sprache Deutsch nachweislich besser als der Wettbewerb und kann dabei auch weniger relevante Informationen wie zum Beispiel Höflichkeitsfloskeln im Zuge der Analyse filtern. Ein weiterer Grund liegt in der natürlichen Beschaffenheit von parlamind als Spezialist im Kundenservice: So verfügt die KI-Lösung bereits über eine Vielzahl häufiger Kontaktgründe in ihrer Wissensdatenbank, die kundenübergreifend zutreffen.
(1) Stand: Oktober 2020
(2) Der maximal zu erreichende F1-Score-Wert von 1,00 bedeutet hier, dass alle geprüften Kundenanliegen zu 100 % richtig verstanden werden, ein F1-Score von 0,00 bedeutet alles wurde falsch erkannt.
Über parlamind
parlamind ist ein Berliner Start-up für Künstliche Intelligenz im Kundenservice. Die KI von parlamind versteht eingehende Nachrichten von Kunden auf semantischer Ebene und ermittelt so das Anliegen, den konkreten Inhalt sowie die Stimmung des Kunden in der Nachricht. Mit diesen Fähigkeiten ausgestattet, geht die KI eigenständig in den Dialog mit dem Kunden und führt schnell dazugehörige Prozesse automatisiert aus. Aktuelle Forschungsergebnisse aus den Bereichen der Computerlinguistik und des maschinellen Lernens bilden dabei die Basis zur kontinuierlichen Weiterentwicklung der parlamind KI-Technologie. Seit Juli 2018 gehört parlamind zur 4TechnologyGroup. Die 4TechnologyGroup ist ein Zusammenschluss von deutschen Technologie-Unternehmen aus dem Kommunikations- und KI-Bereich. Weltweit nutzen Unternehmen in den Bereichen E-Commerce, Informations- und Kommunikationstechnik, Energiewirtschaft, Logistik sowie Finanzen die KI-Lösungen von parlamind. Über 20 Mitarbeiter arbeiten kontinuierlich an der Weiterentwicklung und Vermarktung dieser einzigartigen Technologie "Made in Germany". www.parlamind.com
Pressekontakt:
Katja Gaesing
E: katja.gaesing@parlamind.com
T: +49 89 5000 1340