KI-Chatbot-Tests, Benchmarking und Evaluierung

Chatbot-Tests prüfen, wie schnell und wie gut ein Chatbot echte Nutzerfragen beantwortet, von Antwortzeit und Konsistenz bis hin zu Genauigkeit und Halluzinationen.

Wir erstellen einen Satz aus erwarteten Fragen, unerwarteten Fragen und längeren Gesprächen, basierend darauf, wie Ihre Nutzer wirklich mit ihm sprechen. Die Fragen werden automatisch gesendet, die Antwortzeiten gemessen, und jede Antwort wird von KI-Modellen auf einer Skala von 1 bis 5 bewertet, wobei QA-Engineers die Ergebnisse prüfen.

Für die Performance: erste Antwortzeit, Antwortgenerierungszeit, Gesamtantwortzeit, Wörter pro Minute und Konsistenz. Für die Antwortqualität: ein Gesamtqualitätsscore sowie Genauigkeit, Relevanz, Vollständigkeit, Halluzinationen und Kontextgedächtnis. Für Sicherheit und Schutz: Resistenz gegen Prompt Injection, Datenlecks, Themenabgrenzung und schädliche Inhalte. Das endgültige Set stimmen wir mit Ihnen ab.

Ja. Wir evaluieren die Antwortqualität in jeder Sprache, die Ihr Chatbot unterstützt, auch für Nutzer, die in einer Sprache schreiben, die nicht ihre Muttersprache ist.

Ja. Bei Chatbots, die per Retrieval-Augmented Generation (RAG) aus Ihren eigenen Dokumenten antworten, prüfen wir, ob die Antworten durch diese Dokumente gestützt sind, und markieren alles, was der Chatbot von sich aus hinzufügt.

LLM-as-a-judge ist eine Methode, bei der ein großes Sprachmodell die Antworten eines anderen Modells anhand schriftlich festgelegter Kriterien bewertet. Wir verwenden Modelle mehrerer Anbieter und lassen QA-Engineers die Ergebnisse prüfen, damit die Scores zuverlässig bleiben.

Wir vergleichen jede Antwort mit den Informationen, die der Chatbot verwenden darf. Jede Tatsache, Richtlinie oder Quelle, die nicht durch diese Informationen gestützt ist, wird als Halluzination markiert.

Ja. Wir führen LLM-Red-Teaming-Prompts aus, die versuchen, den Chatbot dazu zu bringen, seine Anweisungen zu ignorieren, Daten preiszugeben oder schädliche Inhalte zu erzeugen, und berichten, wo er standhält und wo nicht.

Ja. Beide Chatbots erhalten dieselben Fragen unter denselben Bedingungen, und Sie erhalten Scores im direkten Vergleich für Geschwindigkeit, Konsistenz und Antwortqualität. Wenn Sie zwischen Anbietern wählen, führen wir denselben Vergleich mit den Chatbots durch, die Sie in Betracht ziehen.

Vor dem Launch und danach nach jeder wesentlichen Aktualisierung Ihres Chatbots, seiner Inhalte oder des KI-Modells, auf dem er läuft. Viele Teams führen zusätzlich einen regelmäßigen Check durch, zum Beispiel monatlich, weil Updates externer Modelle Antworten verändern können, ohne dass sich bei Ihnen etwas geändert hat.

Zugang zu Ihrem Chatbot, eine Beschreibung dessen, was er leisten soll, und alle Dokumente oder Daten, die er zum Antworten nutzt. Wir erstellen die Fragen, führen die Tests durch und bewerten die Ergebnisse.