KI-Agenten-Benchmarking

KI-Agenten-Benchmarking vergleicht zwei oder mehr KI-Agenten bei denselben Aufgaben unter identischen Bedingungen und prüft, was jeder davon in den genutzten Tools tatsächlich getan hat.

Für jede Branche, in der ein KI-Agent Informationen liest und in Business-Tools handelt, darunter Banken und Finanzen, Gesundheitswesen, Kundensupport, Reisen, IT, Vertrieb und Produktivität am Arbeitsplatz. Wir bauen die Testaufgaben um das herum, was Ihr eigener Agent tut.

Ja. Wir prüfen, ob der Agent Gesprochenes korrekt versteht und danach handelt, zusätzlich zu denselben Aufgaben- und Zugriffsprüfungen.

Die Evaluierung von KI-Agenten bewertet meist die Antworten eines einzelnen Agenten, oft mit einem Framework, das Ihr eigenes Team betreibt. Benchmarking vergleicht zwei Produkte unter identischen, dokumentierten Bedingungen und prüft die Ergebnisse in den Tools, in denen sie gearbeitet haben. Erst das macht die Ergebnisse für einen öffentlichen Vergleich verwendbar.

Standardtests prüfen, ob die Antwort des Agenten richtig aussieht. Ein Agent kann eine korrekt wirkende Antwort geben und trotzdem falsche Daten eintragen, den falschen Datensatz aktualisieren, Inhalte jemandem zeigen, der sie nicht sehen darf, oder einer in einem Dokument versteckten Anweisung folgen. Solche Probleme finden Sie nur, wenn Sie die verbundenen Tools prüfen.

Wir geben dem Agenten echte Aufgaben in den Tools, in denen er arbeitet, führen jede Aufgabe mehrmals vom selben Ausgangspunkt aus und prüfen die Tools vor und nach jedem Durchlauf. Die Ausgaben werden mit vorab festgelegten korrekten Antworten verglichen, sodass wir messen, was der Agent tatsächlich getan hat, nicht nur, was er gesagt hat.

Beide Produkte laufen mit demselben Abonnement, denselben aus einer Quelle geladenen Inhalten, denselben Anfragen, derselben Hardware und demselben Netzwerk sowie einem gemeinsamen Satz an Business-Tools. Jeder Durchlauf wird im Parity Ledger protokolliert, das Versionen, Tarif, Einstellungen und den ausführenden Testnutzer festhält.

Ja. Wir testen auf indirekte Prompt Injection, bei der Anweisungen in Inhalten versteckt sind, die der Agent liest. Wir prüfen das in Kundennachrichten, E-Mails, geteilten Dokumenten, Kalendereinladungen, Chats und verbundenen Datensätzen.

Jeder Fall, in dem Inhalte einen Testnutzer erreichen, der sie nicht sehen darf, ob in der Antwort, einer Quellenangabe, einer Vorschau, einer generierten Datei oder im Aktivitätsprotokoll des Agenten. Das Ziel ist null, deshalb weisen wir die genaue Anzahl aus, keinen Prozentsatz.

Wir führen dieselbe Aufgabe mehrmals vom selben Ausgangspunkt aus, setzen zwischen den Versuchen alles zurück und weisen aus, wie oft sie gelingt. Dieses Maß ist als pass@k bekannt.

Ja, genau dafür ist das Evidence Pack da. Zu jedem Ergebnis gehören das Parity Ledger, die Testinhalte und die korrekten Antworten, anhand derer es bewertet wurde, sodass jeder es überprüfen kann.

Wir weisen sie aus und erklären, warum sie beim anderen Produkt nicht getestet werden konnte. Eine fehlende Funktion ist für sich genommen schon ein nützlicher Befund.

Zwei sind der Standardvergleich, weil sich identische Bedingungen bei einem Paar am einfachsten und zuverlässigsten herstellen lassen. Weitere Produkte können im Einzelfall hinzukommen.

Nach jedem wesentlichen Update Ihres Agenten oder der Modelle und Integrationen, auf die er angewiesen ist, und vor größeren Vertriebs- oder Sicherheitsprüfungen. Viele Teams führen außerdem jedes Quartal einen Benchmark durch, weil sich Wettbewerber und zugrunde liegende Modelle von selbst verändern.

Wenn Sie Ihren eigenen Agenten benchmarken: Admin-Zugang zu Ihrem Workspace, den Wettbewerber, mit dem Sie sich vergleichen möchten, und die Aufgaben, die für Ihr Geschäft am wichtigsten sind. Wenn Sie zwischen Anbietern wählen: Test- oder Pilotzugang zu jedem Produkt und die Aufgaben, für die Sie sie einsetzen würden. In beiden Fällen richten wir die Produkte ein, erstellen die Testinhalte und legen die korrekten Antworten fest.