Benchmarking af AI-agenter

Benchmarking af AI-agenter sammenligner to eller flere AI-agenter på de samme opgaver under identiske forhold og tjekker, hvad hver af dem faktisk gjorde i de værktøjer, den brugte.

Alle brancher, hvor en AI-agent læser information og udfører handlinger i forretningsværktøjer, herunder bank og finans, sundhed, kundesupport, rejser, IT, salg og produktivitet på arbejdspladsen. Vi bygger testopgaverne op omkring det, din egen agent gør.

Ja. Vi tjekker, om agenten opfatter tale korrekt og handler ud fra den, sammen med de samme tjek af opgaver og adgang.

Evaluering af AI-agenter scorer typisk én agents svar, ofte med et framework, som dit eget team kører. Benchmarking sammenligner to produkter under identiske, dokumenterede forhold og tjekker resultaterne i de værktøjer, de arbejdede i. Det er det, der gør resultaterne brugbare i en offentlig sammenligning.

Almindelige tests tjekker, om agentens svar ser rigtigt ud. En agent kan give et svar, der ser korrekt ud, og alligevel indtaste forkerte data, opdatere den forkerte post, vise indhold til nogen, der ikke må se det, eller følge en instruktion skjult i et dokument. Du finder kun de problemer ved at tjekke de tilknyttede værktøjer.

Vi giver agenten rigtige opgaver i de værktøjer, den arbejder i, kører hver opgave flere gange fra samme udgangspunkt og tjekker værktøjerne før og efter hver kørsel. Outputs sammenlignes med korrekte svar, der er skrevet på forhånd, så vi måler, hvad agenten faktisk gjorde, ikke kun hvad den sagde.

Begge produkter kører på samme abonnement, med det samme indhold indlæst fra én kilde, de samme forespørgsler, samme hardware og netværk og ét fælles sæt forretningsværktøjer. Hver kørsel logges i Parity Ledger, som registrerer versioner, abonnement, indstillinger og den testbruger, der udførte kørslen.

Ja. Vi tester for indirekte prompt injection, hvor instruktioner er skjult i indhold, agenten læser. Vi tester for det i kundebeskeder, e-mails, delte dokumenter, kalenderinvitationer, chat og tilknyttede poster.

Ethvert tilfælde, hvor indhold når en testbruger, der ikke må se det, uanset om det er i svaret, en kildehenvisning, en forhåndsvisning, en genereret fil eller agentens aktivitetslog. Målet er nul, så vi rapporterer det præcise antal, ikke en procentdel.

Vi kører den samme opgave flere gange fra samme udgangspunkt, nulstiller alt mellem forsøgene og rapporterer, hvor ofte den lykkes. Målingen kaldes pass@k.

Ja, det er netop det, evidenspakken er til. Hvert resultat leveres med Parity Ledger, testindholdet og de korrekte svar, det blev scoret op imod, så alle kan tjekke det.

Vi rapporterer det og forklarer, hvorfor den ikke kunne testes på det andet produkt. En manglende funktion er i sig selv et nyttigt fund.

To er standardsammenligningen, fordi det er lettest og mest pålideligt at holde forholdene identiske for et par. Flere produkter kan tilføjes efter aftale.

Efter enhver væsentlig opdatering af jeres agent eller de modeller og integrationer, den bygger på, og før større salgs- eller sikkerhedsgennemgange. Mange teams kører også en benchmark hvert kvartal, fordi konkurrenter og underliggende modeller ændrer sig af sig selv.

Hvis I benchmarker jeres egen agent: administratoradgang til jeres workspace, den konkurrent, I vil sammenlignes med, og de opgaver, der betyder mest for jeres forretning. Hvis I vælger mellem leverandører: prøve- eller pilotadgang til hvert produkt og de opgaver, I vil bruge dem til. Uanset hvad sætter vi produkterne op, bygger testindholdet og skriver de korrekte svar.