Benchmarking av AI-agenter

Benchmarking av AI-agenter sammenligner to eller flere AI-agenter på de samme oppgavene under identiske forhold, og sjekker hva hver av dem faktisk gjorde i verktøyene den brukte.

Alle bransjer der en AI-agent leser informasjon og utfører handlinger i forretningsverktøy, blant annet bank og finans, helse, kundeservice, reiseliv, IT, salg og produktivitet på arbeidsplassen. Vi bygger testoppgavene rundt det deres egen agent gjør.

Ja. Vi sjekker om agenten oppfatter tale riktig og handler ut fra den, i tillegg til de samme oppgave- og tilgangskontrollene.

Evaluering av AI-agenter vurderer vanligvis svarene til én agent, ofte med et rammeverk som deres eget team kjører. Benchmarking sammenligner to produkter under identiske, dokumenterte forhold og sjekker resultatene i verktøyene de jobbet i. Det er dette som gjør resultatene brukbare i en offentlig sammenligning.

Standardtester sjekker om svaret fra agenten ser riktig ut. En agent kan gi et svar som ser riktig ut, og likevel legge inn feil data, oppdatere feil oppføring, vise innhold til noen som ikke skal se det, eller følge en instruksjon skjult i et dokument. Slike problemer finner man bare ved å sjekke de tilkoblede verktøyene.

Vi gir agenten reelle oppgaver i verktøyene den jobber i, kjører hver oppgave flere ganger fra samme utgangspunkt og sjekker verktøyene før og etter hver kjøring. Resultatene sammenlignes med riktige svar skrevet på forhånd, så vi måler hva agenten faktisk gjorde, ikke bare hva den sa.

Begge produktene kjører på samme abonnement, med samme innhold lastet inn fra én kilde, de samme forespørslene, samme maskinvare og nettverk og ett felles sett med forretningsverktøy. Hver kjøring loggføres i Parity Ledger, som registrerer versjoner, abonnement, innstillinger og testbrukeren som utførte den.

Ja. Vi tester for indirekte prompt injection, der instruksjoner er skjult i innhold agenten leser. Vi tester for det i kundemeldinger, e-poster, delte dokumenter, kalenderinvitasjoner, chat og tilkoblede oppføringer.

Ethvert tilfelle der innhold når en testbruker som ikke har tilgang til det, enten i svaret, en kildehenvisning, en forhåndsvisning, en generert fil eller agentens aktivitetslogg. Målet er null, så vi rapporterer det nøyaktige antallet, ikke en prosentandel.

Vi kjører samme oppgave flere ganger fra samme utgangspunkt, nullstiller alt mellom forsøkene og rapporterer hvor ofte den lykkes. Dette målet kalles pass@k.

Ja, det er det bevispakken er til for. Hvert resultat leveres med Parity Ledger, testinnholdet og de riktige svarene det ble vurdert mot, slik at hvem som helst kan kontrollere det.

Vi rapporterer det og forklarer hvorfor funksjonen ikke kunne testes på det andre produktet. En manglende funksjon er et nyttig funn i seg selv.

To er standard, fordi det er enklest og mest pålitelig å holde forholdene identiske for et par. Flere produkter kan legges til etter avtale.

Etter enhver vesentlig oppdatering av agenten deres eller modellene og integrasjonene den bygger på, og før store salgs- eller sikkerhetsgjennomganger. Mange team kjører også en benchmark hvert kvartal, fordi konkurrenter og underliggende modeller endrer seg av seg selv.

Hvis dere benchmarker deres egen agent: administratortilgang til arbeidsområdet, konkurrenten dere vil sammenligne med, og oppgavene som betyr mest for virksomheten. Hvis dere velger mellom leverandører: prøve- eller pilottilgang til hvert produkt, og oppgavene dere ville brukt dem til. Uansett setter vi opp produktene, bygger testinnholdet og skriver de riktige svarene.