Testing, benchmarking og evaluering av AI-chatboter

Chatbot-testing undersøker hvor raskt og hvor godt en chatbot besvarer ekte brukerspørsmål, fra svartid og konsistens til nøyaktighet og hallusinasjoner.

Vi bygger et sett med forventede spørsmål, uventede spørsmål og lengre samtaler basert på hvordan brukerne deres faktisk snakker med den. Spørsmålene sendes automatisk, svartidene måles, og hvert svar poengsettes på en skala fra 1 til 5 av AI-modeller, mens QA-ingeniører kontrollerer resultatene.

For ytelse: første svartid, svargenereringstid, total svartid, ord per minutt og konsistens. For svarkvalitet: en samlet kvalitetspoengsum samt nøyaktighet, relevans, fullstendighet, hallusinasjoner og konteksthukommelse. For sikkerhet og trygghet: motstand mot prompt injection, datalekkasje, emneavgrensning og skadelig innhold. Det endelige settet avtaler vi med dere.

Ja. Vi evaluerer svarkvaliteten på hvert språk chatboten deres støtter, også for brukere som skriver på et språk som ikke er morsmålet deres.

Ja. For chatboter som svarer ut fra deres egne dokumenter med retrieval-augmented generation (RAG), sjekker vi om svarene støttes av dokumentene, og markerer alt chatboten legger til på egen hånd.

LLM-as-a-judge er en metode der én stor språkmodell poengsetter en annen modells svar opp mot skriftlige kriterier. Vi bruker modeller fra flere leverandører og lar QA-ingeniører gå gjennom resultatene, slik at poengsummene forblir pålitelige.

Vi sammenligner hvert svar med informasjonen chatboten har lov til å bruke. Ethvert faktum, enhver retningslinje eller kilde som ikke støttes av denne informasjonen, markeres som en hallusinasjon.

Ja. Vi kjører LLM red teaming-prompter som prøver å få chatboten til å ignorere instruksjonene sine, avsløre data eller produsere skadelig innhold, og rapporterer hvor den står imot, og hvor den ikke gjør det.

Ja. Begge chatbotene får de samme spørsmålene under samme betingelser, og dere får poengsummer side om side for hastighet, konsistens og svarkvalitet. Hvis dere skal velge mellom leverandører, kjører vi den samme sammenligningen på chatbotene dere vurderer.

Før lansering, og deretter etter hver vesentlige oppdatering av chatboten, innholdet eller AI-modellen den kjører på. Mange team kjører også en fast sjekk, for eksempel månedlig, fordi eksterne modelloppdateringer kan endre svarene uten at noe er endret hos dere.

Tilgang til chatboten deres, en beskrivelse av hva den er ment å gjøre, og eventuelle dokumenter eller data den bruker for å svare. Vi bygger spørsmålene, kjører testene og poengsetter resultatene.