Test, benchmarking og evaluering af AI-chatbots

Chatbot-test undersøger, hvor hurtigt og hvor godt en chatbot besvarer rigtige brugerspørgsmål, fra svartid og konsistens til nøjagtighed og hallucinationer.

Vi opbygger et sæt forventede spørgsmål, uventede spørgsmål og længere samtaler ud fra, hvordan jeres brugere faktisk taler med den. Spørgsmålene sendes automatisk, svartiderne måles, og hvert svar scores på en skala fra 1 til 5 af AI-modeller, mens QA-ingeniører kontrollerer resultaterne.

For performance: første svartid, svargenereringstid, samlet svartid, ord pr. minut og konsistens. For svarkvalitet: en samlet kvalitetsscore samt nøjagtighed, relevans, fuldstændighed, hallucinationer og konteksthukommelse. For sikkerhed og tryghed: modstandsdygtighed over for prompt injection, datalækage, emneafgrænsning og skadeligt indhold. Det endelige sæt aftaler vi med jer.

Ja. Vi evaluerer svarkvaliteten på hvert sprog, jeres chatbot understøtter, også for brugere, der skriver på et sprog, som ikke er deres modersmål.

Ja. For chatbots, der svarer ud fra jeres egne dokumenter med retrieval-augmented generation (RAG), tjekker vi, om svarene understøttes af dokumenterne, og markerer alt, hvad chatbotten selv lægger til.

LLM-as-a-judge er en metode, hvor én stor sprogmodel scorer en anden models svar ud fra nedskrevne kriterier. Vi bruger modeller fra flere leverandører og lader QA-ingeniører gennemgå resultaterne, så scorerne forbliver pålidelige.

Vi sammenligner hvert svar med de oplysninger, chatbotten har lov til at bruge. Ethvert faktum, enhver politik eller kilde, som ikke understøttes af disse oplysninger, markeres som en hallucination.

Ja. Vi kører LLM red teaming-prompts, der forsøger at få chatbotten til at ignorere sine instruktioner, afsløre data eller producere skadeligt indhold, og rapporterer, hvor den holder stand, og hvor den ikke gør.

Ja. Begge chatbots får de samme spørgsmål under samme betingelser, og I får scorer side om side for hastighed, konsistens og svarkvalitet. Hvis I skal vælge mellem leverandører, kører vi samme sammenligning på de chatbots, I overvejer.

Før lancering og derefter efter hver væsentlig opdatering af jeres chatbot, dens indhold eller den AI-model, den kører på. Mange teams kører også et fast tjek, f.eks. månedligt, fordi eksterne modelopdateringer kan ændre svarene, uden at der er ændret noget hos jer.

Adgang til jeres chatbot, en beskrivelse af, hvad den er beregnet til, og de dokumenter eller data, den bruger til at svare. Vi opbygger spørgsmålene, kører testene og scorer resultaterne.