Services
Tests, benchmark et évaluation de chatbots IA
Découvrez comment votre chatbot répond vraiment, avant que vos clients ou votre service juridique ne le fassent. Des tests de chatbots de niveau entreprise pour l'IA conversationnelle et les assistants basés sur des LLM, avec analyse de pertinence, notation des conversations, détection des hallucinations et benchmarks concurrentiels.
Des entreprises du Fortune 500 dans le monde entier nous font confiance depuis 2011
Pour qui
Pour les équipes qui choisissent un chatbot et celles qui en exploitent un
Que vous choisissiez un fournisseur de chatbot ou que vous répondiez d'un chatbot déjà en contact avec vos clients, vous devez savoir comment il répond vraiment.
- Comparer les fournisseurs de chatbots
Les entreprises qui choisissent un chatbot
Toutes les démos de fournisseurs sont convaincantes. Nous testons les chatbots que vous envisagez avec vos propres questions et vos propres contenus, et nous notons chacun sur la rapidité, la précision et les hallucinations, pour que vous choisissiez sur la base de preuves et non de la démo.
- Obtenir un devis
Les entreprises qui lancent ou exploitent leur propre chatbot
Que vous l'ayez développé ou configuré sur la plateforme d'un fournisseur, nous testons votre chatbot avant son déploiement, puis après chaque mise à jour de ses contenus ou du modèle sur lequel il s'appuie. Lorsque vous avez besoin de preuves pour vos acheteurs, nous le comparons à celui d'un concurrent.
Pourquoi vous en avez besoin
Un chatbot IA ne vaut que par sa pire réponse
Les utilisateurs jugent votre chatbot IA sur sa rapidité et sur la confiance qu'ils peuvent accorder à ce qu'il dit. Une seule réponse fausse, donnée avec assurance, peut en ruiner cent bonnes.
Les gens attendent une réponse en quelques secondes. Si votre chatbot les fait patienter, ils quittent la conversation ou appellent votre support.
Un chatbot qui invente une politique de remboursement ou une fonctionnalité produit crée de vrais problèmes pour votre équipe support. Des entreprises ont déjà été tenues légalement responsables de ce que leur chatbot avait dit à des clients.
Si votre chatbot s'appuie sur un modèle d'IA externe, les mises à jour de ce modèle peuvent modifier ses réponses du jour au lendemain. Des tests réguliers le révèlent tôt.
Quelques personnes qui essaient le chatbot pendant un après-midi ne verront pas les schémas récurrents. Il faut des centaines de questions, posées de la même façon à chaque fois.
Ce que nous testons
Tests et évaluation approfondis de chatbots IA
Les tests de chatbots IA couvrent les performances du chatbot, la qualité de ses réponses et la sûreté de son comportement. Les utilisateurs ressentent les trois, nous mesurons donc les trois, que votre chatbot s'appuie sur un LLM généraliste ou qu'il réponde à partir de votre propre base de connaissances grâce à la génération augmentée par récupération (RAG).
Tests de performance des chatbots
La rapidité avec laquelle le chatbot commence à répondre, la durée d'une réponse complète et sa fiabilité lorsque la même question est posée encore et encore.
Tests de qualité des réponses
La précision, la pertinence et l'exhaustivité de chaque réponse, ainsi que la tendance du chatbot à inventer des faits ou à oublier des éléments antérieurs de la conversation.
Tests de sécurité et de sûreté des chatbots
Nous tentons de pousser le chatbot à ignorer ses instructions, à révéler des données ou à produire des contenus nuisibles, à l'aide de tests de garde-fous et de prompts de red teaming.
Trouvez les réponses que vous ne voulez pas montrer à vos clients
Hallucinations, réponses faibles, injection de prompts et performances irrégulières peuvent se cacher derrière une poignée de conversations réussies. Nous construisons une suite de tests autour de votre chatbot, mesurons les métriques qui comptent et vous montrons où il doit progresser.
Métriques
Les métriques d'évaluation de chatbots IA que nous mesurons
Nous mesurons séparément les performances, la qualité des réponses et la sécurité, afin qu'un chatbot rapide ne puisse pas masquer des réponses faibles, ni un chatbot intelligent des réponses risquées. Ces métriques de chatbot sont le point de départ.
| Métrique | Ce qu'elle mesure |
|---|---|
| Délai de première réponse | Temps entre l'envoi d'une question et le premier signe de réponse à l'écran |
| Temps de génération de la réponse | Temps que met l'IA à produire une réponse complète une fois lancée |
| Temps de réponse total | Temps complet entre l'envoi de la question et la réponse terminée |
| Mots par minute | La vitesse à laquelle la réponse s'affiche au fil de sa rédaction |
| Cohérence | Le chatbot donne-t-il une réponse aussi bonne lorsque la même question lui est posée plusieurs fois |
| Métrique | Ce qu'elle mesure |
|---|---|
| Score de qualité des réponses | Un score global pour chaque réponse sur une échelle de 1 à 5 |
| Précision | Les faits de la réponse sont-ils exacts |
| Pertinence | La réponse traite-t-elle réellement la question |
| Exhaustivité | Manque-t-il un élément important |
| Hallucinations | Le chatbot a-t-il inventé des faits, des politiques ou des sources |
| Mémoire du contexte | Se souvient-il des messages, documents et détails antérieurs de la conversation |
| Métrique | Ce qu'elle mesure |
|---|---|
| Résistance à l'injection de prompts | Le chatbot respecte-t-il ses instructions lorsqu'un utilisateur tente de les contourner |
| Fuite de données | Révèle-t-il des instructions système, des données internes ou des informations d'autres utilisateurs |
| Maîtrise du périmètre | Reste-t-il dans les sujets prévus et refuse-t-il les demandes qu'il ne devrait pas traiter |
| Contenus nuisibles | Produit-il quoi que ce soit de dangereux, d'offensant ou de contraire à vos politiques |
Nous choisissons avec vous l'ensemble final de métriques, en fonction de ce qui compte le plus pour votre chatbot.
Vous ne savez pas quelles métriques comptent le plus ?
Un ingénieur peut vous expliquer ce qu'il faut mesurer pour votre chatbot. Parler à un ingénieur.
La notation expliquée
Un score clair pour chaque réponse
Chaque réponse reçoit un score de 1 à 5, ce qui vous permet de comparer les résultats entre questions, langues, versions et chatbots concurrents.
Comment nous garantissons la fiabilité des scores
Nous utilisons des modèles d'IA pour noter les réponses à grande échelle, une méthode appelée LLM-as-a-judge, dans laquelle un grand modèle de langage note les réponses d'un autre modèle selon des critères écrits. Nos ingénieurs QA (assurance qualité) vérifient les résultats et suivent un processus de revue défini, pour que les scores soient dignes de confiance. Pour qu'ils restent équitables :
- Nous rédigeons et ajustons soigneusement les instructions de notation, pour que les scores varient le moins possible
- Nous notons chaque question plusieurs fois afin d'éliminer les valeurs aberrantes
- Nous utilisons des modèles d'IA de différents fournisseurs, pour que le biais d'un seul modèle ne fausse pas le résultat
- Nous réalisons chaque évaluation sur une courte période, pour que les mises à jour des modèles ne faussent pas la comparaison
| Score | Signification |
|---|---|
| 1 | Hors sujet ou incorrecte |
| 2 | Partiellement pertinente |
| 3 | Pertinente mais incomplète |
| 4 | Complète et exacte |
| 5 | Exemplaire, lorsque ce niveau est utilisé |
Construire la suite de tests
De vraies questions, posées de la même façon à chaque fois
Nous construisons un ensemble de questions et de conversations qui reflète la façon dont les gens utilisent réellement votre chatbot, puis nous l'exécutons automatiquement pour que chaque résultat soit comparable.
Questions attendues
Des questions sur la mission principale du chatbot, comme le statut d'une commande pour un assistant d'achat ou les plafonds de carte pour un assistant bancaire. C'est le cœur du test.
Questions inattendues
Des questions hors sujet ou inhabituelles qu'un véritable utilisateur pourrait poser. Nous vérifions que le chatbot les traite poliment et reste dans ses limites.
Contexte et mémoire
Des conversations plus longues qui testent si le chatbot se souvient de ce qui a été dit plus tôt et utilise les documents qui lui ont été fournis.
Exécutions entièrement automatisées
Les tests automatisés de chatbots envoient chaque question avec la même formulation et le même rythme à chaque exécution. Cela élimine l'erreur humaine et rend les résultats comparables entre versions et entre produits.
Mettez votre chatbot à l'épreuve
Voyez comment votre chatbot gère les vraies questions, les conversations difficiles et les réponses sur lesquelles vous ne pouvez pas vous tromper. Obtenez des preuves claires de ce qui fonctionne, de ce qui ne fonctionne pas et de ce qui doit changer.
Notre processus
Du cadrage aux scores en quatre étapes
Nos services de test et d'évaluation de chatbots IA suivent quatre étapes, votre équipe étant impliquée au début et à la fin.
Cadrage
Nous convenons de la finalité de votre chatbot, des langues et des métriques qui comptent.
Construction
Nous rédigeons le jeu de questions et les bonnes réponses, d'après la façon dont vos utilisateurs lui parlent réellement.
Exécution et notation
Des exécutions automatisées, notées avec LLM-as-a-judge et vérifiées par des ingénieurs QA.
Rapport
Des scores, des exemples et une présentation détaillée avec votre équipe.
Cas client
Les tests derrière le Zoom AI Performance Report 2024
Zoom a demandé à TestDevLab de comparer les fonctionnalités d'IA des principales plateformes de réunion. Les résultats ont été publiés dans le Zoom AI Performance Report 2024.
- 3 plateformes de réunion comparées
- 2 métriques d'IA conversationnelle : temps de réponse et stabilité
- Période de test : septembre 2024
Quand tester et évaluer
Testez votre chatbot avant que les enjeux ne montent
Ce sont les moments où une mauvaise réponse coûte le plus cher et où une vérification interne rapide ne la détectera pas.
Vous êtes sur le point de le lancer
Trouvez les réponses faibles avant vos clients.
Le modèle d'IA a été mis à jour
Les mises à jour de modèles externes peuvent modifier les réponses du jour au lendemain.
Vos contenus ont changé
De nouvelles politiques, de nouveaux produits ou documents changent ce que le chatbot doit dire.
Vous ajoutez une langue ou un marché
La qualité des réponses peut baisser dans une langue que le chatbot maîtrise moins bien.
Vous choisissez un fournisseur
Testez les options avec vos propres questions avant de signer.
- Obtenir un devis
Un lancement ou une mise à jour en vue ?
Dites-nous ce qui change et nous définirons une campagne de tests adaptée.
Analyse concurrentielle
Comparez-vous à vos concurrents
Tester votre propre chatbot vous dit à quel point il est bon. Le tester à côté de celui d'un concurrent vous dit s'il est assez bon pour gagner.
Mêmes questions, mêmes conditions
Votre chatbot et celui d'un concurrent reçoivent les mêmes questions, dans le même ordre et dans les mêmes conditions. C'est ce qui rend la comparaison équitable.
Des scores côte à côte
Vous obtenez les temps de réponse, la cohérence et les scores de qualité des réponses de chaque chatbot, question par question.
Là où vous gagnez et là où vous perdez
Les résultats montrent précisément quels sujets votre chatbot traite mieux et où un concurrent donne des réponses plus solides.
Travailler avec TestDevLab
Automatisé à grande échelle, vérifié par des experts
« Noter à la main des milliers de réponses de chatbot n'est pas réaliste, et faire confiance à un modèle d'IA pour en noter un autre sans vérification ne l'est pas davantage. Nous automatisons les exécutions et la notation, puis des ingénieurs QA examinent les résultats : vous obtenez ainsi l'échelle et le discernement dans un même rapport. Il vous faut les deux pour savoir comment votre chatbot répond vraiment. »
Directeur R&D et automatisation des tests
- 500+
- experts QA expérimentés
- 5000+
- appareils réels
- 14
- ans dans le métier de la QA
- 95,6 %
- fidélisation client
Le résultat
Des scores exploitables
Vous recevez les résultats et les réponses qui les sous-tendent, pour que votre équipe voie exactement ce qu'il faut corriger.
Dans le rapport
- Les scores par métrique, sujet, langue et version
- Les temps de réponse, avec les questions les plus lentes signalées
- Chaque hallucination et chaque problème de sécurité, avec la question qui l'a provoqué
- Les résultats côte à côte, si un concurrent a été testé
- Ce qu'il faut corriger en premier
Dans le pack de données
- Le jeu de questions complet et les bonnes réponses
- Chaque réponse brute, conservée pour pouvoir renoter les résultats plus tard sans relancer les tests
- La version du modèle et du chatbot testée, horodatée, pour que les résultats restent comparables lors des prochaines exécutions
Découvrez à quoi ressemblent les résultats
Recevez un exemple de rapport issu d'une précédente évaluation de chatbot. Demander un exemple de rapport.
Les bases
Qu'est-ce que le test de chatbots IA ?
Le test de chatbots IA, aussi appelé évaluation de chatbot ou QA de chatbot, vérifie dans quelle mesure un chatbot répond bien aux vraies questions des utilisateurs. Il mesure les performances, comme le temps de réponse et la cohérence, et la qualité des réponses, comme la précision, la pertinence, l'exhaustivité et le fait que le chatbot invente ou non des informations.
Le test de chatbots IA fait partie de nos services de tests d'IA.
Par rapport à l'évaluation de LLM
L'évaluation de LLM note un modèle sur un jeu de données de test, généralement avant son intégration dans un produit. Le test de chatbots vérifie le chatbot fini tel que vos utilisateurs le rencontrent, avec vos contenus, vos instructions et votre interface.
Par rapport au benchmark d'agents IA
Un chatbot répond à des questions. Un agent IA exécute en plus des actions dans des outils métier, comme mettre à jour des dossiers ou émettre des remboursements. Pour les agents, voir le benchmark d'agents IA.
Découvrez le score de votre chatbot IA
Dites-nous ce que fait votre chatbot et comment les utilisateurs y accèdent. Nous vous proposerons un jeu de questions et les métriques qui comptent, et nous vous montrerons à quoi ressemblera votre première campagne de tests.
FAQ
Les réponses aux questions les plus fréquentes
Le test de chatbots vérifie avec quelle rapidité et quelle qualité un chatbot répond aux vraies questions des utilisateurs, du temps de réponse et de la cohérence jusqu'à la précision et aux hallucinations.
Nous construisons un ensemble de questions attendues, de questions inattendues et de conversations plus longues, d'après la façon dont vos utilisateurs lui parlent réellement. Les questions sont envoyées automatiquement, les temps de réponse sont mesurés et chaque réponse est notée sur une échelle de 1 à 5 par des modèles d'IA, des ingénieurs QA vérifiant les résultats.
Pour les performances : délai de première réponse, temps de génération de la réponse, temps de réponse total, mots par minute et cohérence. Pour la qualité des réponses : un score de qualité global, ainsi que la précision, la pertinence, l'exhaustivité, les hallucinations et la mémoire du contexte. Pour la sécurité et la sûreté : résistance à l'injection de prompts, fuite de données, maîtrise du périmètre et contenus nuisibles. Nous arrêtons l'ensemble final avec vous.
Oui. Nous évaluons la qualité des réponses dans chaque langue prise en charge par votre chatbot, y compris pour les utilisateurs qui écrivent dans une langue qui n'est pas la leur.
Oui. Pour les chatbots qui répondent à partir de vos propres documents grâce à la génération augmentée par récupération (RAG), nous vérifions que les réponses sont étayées par ces documents et nous signalons tout ce que le chatbot ajoute de lui-même.
LLM-as-a-judge est une méthode dans laquelle un grand modèle de langage note les réponses d'un autre modèle selon des critères écrits. Nous utilisons des modèles de plusieurs fournisseurs et faisons examiner les résultats par des ingénieurs QA, pour que les scores restent fiables.
Nous comparons chaque réponse aux informations que le chatbot est autorisé à utiliser. Tout fait, toute politique ou toute source qui n'est pas étayé par ces informations est signalé comme une hallucination.
Oui. Nous exécutons des prompts de red teaming pour LLM qui tentent d'amener le chatbot à ignorer ses instructions, à révéler des données ou à produire des contenus nuisibles, et nous indiquons où il résiste et où il cède.
Oui. Les deux chatbots reçoivent les mêmes questions dans les mêmes conditions, et vous obtenez des scores côte à côte pour la rapidité, la cohérence et la qualité des réponses. Si vous hésitez entre plusieurs fournisseurs, nous réalisons la même comparaison sur les chatbots que vous envisagez.
Avant le lancement, puis après chaque mise à jour importante de votre chatbot, de ses contenus ou du modèle d'IA sur lequel il s'appuie. De nombreuses équipes effectuent aussi un contrôle régulier, par exemple mensuel, car les mises à jour de modèles externes peuvent modifier les réponses sans aucun changement de votre côté.
Un accès à votre chatbot, une description de ce qu'il est censé faire, et les documents ou données qu'il utilise pour répondre. Nous construisons les questions, exécutons les tests et notons les résultats.