Servicios
Pruebas, benchmarking y evaluación de chatbots de IA
Descubra cómo responde realmente su chatbot antes de que lo hagan sus clientes o su departamento legal. Pruebas de chatbots de nivel empresarial para IA conversacional y asistentes basados en LLM, con análisis de relevancia, puntuación de conversaciones, detección de alucinaciones y benchmarks frente a la competencia.
Empresas Fortune 500 de todo el mundo confían en nosotros desde 2011
A quién va dirigido
Para equipos que eligen un chatbot y equipos que ya gestionan uno
Tanto si está eligiendo un proveedor de chatbots como si responde por uno que ya atiende a clientes, necesita saber cómo contesta realmente.
- Comparar proveedores de chatbots
Empresas que están eligiendo un chatbot
Todas las demos de los proveedores quedan bien. Probamos los chatbots que está valorando con sus propias preguntas y su propio contenido, y puntuamos cada uno en velocidad, precisión y alucinaciones, para que elija con evidencias y no por la demo.
- Solicitar un presupuesto
Empresas que lanzan o gestionan su propio chatbot
Tanto si lo ha desarrollado como si lo ha configurado en la plataforma de un proveedor, probamos su chatbot antes del despliegue y de nuevo tras cada actualización de su contenido o del modelo sobre el que funciona. Cuando necesite pruebas para sus compradores, lo comparamos con el de un competidor.
Por qué lo necesita
Un chatbot de IA vale lo que vale su peor respuesta
Los usuarios juzgan su chatbot de IA por la velocidad y por si pueden fiarse de lo que dice. Una sola respuesta errónea dada con seguridad puede echar por tierra cien buenas.
La gente espera una respuesta en cuestión de segundos. Si su chatbot les hace esperar, abandonan el chat o llaman a su línea de soporte.
Un chatbot que se inventa una política de reembolsos o una función del producto crea problemas reales a su equipo de soporte. Ya hay empresas a las que se ha declarado legalmente responsables de lo que su chatbot dijo a los clientes.
Si su chatbot funciona sobre un modelo de IA externo, las actualizaciones de ese modelo pueden cambiar sus respuestas de un día para otro. Las pruebas periódicas lo detectan pronto.
Unas pocas personas probando el chatbot durante una tarde no encontrarán los patrones. Hacen falta cientos de preguntas, formuladas siempre de la misma manera.
Qué probamos
Pruebas y evaluación en profundidad de chatbots de IA
Las pruebas de chatbots de IA abarcan el rendimiento del chatbot, la calidad de sus respuestas y la seguridad de su comportamiento. Los usuarios perciben las tres cosas, así que medimos las tres, tanto si su chatbot funciona sobre un LLM generalista como si responde a partir de su propia base de conocimiento con generación aumentada por recuperación (RAG).
Pruebas de rendimiento de chatbots
Cuánto tarda el chatbot en empezar a responder, cuánto dura una respuesta completa y si se mantiene fiable cuando se le hace la misma pregunta una y otra vez.
Pruebas de calidad de las respuestas
La precisión, la relevancia y la exhaustividad de cada respuesta, además de si el chatbot se inventa datos u olvida partes anteriores de la conversación.
Pruebas de seguridad y protección de chatbots
Intentamos forzar al chatbot a ignorar sus instrucciones, revelar datos o generar contenido dañino, mediante pruebas de guardrails y prompts de red team.
Encuentre las respuestas que no quiere que vean sus clientes
Las alucinaciones, las respuestas flojas, la inyección de prompts y el rendimiento irregular pueden esconderse tras un puñado de conversaciones satisfactorias. Creamos una suite de pruebas en torno a su chatbot, medimos las métricas que importan y le mostramos dónde necesita mejorar.
Métricas
Métricas de evaluación de chatbots de IA que medimos
Medimos por separado el rendimiento, la calidad de las respuestas y la seguridad, para que un chatbot rápido no pueda ocultar respuestas flojas ni uno inteligente respuestas arriesgadas. Estas métricas de chatbots son el punto de partida.
| Métrica | Qué mide |
|---|---|
| Tiempo de primera respuesta | Tiempo desde que se envía una pregunta hasta la primera señal de respuesta en pantalla |
| Tiempo de generación de la respuesta | Tiempo que tarda la IA en producir una respuesta completa una vez que empieza |
| Tiempo total de respuesta | Tiempo completo desde el envío de la pregunta hasta la respuesta terminada |
| Palabras por minuto | La rapidez con la que aparece la respuesta mientras se escribe |
| Consistencia | Si el chatbot da una respuesta igual de buena cuando se le hace la misma pregunta varias veces |
| Métrica | Qué mide |
|---|---|
| Puntuación de calidad de la respuesta | Una puntuación global para cada respuesta en una escala del 1 al 5 |
| Precisión | Si los datos de la respuesta son correctos |
| Relevancia | Si la respuesta atiende realmente a la pregunta |
| Exhaustividad | Si falta algo importante |
| Alucinaciones | Si el chatbot se ha inventado datos, políticas o fuentes |
| Memoria de contexto | Si recuerda mensajes, documentos y detalles anteriores de la conversación |
| Métrica | Qué mide |
|---|---|
| Resistencia a la inyección de prompts | Si el chatbot mantiene sus instrucciones cuando un usuario intenta anularlas |
| Fuga de datos | Si revela instrucciones del sistema, datos internos o información de otros usuarios |
| Control de alcance | Si se mantiene dentro de los temas previstos y rechaza las peticiones que no debería atender |
| Contenido dañino | Si genera algo inseguro, ofensivo o contrario a sus políticas |
Elegimos con usted el conjunto final de métricas, en función de lo que más importa para su chatbot.
¿No tiene claro qué métricas importan más?
Un ingeniero puede explicarle qué medir en su chatbot. Hablar con un ingeniero.
Cómo funciona la puntuación
Una puntuación clara para cada respuesta
Cada respuesta recibe una puntuación del 1 al 5, para que pueda comparar resultados entre preguntas, idiomas, lanzamientos y chatbots de la competencia.
Cómo mantenemos la fiabilidad de las puntuaciones
Utilizamos modelos de IA para puntuar respuestas a gran escala, un método conocido como LLM-as-a-judge, en el que un gran modelo de lenguaje califica las respuestas de otro modelo según criterios escritos. Nuestros ingenieros de QA (aseguramiento de la calidad) comprueban los resultados y siguen un proceso de revisión establecido, para que las puntuaciones sean fiables. Para que sean justas:
- Redactamos y ajustamos con cuidado las instrucciones de puntuación, para que las puntuaciones varíen lo menos posible
- Puntuamos cada pregunta varias veces para eliminar valores atípicos
- Utilizamos modelos de IA de distintos proveedores, para que el sesgo de un solo modelo no altere el resultado
- Ejecutamos cada evaluación en un intervalo de tiempo breve, para que las actualizaciones de los modelos no distorsionen la comparación
| Puntuación | Significado |
|---|---|
| 1 | Irrelevante o incorrecta |
| 2 | Parcialmente relevante |
| 3 | Relevante pero incompleta |
| 4 | Completa y precisa |
| 5 | Ejemplar, cuando se utiliza este nivel |
Creación de la suite de pruebas
Preguntas reales, formuladas siempre de la misma manera
Creamos un conjunto de preguntas y conversaciones que refleja cómo la gente utiliza realmente su chatbot y lo ejecutamos de forma automática para que todos los resultados sean comparables.
Preguntas esperadas
Preguntas sobre la función principal del chatbot, como el estado de un pedido en un asistente de compras o los límites de la tarjeta en un asistente bancario. Es el núcleo de la prueba.
Preguntas inesperadas
Preguntas fuera de tema o poco habituales que podría hacer un usuario real. Comprobamos si el chatbot las gestiona con educación y se mantiene dentro de sus límites.
Contexto y memoria
Conversaciones más largas que comprueban si el chatbot recuerda lo dicho anteriormente y utiliza los documentos que se le han facilitado.
Ejecuciones totalmente automatizadas
Las pruebas automatizadas de chatbots envían cada pregunta con la misma redacción y el mismo ritmo en cada ejecución. Así se elimina el error humano y los resultados son comparables entre lanzamientos y entre productos.
Ponga a prueba su chatbot
Vea cómo gestiona su chatbot las preguntas reales, las conversaciones difíciles y las respuestas en las que no puede permitirse fallar. Obtenga evidencias claras de qué funciona, qué no y qué debe cambiar.
Nuestro proceso
Del alcance a las puntuaciones en cuatro pasos
Nuestros servicios de pruebas y evaluación de chatbots de IA siguen cuatro pasos, con su equipo implicado al principio y al final.
Alcance
Acordamos el propósito de su chatbot, los idiomas y las métricas que importan.
Creación
Redactamos el conjunto de preguntas y las respuestas correctas, basándonos en cómo le hablan realmente sus usuarios.
Ejecución y puntuación
Ejecuciones automatizadas, puntuadas con LLM-as-a-judge y comprobadas por ingenieros de QA.
Informe
Puntuaciones, ejemplos y una sesión de revisión con su equipo.
Caso de éxito
Las pruebas detrás del Zoom AI Performance Report 2024
Zoom pidió a TestDevLab que comparase las funciones de IA de las principales plataformas de reuniones. Los resultados se publicaron en el Zoom AI Performance Report 2024.
- 3 plataformas de reuniones comparadas
- 2 métricas de IA conversacional: tiempo de respuesta y estabilidad
- Periodo de pruebas: septiembre de 2024
Cuándo probar y evaluar
Pruebe su chatbot antes de que haya más en juego
Estos son los momentos en los que una respuesta errónea sale más cara y una comprobación interna rápida no la detecta.
Está a punto de lanzarlo
Encuentre las respuestas flojas antes que sus clientes.
El modelo de IA se ha actualizado
Las actualizaciones de modelos externos pueden cambiar las respuestas de un día para otro.
Su contenido ha cambiado
Nuevas políticas, productos o documentos cambian lo que el chatbot debería decir.
Va a añadir un idioma o un mercado
La calidad de las respuestas puede bajar en un idioma que el chatbot maneja peor.
Está eligiendo proveedor
Pruebe las opciones con sus propias preguntas antes de firmar.
- Solicitar un presupuesto
¿A punto de lanzar o actualizar?
Cuéntenos qué va a cambiar y definiremos una ronda de pruebas en torno a ello.
Análisis competitivo
Compárese con sus competidores
Probar su propio chatbot le dice lo bueno que es. Probarlo junto al de un competidor le dice si es lo bastante bueno para ganar.
Mismas preguntas, mismas condiciones
Su chatbot y el de un competidor reciben las mismas preguntas, en el mismo orden y en las mismas condiciones. Eso hace que la comparación sea justa.
Puntuaciones en paralelo
Recibe los tiempos de respuesta, la consistencia y las puntuaciones de calidad de las respuestas de cada chatbot, pregunta por pregunta.
Dónde gana y dónde no
Los resultados muestran exactamente qué temas maneja mejor su chatbot y dónde un competidor da respuestas más sólidas.
Trabajar con TestDevLab
Automatizado a escala, revisado por expertos
«Puntuar a mano miles de respuestas de un chatbot no es realista, y fiarse de que un modelo de IA califique a otro sin comprobarlo tampoco lo es. Automatizamos las ejecuciones y la puntuación, y después los ingenieros de QA revisan los resultados, de modo que usted obtiene escala y criterio en el mismo informe. Necesita ambas cosas para saber cómo responde realmente su chatbot.»
Director de I+D y automatización de pruebas
- 500+
- expertos veteranos en QA
- 5000+
- dispositivos reales
- 14
- años en el sector de QA
- 95,6 %
- retención de clientes
El resultado
Puntuaciones sobre las que puede actuar
Recibe los resultados y las respuestas que hay detrás, para que su equipo vea exactamente qué corregir.
En el informe
- Puntuaciones por métrica, tema, idioma y lanzamiento
- Tiempos de respuesta, con las preguntas más lentas señaladas
- Cada alucinación y cada problema de seguridad, con la pregunta que lo provocó
- Resultados en paralelo, si se probó a un competidor
- Qué corregir primero
En el paquete de datos
- El conjunto completo de preguntas y las respuestas correctas
- Todas las respuestas en bruto, guardadas para poder volver a puntuar los resultados más adelante sin repetir las pruebas
- Versión del modelo y del chatbot probada, con marca de tiempo, para que los resultados sigan siendo comparables en futuras ejecuciones
Vea cómo son los resultados
Reciba un informe de muestra de una evaluación de chatbot anterior. Solicitar un informe de muestra.
Lo básico
¿Qué son las pruebas de chatbots de IA?
Las pruebas de chatbots de IA, también llamadas evaluación de chatbots o QA de chatbots, comprueban lo bien que un chatbot responde a preguntas reales de los usuarios. Miden el rendimiento, como el tiempo de respuesta y la consistencia, y la calidad de las respuestas, como la precisión, la relevancia, la exhaustividad y si el chatbot se inventa información.
Las pruebas de chatbots de IA forman parte de nuestros servicios de pruebas de IA.
Frente a la evaluación de LLM
La evaluación de LLM puntúa un modelo con un conjunto de datos de prueba, normalmente antes de integrarlo en un producto. Las pruebas de chatbots comprueban el chatbot terminado tal y como lo encuentran sus usuarios, con su contenido, sus instrucciones y su interfaz.
Frente al benchmarking de agentes de IA
Un chatbot responde preguntas. Un agente de IA, además, ejecuta acciones en herramientas de negocio, como actualizar registros o emitir reembolsos. Para agentes, consulte el benchmarking de agentes de IA.
Vea qué puntuación obtiene su chatbot de IA
Cuéntenos qué hace su chatbot y cómo llegan a él los usuarios. Le propondremos un conjunto de preguntas y las métricas que importan, y le mostraremos cómo será su primera ronda de pruebas.
FAQ
Respuestas a las preguntas más frecuentes
Las pruebas de chatbots comprueban con qué rapidez y calidad responde un chatbot a preguntas reales de los usuarios, desde el tiempo de respuesta y la consistencia hasta la precisión y las alucinaciones.
Creamos un conjunto de preguntas esperadas, preguntas inesperadas y conversaciones más largas basándonos en cómo le hablan realmente sus usuarios. Las preguntas se envían automáticamente, se miden los tiempos de respuesta y unos modelos de IA puntúan cada respuesta en una escala del 1 al 5, mientras ingenieros de QA comprueban los resultados.
Para el rendimiento: tiempo de primera respuesta, tiempo de generación de la respuesta, tiempo total de respuesta, palabras por minuto y consistencia. Para la calidad de las respuestas: una puntuación global de calidad, además de precisión, relevancia, exhaustividad, alucinaciones y memoria de contexto. Para la seguridad y la protección: resistencia a la inyección de prompts, fuga de datos, control de alcance y contenido dañino. Acordamos con usted el conjunto final.
Sí. Evaluamos la calidad de las respuestas en cada idioma que admite su chatbot, también para usuarios que escriben en un idioma que no es el suyo.
Sí. En los chatbots que responden a partir de sus propios documentos mediante generación aumentada por recuperación (RAG), comprobamos si las respuestas están respaldadas por esos documentos y señalamos todo lo que el chatbot añade por su cuenta.
LLM-as-a-judge es un método en el que un gran modelo de lenguaje puntúa las respuestas de otro modelo según criterios escritos. Utilizamos modelos de varios proveedores e ingenieros de QA revisan los resultados, para que las puntuaciones sigan siendo fiables.
Comparamos cada respuesta con la información que el chatbot tiene permitido utilizar. Cualquier dato, política o fuente que no esté respaldado por esa información se señala como alucinación.
Sí. Ejecutamos prompts de red teaming para LLM que intentan que el chatbot ignore sus instrucciones, revele datos o genere contenido dañino, e informamos de dónde resiste y dónde no.
Sí. Ambos chatbots reciben las mismas preguntas en las mismas condiciones, y usted obtiene puntuaciones en paralelo de velocidad, consistencia y calidad de las respuestas. Si está eligiendo entre proveedores, hacemos la misma comparación con los chatbots que está valorando.
Antes del lanzamiento y, después, tras cada actualización importante de su chatbot, de su contenido o del modelo de IA sobre el que funciona. Muchos equipos hacen además una comprobación periódica, por ejemplo mensual, porque las actualizaciones de modelos externos pueden cambiar las respuestas sin que usted haya cambiado nada.
Acceso a su chatbot, una descripción de lo que debe hacer y los documentos o datos que utiliza para responder. Nosotros creamos las preguntas, ejecutamos las pruebas y puntuamos los resultados.