Benchmarking de agentes de IA

El benchmarking de agentes de IA compara dos o más agentes de IA en las mismas tareas y en condiciones idénticas, y comprueba qué hizo realmente cada uno en las herramientas que utilizó.

Para cualquier sector en el que un agente de IA lea información y actúe en herramientas empresariales, como banca y finanzas, sanidad, atención al cliente, viajes, IT, ventas y productividad en el trabajo. Diseñamos las tareas de prueba en función de lo que hace su propio agente.

Sí. Comprobamos si el agente entiende bien lo que se le dice y actúa en consecuencia, además de las mismas comprobaciones de tareas y de acceso.

La evaluación de agentes de IA suele puntuar las respuestas de un solo agente, a menudo con un framework que gestiona su propio equipo. El benchmarking compara dos productos en condiciones idénticas y documentadas, y comprueba los resultados dentro de las herramientas en las que trabajaron. Eso es lo que permite usar los resultados en una comparativa pública.

Las pruebas estándar comprueban si la respuesta del agente parece correcta. Un agente puede dar una respuesta aparentemente correcta y aun así introducir datos erróneos, actualizar el registro equivocado, mostrar contenido a alguien que no debería verlo o seguir una instrucción oculta en un documento. Esos problemas solo se detectan revisando las herramientas conectadas.

Damos al agente tareas reales en las herramientas en las que trabaja, ejecutamos cada tarea varias veces desde el mismo punto de partida y revisamos las herramientas antes y después de cada ejecución. Los resultados se comparan con respuestas correctas redactadas de antemano, así que medimos lo que el agente hizo realmente, no solo lo que dijo.

Ambos productos funcionan con el mismo plan de suscripción, con el mismo contenido cargado desde una única fuente, las mismas solicitudes, el mismo hardware y la misma red, y un único conjunto compartido de herramientas empresariales. Cada ejecución se registra en el Parity Ledger, que recoge las versiones, el plan, la configuración y el usuario de prueba que la ejecutó.

Sí. Realizamos pruebas de inyección indirecta de prompts, en la que las instrucciones se ocultan en el contenido que lee el agente. La probamos en mensajes de clientes, correos electrónicos, documentos compartidos, invitaciones de calendario, chats y registros conectados.

Cualquier caso en el que un contenido llegue a un usuario de prueba que no tiene permiso para verlo, ya sea en la respuesta, una fuente citada, una vista previa, un archivo generado o el registro de actividad del agente. El objetivo es cero, así que informamos del número exacto, no de un porcentaje.

Ejecutamos la misma tarea varias veces desde el mismo punto de partida, restableciendo todo entre intentos, e informamos de con qué frecuencia tiene éxito. Esta medida se conoce como pass@k.

Sí, para eso sirve el paquete de evidencias. Cada resultado incluye el Parity Ledger, el contenido de prueba y las respuestas correctas con las que se puntuó, para que cualquiera pueda comprobarlo.

Lo indicamos y explicamos por qué no se pudo probar en el otro producto. La ausencia de una función ya es en sí un hallazgo útil.

La comparación estándar es de dos, porque mantener condiciones idénticas es más fácil y fiable con solo dos productos. Se pueden añadir más productos según el caso.

Después de cualquier actualización importante de su agente o de los modelos e integraciones de los que depende, y antes de revisiones comerciales o de seguridad relevantes. Muchos equipos también hacen un benchmark cada trimestre, porque los competidores y los modelos subyacentes cambian por sí solos.

Si va a hacer benchmarking de su propio agente: acceso de administrador a su espacio de trabajo, el competidor con el que quiere compararse y las tareas que más importan a su negocio. Si está eligiendo entre proveedores: acceso de prueba o piloto a cada producto y las tareas para las que los usaría. En ambos casos, nosotros configuramos los productos, creamos el contenido de prueba y redactamos las respuestas correctas.