En mayo de 2026 la empresa de software Onyx publicó en arXiv un conjunto de datos poco común: algo más de medio millón de documentos de una empresa que no existe. Mensajes internos, correos, registros de CRM, transcripciones de reuniones, tickets de soporte, páginas de wiki. Junto con eso llegaron 500 preguntas que haría un empleado en un día normal de trabajo y un programa que revisa, respuesta por respuesta, si el sistema evaluado acertó.
Se llama EnterpriseRAG-Bench. Dos detalles me hicieron mirar dos veces. El primero: Onyx vende un producto del mismo tipo y escribe, en su propio repositorio, que se excluye del ranking para evitar conflicto de interés. El segundo: quien quiera entrar debe probar que el resultado es reproducible — quien tiene código abierto entrega el paso a paso, quien es cerrado entrega acceso al sistema en línea para que Onyx rehaga las preguntas por su cuenta.
En agosto sometimos nuestra búsqueda en documentos a EnterpriseRAG-Bench. El resultado fue 71,93 puntos, por encima de las configuraciones evaluadas de OpenAI File Search (61,03), Amazon Q (48,96), Azure AI Search (48,42), Vertex AI Search (41,87) y NVIDIA AI Blueprints (37,73). Skyller entró en 2º lugar el 12 de agosto de 2026 y aparecía en 4º entre 22 sistemas en la consulta del 6 de septiembre, con la misma nota. La comparación vale para las configuraciones y el acervo de la prueba; no clasifica todos los productos del mercado.
Vale decir de dónde viene esta presentación. La plataforma no nació en un laboratorio de IA: nació dentro de una operación de infraestructura y soporte que hacía a mano las mismas rutinas cliente tras cliente — crear usuarios, cambiar contraseñas, revisar copias de seguridad, leer el monitoreo, entrar al panel de hosting — y donde lo que tenía cada entorno vivía en la cabeza de quienes llevaban más tiempo en la casa. Encontrar el documento correcto no era una función más de la lista: era el problema. De ahí el interés en medir justamente eso, en una prueba que no es nuestra.
Qué hace realmente una prueba así
La tentación, cuando alguien habla de evaluar inteligencia artificial, es imaginar un examen de ingreso: matemática, lógica, redacción. No es nada de eso. El acervo se arma para parecerse a una empresa real, con todos sus defectos: archivos guardados en el lugar equivocado, versiones viejas conviviendo con las nuevas, casi duplicados repartidos por sistemas distintos y documentos que se contradicen abiertamente.
Las 500 preguntas están separadas en diez tipos. Está la fácil, con respuesta en un único documento. Está la que nadie escribiría con las mismas palabras del archivo. Está la que exige juntar partes distantes de un documento largo. Está la que solo se responde reuniendo todo lo que existe sobre un proyecto. Y hay un grupo de veinte preguntas cuya respuesta simplemente no está en el acervo — la asistente tiene que decir que no encontró, en vez de inventar algo plausible.
Ese último grupo es el que más valoro, y el más raro de ver medido. Toda empresa que puso IA a responder sobre documentos internos conoce el problema: la respuesta bien escrita, segura — y equivocada. Una prueba que puntúa el "no está aquí" está midiendo confiabilidad, no elocuencia.
El programa que corrige no es del proveedor evaluado. Compara la respuesta con una respuesta esperada y con una lista de hechos que deben aparecer. Después mira los documentos que el sistema trajo y decide, por votación entre tres evaluaciones independientes, cuáles eran realmente necesarios.
Por qué casi ningún número de calidad sirve
En el software corporativo, los números de calidad suelen nacer dentro de la casa de quien vende. El proveedor elige el conjunto de preguntas, elige el criterio de acierto, lo corre en su propio entorno y publica el resultado en un material comercial. No hay manera de que el cliente verifique nada — y, para ser justos, tampoco de que el proveedor pruebe que no eligió la prueba en la que le iba a ir bien.
Vi comparativos donde el competidor fue configurado por quien estaba comparando. Vi porcentajes de precisión sin denominador: precisión en cuántas preguntas, hechas por quién, sobre qué acervo. Y vi muchos números sin fecha, que es una forma elegante de nunca quedar desactualizado.
La prueba de Onyx resuelve eso de un modo simple: publica todo. El acervo, las preguntas, las respuestas esperadas, el programa de corrección y el ranking con su historial. Quien dude de nuestro resultado puede descargar el material y rehacer la cuenta. Quien dude del resultado de un competidor, también.
Lo que tiene que existir en la práctica
Si estás evaluando herramientas de IA para tu empresa, estos son los mecanismos que separan evidencia de publicidad. Ninguno depende de vocabulario técnico.
Un conjunto de datos público. Si la prueba corre sobre documentos que solo tiene el proveedor, el resultado no es verificable. Pregunta dónde están los datos y quién más puede usarlos.
Un corrector que no pertenezca a quien está siendo evaluado. El programa que decide si la respuesta está bien tiene que ser el mismo para todos los participantes, y de preferencia escrito por un tercero.
Reproducibilidad exigida en la entrada. Un ranking serio no acepta un archivo de respuestas y confía. Pide el camino para rehacer la prueba — en el código, si es abierto; en el sistema en línea, si es cerrado.
Fecha al lado del número. Un ranking es la foto de un día. La posición de agosto no vale en diciembre, y repetir la posición vieja sin la fecha es, en la práctica, informar algo falso.
La nota entera, no el recorte favorable. El promedio general esconde lo que importa. El resultado por tipo de pregunta muestra dónde la herramienta es fuerte y dónde va a dejar a tu equipo a pie.
La prueba corriendo en el producto que vas a usar. Hay una distancia enorme entre un resultado de laboratorio y el comportamiento del producto en línea. Nuestra presentación pasó por las mismas direcciones públicas que los clientes usan todos los días. Onyx no se conformó con el archivo: mandó 80 preguntas que nunca habíamos visto y verificó las respuestas antes de publicar.
Qué mostró el resultado
En los veinte casos donde la información no existía en el acervo, acertamos los veinte: la respuesta esperada era decir que no encontramos. Ese resultado se limita a la categoría evaluada y no garantiza ausencia de errores en otras preguntas. En preguntas que exigen unir partes distantes de un documento largo, la nota fue 83,33; en documentos informales y mal organizados, 85,00.
Hay dos tipos donde todavía tenemos espacio para crecer: reunir todos los documentos relevantes sobre un tema sin dejar ninguno afuera (32,08) y agregar documentos de un proyecto entero (50,89). Son los frentes en los que el equipo trabaja desde la publicación.
Esos dos números se publican en el mismo archivo que los demás resultados. El registro permite revisar las fortalezas y los límites de la configuración evaluada. Nuevas versiones y otros entornos necesitan nuevas mediciones; esta presentación permanece como evidencia fechada.
Una última observación sobre leer rankings. Nuestra nota no se movió un decimal entre agosto y septiembre; la posición se movió porque se publicaron tres sistemas nuevos, dos de ellos por encima. Así funciona normalmente un ranking abierto, y por eso desconfío de cualquier material comercial que muestre una posición sin decir de cuándo es.
Tres preguntas para llevar a la próxima reunión
- ¿Quién calculó ese número y dónde está el dato? Si la respuesta es "nuestro laboratorio interno", trátalo como estimación del proveedor, no como medición. Pide la dirección pública.
- ¿Cuál es la fecha y cuántos sistemas había en la lista? Una posición aislada no informa nada. Cuarto entre 22 y cuarto entre 5 son resultados completamente distintos.
- ¿Dónde le fue mal a la herramienta? El proveedor que solo muestra las notas buenas eligió el recorte. Pide el resultado por tipo de pregunta y lee primero la línea de abajo.
Una prueba pública no reemplaza la experiencia con tus archivos, en tu idioma, con las preguntas de tu equipo — y esa parte es gratis, y se hace en una tarde. Lo que el ranking hace es otra cosa: separar a quien acepta ser medido por un tercero de quien prefiere medirse a sí mismo.
