En mayo de 2024, investigadores de la Universidad de Stanford publicaron el primer estudio preregistrado sobre la confiabilidad de las herramientas de IA para investigación legal. El resultado: las dos plataformas principales del mercado, hechas por grandes editoriales jurídicas, se equivocan o inventan algo —una cita que no existe, o la afirmación de que un documento dice algo que no dice— entre el 17% y el 33% de las veces. Un modelo de propósito general, sin ningún ajuste para la tarea, se equivocó hasta en el 82% de las preguntas legales evaluadas.
El motivo por el que este dato importa más allá del derecho es simple: ninguna de esas respuestas llegaba marcada como "no estoy seguro de esto". Todas venían con el mismo tono seguro, bien redactadas, con apariencia de investigación completa. La diferencia entre la respuesta correcta y la incorrecta no era visible en el texto —solo se hacía visible para quien verificaba la fuente.
Ese es el problema que enfrenta cualquier empresa que usa IA para responder sobre una política interna, un contrato o un proceso, incluso fuera del derecho: una respuesta convincente sin origen verificable no es información. Es una opinión con apariencia de dato.
Para empresas de Brasil y América Latina que ponen a la IA a responder dudas sobre normas internas —política de reembolso, plazo de vacaciones, cláusula de un contrato—, el riesgo es el mismo a menor escala: cada respuesta convincente y equivocada se convierte en una decisión tomada sobre una base que no existe.
El riesgo de la respuesta convincente
Fuera de los tribunales, el mismo tipo de error aparece en decisiones más pequeñas y mucho más frecuentes: una política de reembolso desactualizada citada como si fuera la vigente, un tope de gasto que cambió hace dos meses y que la IA sigue repitiendo con el valor antiguo, una cláusula de contrato interpretada fuera del contexto del párrafo siguiente. Ninguno de estos casos se vuelve noticia. Todos cuestan dinero y tiempo de la misma forma, solo que en silencio, sin que nadie escriba un reportaje sobre eso.
En marzo de 2026, un tribunal federal de Oregón resolvió un caso que muestra este riesgo fuera del laboratorio. A lo largo de cinco meses, los abogados de una de las partes presentaron tres escritos distintos que contenían 15 citas de casos que no existían y 8 fragmentos "citados" de fallos que nunca decían eso. El tribunal multó al abogado responsable con US$ 15.500, descartó los escritos y desestimó las demandas de esa parte con perjuicio —la sanción más dura, reservada para quien, según el propio tribunal, no mostró ningún arrepentimiento al ser confrontado.
El caso no es aislado. Investigadores mantienen hoy un registro público solo para rastrear fallos judiciales en los que contenido generado por IA con citas inventadas llegó a un tribunal —señal de que el problema dejó de ser un incidente raro para convertirse en un patrón reconocido, con cientos de casos catalogados.
La definición que usaron los investigadores de Stanford ayuda a entender por qué esto sigue ocurriendo: un error grave no es solo información inventada de la nada. También es una cita real, de un documento real, usada para sostener algo que ese documento no dice. Esta segunda forma es más peligrosa porque supera cualquier revisión superficial —la fuente existe, solo la conexión entre ella y lo que se afirmó es falsa.
Por qué el tono no basta
La reacción más común al escuchar este tipo de dato es buscar una herramienta "mejor", o confiar en que el modelo más reciente resuelva el problema por sí solo. El propio estudio de Stanford muestra los límites de esa apuesta: las herramientas evaluadas fueron construidas específicamente para investigación legal, con acceso a bases de datos jurídicas reales —y aun así, una de ellas se equivocó en 1 de cada 3 respuestas. Cambiar de modelo de IA sin cambiar la estructura alrededor de él resuelve poco, porque el problema no es cuánto "sabe" el modelo: es que nada en la estructura obliga a la respuesta a indicar de dónde vino.
La otra reacción común es confiar en una revisión humana genérica —"alguien siempre revisa después". Pero la revisión sin un proceso definido tiende a ocurrir solo cuando algo ya salió mal, no antes. Es el mismo patrón visto en los casos de citas inventadas en tribunales: la mayoría solo se descubrió porque la parte contraria, o el propio juez, verificó manualmente cada referencia —un trabajo que la estructura debería haber hecho antes de que el documento saliera.
Lo que falta en ambos casos es lo mismo: un vínculo obligatorio entre la respuesta y su origen, y una etapa de aprobación definida antes de que un contenido crítico se convierta en conocimiento oficial que la IA usa después.
Lo que tiene que existir en la práctica
Conocimiento con dueño, versión vigente y alcance por área. Cada documento que alimenta a la IA tiene una persona responsable, una versión identificada como vigente y un alcance definido —¿aplica a toda la empresa, o solo a un área? Sin eso, una política revocada hace dos años compite en igualdad de condiciones con la actual.
Respuestas que pueden citar la fuente utilizada. Cuando una respuesta indica de qué documento proviene, quien la recibe puede verificarla en segundos —la misma revisión que, en el caso de las herramientas legales, solo un especialista capacitado podía hacer a mano.
Revisión y aprobación en dos etapas para documentos críticos. Antes de que un documento sensible se convierta en conocimiento que la IA usa para responder, pasa por quien lo escribió y por quien lo aprueba, con segregación de funciones y excepciones registradas. Esto no significa aprobar cada respuesta generada por la IA; significa aprobar el material que alimenta esas respuestas.
Registro de quién aprobó qué y cuándo. En una auditoría, o ante una duda sobre una respuesta específica, reconstruir el origen en minutos es la diferencia entre resolver el caso y no poder probar nada.
Así fue diseñada la Skyller: conocimiento corporativo con fuente, revisión en dos etapas para documentos críticos, y respuestas que pueden citar de dónde vinieron.
La ganancia de decidir sobre una base rastreable
Cuando una respuesta puede verificarse en segundos, la velocidad de decisión cambia en la práctica: quien la recibe no tiene que elegir entre confiar a ciegas o detener todo para investigar por su cuenta. La verificación se vuelve parte del flujo de trabajo, no un paso extra que nadie tiene tiempo de hacer.
También hay un efecto que solo aparece con el tiempo: cuando cada respuesta lleva su fuente, se hace visible qué documentos están desactualizados, se contradicen entre sí, o nunca se consultan realmente. La empresa gana una claridad sobre su propio acervo de conocimiento que ninguna auditoría manual alcanza —porque cada consulta a la IA es, en la práctica, una prueba de uso real de ese documento.
El costo de no tener esto rara vez aparece de una sola vez. Se acumula en decisiones pequeñas que nadie audita, hasta que una de ellas se convierte en un problema lo bastante grande como para que alguien pregunte de dónde vino esa información —y la respuesta sea "no sé, lo dijo la IA".
Y existe la ganancia más directa: ninguna decisión de negocio debería apoyarse en una respuesta que nadie puede rastrear hasta su origen. Eso vale tanto para un contrato como para una política de reembolso —el tamaño del documento cambia, el principio no.
Una hoja de ruta para empezar
- Elija primero los documentos que generan más dudas o decisiones sensibles. No hace falta organizar todo el acervo de una vez —empiece por los pocos documentos que, si están mal, salen más caros.
- Defina quién es el dueño de cada uno. Sin un responsable nombrado, nadie actualiza la versión ni nota cuándo quedó desactualizada.
- Configure la revisión en dos etapas solo para lo que sea crítico. Un documento operativo de bajo riesgo no necesita el mismo proceso que una política financiera o legal.
- Exija que la respuesta cite la fuente utilizada. Si la herramienta no lo permite, no debería estar respondiendo nada que la empresa considere oficial.
- Reserve una prueba real antes de confiar del todo. Tome preguntas del día a día y verifique manualmente las respuestas durante algunas semanas —el mismo cuidado que faltó en los casos de citas inventadas en tribunales.
