Investigadores de Stanford, junto con colegas de otras instituciones, probaron algo simple: tomaron una pregunta con respuesta conocida, colocaron esa respuesta en distintas posiciones dentro de un texto largo, y midieron si el modelo de IA lograba encontrarla. El resultado, publicado en 2024 en la revista científica Transactions of the Association for Computational Linguistics, se conoció como "Lost in the Middle" —perdido en el medio.
El hallazgo: los modelos de IA aciertan bien cuando la información correcta está al principio o al final del material entregado. En el medio de un texto largo, el desempeño cae —incluso en modelos hechos para textos largos, e incluso cuando la respuesta correcta está ahí, escrita, solo que rodeada de otra información.
Esto cambia la pregunta que la mayoría de las empresas se hace sobre la IA. No es solo "¿el modelo es lo bastante bueno?" —es "¿el material que la empresa le está entregando a la IA está organizado de una forma que ella pueda usar?". Y, en la mayoría de los casos, no lo está.
El manual completo en lugar del fragmento correcto
Cuando alguien le pregunta a una IA corporativa cuál es la política de reembolso de la empresa y la respuesta llega equivocada, el primer instinto es culpar al modelo. Pero, en la práctica, es común que la IA haya recibido el manual de recursos humanos completo —ochenta páginas entre beneficios, vacaciones, plan de salud y reembolsos— para encontrar sola un párrafo específico en medio de todo eso.
El hallazgo de "Lost in the Middle" explica por qué ese enfoque falla: cuanto más material irrelevante rodea la respuesta correcta, mayor la probabilidad de que la IA "pierda" esa respuesta en el camino, sin importar cuánta capacidad de lectura tenga. Hoy es fácil confundir capacidad de lectura con calidad de lectura: un modelo de IA puede procesar un documento gigante de una sola vez, dentro de lo que suele llamarse "ventana de contexto" —cuánto puede leer la IA en una sola conversación— y aun así leer mal justo lo que está en el medio.
El problema empeora cuando la empresa entrega documentos contradictorios al mismo tiempo: la política antigua sigue en el mismo espacio que la nueva, un borrador al lado de la versión aprobada, el correo que "reemplazó" un proceso sin reemplazar el archivo original. La IA no tiene forma de saber cuál es la vigente —porque, en el origen, nadie decidió eso por ella.
Un ejemplo común: el área comercial actualiza la tabla de precios en una planilla nueva, pero la antigua sigue guardada en la misma carpeta, con un nombre parecido. Un cliente pregunta el precio de un plan, y la IA —sin forma de saber qué archivo vale— puede responder con el número equivocado. Nadie programó a la IA para mentir; solo recibió dos respuestas posibles, en el mismo lugar, sin ninguna señal de cuál era la correcta.
Darle todo a la IA no es lo mismo que darle lo correcto
La salida más común, cuando alguien nota que la IA se equivoca, es entregar todavía más material —"pon todo ahí, que ella busque". Es intuitivo, y es lo opuesto de lo que ayuda. Anthropic, fabricante del modelo Claude, llama a ese efecto desgaste de contexto: a medida que crece el volumen de texto entregado de una vez, la precisión de la IA para localizar y usar la información correcta cae —no porque el material desaparezca, sino porque cada fragmento recibe menos atención proporcional dentro de un conjunto más grande.
En otras palabras: más material no es más precisión. Es más probabilidad de que la respuesta correcta caiga justo en la zona del medio que "Lost in the Middle" mostró ser la más débil.
La propia documentación de Anthropic para quienes construyen sobre un modelo de IA recomienda el camino opuesto a "pon todo": tratar el material entregado como un recurso limitado, con retorno decreciente, y pasar el conjunto mínimo de información que resuelve la tarea —no el máximo disponible. Eso vale tanto para una pregunta puntual como para un agente que trabaja por etapas a lo largo del día.
Lo que tiene que existir en la práctica
Resolver esto no es enseñarle a la persona a preguntar mejor —es organizar el material antes de que llegue cualquier pregunta.
Documento con dueño. Cada política, manual o proceso tiene una persona o área responsable de mantenerlo actualizado. Sin dueño, nadie nota cuándo un documento envejece.
Versión vigente separada de la histórica. La versión antigua puede seguir existiendo —para auditoría, para historial— pero marcada como no vigente, fuera de lo que la IA usa para responder por defecto. El instituto de investigación en datos IDC describe el problema opuesto como decadencia de datos: contenido que sigue existiendo, pero se vuelve desactualizado, inconsistente y cada vez menos confiable, mezclado con lo que todavía es válido.
Alcance por área. El manual de finanzas no necesita entrar en la misma búsqueda que una pregunta de ventas. Limitar el alcance por área reduce el volumen de material compitiendo por la atención de la IA al responder —menos material en el medio, el mismo problema que describió "Lost in the Middle", solo que resuelto por la organización del conocimiento, no por el tamaño del texto.
Respuesta que cita la fuente usada. Cuando la respuesta puede señalar de qué documento vino, quien la recibe puede verificarla —y quien mantiene el conocimiento descubre rápido cuándo un documento está siendo mal interpretado o está desactualizado.
Ciclo de revisión con vigencia. Un documento sin fecha de revisión tiende a quedar olvidado hasta que alguien nota, demasiado tarde, que está mal. Definir cada cuánto tiempo debe revisarse cada categoría de documento evita esa acumulación silenciosa.
Así fue diseñada la Skyller: conocimiento de la empresa con dueño, versión vigente y alcance por área, para que la respuesta beba de la fuente correcta —y no de una pila de documentos compitiendo entre sí.
La ganancia de organizar antes de preguntar
La primera ganancia es obvia: menos respuestas equivocadas. Pero el efecto más duradero aparece en otro lugar —en la confianza de quien usa la herramienta. Una persona que recibió dos respuestas contradictorias de la misma IA en dos semanas distintas aprende a desconfiar de todas las respuestas siguientes, incluso las correctas. Reconquistar esa confianza cuesta mucho más que organizar el material desde el principio.
Organizar el conocimiento de antemano también acelera a quien es nuevo en la empresa. Una persona recién llegada no sabe cuál de las cinco versiones de un proceso es la vigente —pero, si la IA ya lo sabe, llega a la respuesta correcta desde el primer día, sin tener que aprender sola el historial de la empresa antes.
Hay además una ganancia de mantenimiento: cuando el conocimiento tiene dueño y versión vigente, actualizar un proceso pasa a ser un evento único —cambiar el documento— en lugar de una búsqueda por todos lados donde una copia antigua pudo haber quedado olvidada.
Y hay una ganancia entre áreas que suele pasar desapercibida. Cuando ventas, soporte y finanzas consultan la misma base de conocimiento, con la misma versión vigente, los tres dejan de dar respuestas distintas a la misma pregunta de un cliente. Eso evita justo el tipo de inconsistencia que erosiona la confianza rápido: el cliente que escucha una cosa de soporte y otra de finanzas aprende a desconfiar de toda la empresa, no solo de un área.
Tres preguntas para llevar a la próxima reunión
Antes de culpar al modelo de IA por la próxima respuesta equivocada, vale la pena llevar estas tres preguntas a quien cuida el conocimiento de la empresa:
- ¿Cuántas versiones del mismo documento están hoy en el mismo lugar? Si la respuesta es "más de una" y nada distingue cuál es la vigente, el problema es de organización, no de IA.
- ¿Hay alguien responsable de cada categoría de documento? Sin dueño, quedar desactualizado se vuelve normal —y nadie lo nota hasta que una respuesta equivocada llega lejos.
- ¿La respuesta de la IA puede señalar de dónde vino la información? Si no puede, nadie tiene forma rápida de confirmar si esa respuesta sigue siendo correcta.
