Um grupo de pesquisadores ligados a Stanford testou algo simples: dar aos modelos de IA a mesma pergunta, variando apenas onde a informação certa estava colocada dentro do material fornecido como referência. O resultado, publicado em 2023 e ainda citado como referência no tema, foi direto. O acerto era alto quando a informação relevante vinha no início ou no fim do material — e caía de forma acentuada quando ela estava no meio, mesmo em modelos desenhados especificamente para lidar com textos longos.
Não havia nada de errado com o modelo em nenhum dos dois casos. O que mudava era só a posição e a qualidade do material que ele recebeu para responder. É a mesma lógica que qualquer gestor já viveu ao pedir uma resposta para um analista: dado o material certo, a resposta sai certa. Dado um material desatualizado, ambíguo ou incompleto, o mesmo analista competente entrega uma resposta errada — só que segura e bem escrita.
Para quem avalia usar IA de forma mais ampla na empresa, essa constatação inverte a pergunta que a maioria faz primeiro. Não é "qual o melhor modelo de IA para minha empresa". É: o que essa ferramenta vai buscar para responder, e alguém garante que aquilo é a versão certa?
A resposta perfeita, baseada no documento errado
O problema fica mais claro com um exemplo comum. Alguém do financeiro pergunta a um assistente de IA corporativo qual é a política de reembolso de viagens da empresa. A IA encontra dois arquivos parecidos na rede: um enviado por e-mail há dois anos, e a versão realmente vigente, aprovada há três meses e guardada numa pasta diferente. Se a busca trouxer o arquivo errado, a resposta sai fluente, bem formatada e com aparência de autoridade — e completamente desatualizada.
Ninguém nessa cadeia cometeu um erro visível. O modelo de IA processou o texto que recebeu com competência. O problema aconteceu um passo antes: no momento em que o sistema decidiu qual documento buscar entre os dois. E esse é exatamente o ponto que o estudo de Stanford mede — quando o material de referência é ruim, ambíguo ou mal posicionado, nenhuma inteligência adicional do modelo compensa isso.
Esse tipo de falha é mais perigoso do que um erro óbvio, porque não se parece com um erro. Uma resposta visivelmente estranha faz a pessoa desconfiar e checar. Uma resposta bem escrita, coerente e com tom de certeza — mas apoiada no documento errado — passa direto, porque tudo nela parece confiável, exceto o fato de estar errada.
Trocar de modelo não resolve o problema
A reação mais comum, quando uma resposta de IA sai errada, é achar que faltou um modelo mais avançado. É um raciocínio compreensível, mas que o próprio estudo de Stanford já havia descartado: os pesquisadores testaram vários modelos, incluindo os mais avançados disponíveis na época, e todos apresentaram a mesma queda quando a informação relevante estava mal posicionada no material de referência. Trocar de modelo ataca a parte errada do problema.
A raiz costuma estar em outro lugar, e os números confirmam a escala do problema. A consultoria Gartner estima que a má qualidade de dados custa, em média, US$ 12,9 milhões por ano a cada organização — um custo que existia antes da IA chegar às empresas e que a IA apenas torna mais visível, porque agora alguém pergunta a esse acervo em linguagem natural e espera uma resposta confiável na hora. A própria Gartner prevê que, até 2026, 60% dos projetos de IA sem uma base de dados e documentos preparada para isso serão simplesmente abandonados.
Há ainda uma característica do acervo corporativo que agrava tudo: segundo um levantamento do MIT Sloan, entre 80% e 90% da informação de uma empresa típica é não-estruturada — documentos de texto, e-mails, apresentações, atas — e apenas 18% das organizações pesquisadas em um estudo de referência da Deloitte conseguiam aproveitar bem esse tipo de conteúdo. É exatamente esse tipo de material, disperso e sem padrão, que qualquer assistente de IA corporativo precisa consultar para responder algo específico da empresa.
O padrão que emerge dos quatro números é o mesmo: o modelo de IA quase nunca é o gargalo. O gargalo é saber, com confiança, qual documento é o vigente, quem é o dono dele e onde ele deveria estar.
O que precisa existir na prática
Um ambiente de conhecimento corporativo pronto para IA se apoia em mecanismos concretos, verificáveis — não em "usar um modelo melhor".
Documento com dono definido. Cada política, manual ou procedimento importante precisa ter uma pessoa ou área responsável por mantê-lo atualizado. Sem dono, ninguém percebe quando o conteúdo envelhece.
Versão vigente clara, não uma pilha de arquivos parecidos. O sistema que a IA consulta precisa saber distinguir a versão oficial atual das versões antigas, rascunhos e cópias enviadas por e-mail — em vez de tratar tudo como igualmente válido.
Escopo por área. Nem todo documento deve estar acessível para toda pergunta. Uma política interna do jurídico não deveria aparecer numa resposta para o comercial se não for relevante e autorizada para aquele contexto.
Revisão e aprovação em duas etapas para documentos críticos. Antes de um material virar fonte oficial para a IA responder, alguém diferente de quem escreveu confere e aprova — com essa etapa configurável e registrada, não aplicada a cada resposta trivial, mas justamente ao que é mais sensível.
Resposta que pode indicar de onde veio. Quando uma resposta se baseia no conhecimento interno da empresa, o ideal é que ela consiga apontar a fonte usada — permitindo que a pessoa confira o documento original antes de agir sobre a resposta.
É assim que a Skyller foi desenhada: o conhecimento da empresa entra com fontes, dono e escopo definidos, e documentos críticos podem passar por revisão e aprovação em duas etapas antes de se tornarem referência para respostas.
Da dúvida individual ao acervo confiável
Quando o acervo de conhecimento é confuso, cada pessoa desenvolve o próprio jeito de lidar com isso. Alguém aprende, com o tempo, que a pasta X tem os arquivos mais confiáveis e a pasta Y está sempre desatualizada. Outra pessoa liga para um colega mais antigo antes de confiar em qualquer busca. Esse conhecimento sobre onde confiar nunca é documentado — ele vive só na cabeça de quem já foi picado por um documento errado antes.
Um acervo corporativo organizado para IA remove essa carga individual. A pessoa não precisa mais saber, de memória, qual pasta confiar: o sistema já resolveu essa pergunta antes de responder, porque só considera fonte vigente, com dono e dentro do escopo autorizado. O ganho não é só de velocidade — é de consistência: duas pessoas diferentes, perguntando a mesma coisa em dias diferentes, recebem a mesma resposta correta, em vez de duas respostas que dependem de qual arquivo cada uma encontrou primeiro.
Isso também muda o efeito colateral mais caro de tudo: a decisão errada tomada com confiança. Uma resposta de IA fluente, mas baseada em material desatualizado, tende a ser aceita sem checagem — justamente porque parece boa. Reduzir esse risco na origem, cuidando do acervo em vez de só confiar no modelo, é mais barato do que corrigir a decisão depois de tomada.
Um roteiro para começar
Antes de expandir o uso de IA sobre o conhecimento interno da empresa, vale revisar este roteiro com quem cuida de documentos e processos:
- Liste os cinco documentos mais consultados da empresa e pergunte quem é o dono de cada um. Se a resposta demorar ou variar de pessoa para pessoa, esse já é um sinal de que a IA vai herdar a mesma confusão.
- Verifique se existem versões duplicadas ou desatualizadas circulando em paralelo à versão oficial. E-mails antigos, cópias em pastas pessoais e anexos de reunião são as fontes mais comuns de resposta errada com aparência de certeza.
- Defina, por área, o que pode e o que não pode ser usado como fonte de resposta. Nem todo conteúdo interno deveria estar disponível para toda pergunta, mesmo quando a intenção de quem pergunta é boa.
- Escolha os documentos críticos que exigem revisão em duas etapas antes de alimentar respostas de IA. Não é preciso aplicar essa etapa a tudo — só ao que, se estiver errado, causa dano real.
