Em janeiro de 2023, o Instituto Nacional de Padrões e Tecnologia dos Estados Unidos, o NIST, publicou uma estrutura voluntária de gestão de risco para sistemas de IA — hoje adotada por empresas em vários países, inclusive fora dos Estados Unidos, como referência para decidir o que automatizar e como. Uma das quatro funções centrais dessa estrutura chama-se "Mapear", e a lógica dela é direta: antes de decidir se um sistema de IA deve seguir adiante, a empresa precisa entender o contexto — para que serve, quem pode ser afetado, e qual o custo, inclusive não financeiro, de um erro.
O documento é explícito sobre o momento em que isso deve acontecer: depois de mapear o contexto, a organização toma uma decisão inicial de seguir ou não seguir com aquele sistema. Não depois de construído. Antes.
Na prática da maioria das empresas, essa etapa simplesmente não existe como processo formal. Alguém identifica uma tarefa repetitiva, monta uma automação com IA para resolvê-la, e só descobre — quando descobre — que aquela tarefa decidia algo sério sobre uma pessoa, depois que o erro já aconteceu.
Isso não é falta de cuidado da pessoa que construiu a automação. É a ausência de um passo anterior: ninguém perguntou, antes de começar, o quanto aquela decisão específica pesava. A pergunta certa, no momento certo, é mais barata do que qualquer correção feita depois que o sistema já está em produção e alguém já foi afetado por ele.
Nem toda automação carrega o mesmo risco
A União Europeia chegou a uma conclusão parecida por outro caminho: pela regulação. O bloco organiza os sistemas de IA em quatro níveis de risco. No topo, o risco inaceitável — hoje proibido. Logo abaixo, o alto risco: sistemas usados em decisões sobre emprego, acesso a crédito, educação, infraestrutura crítica ou identificação biométrica, que podem afetar a segurança ou os direitos fundamentais de uma pessoa. Depois vem o risco de transparência, para sistemas que só precisam avisar que uma pessoa está interagindo com IA. E, na base, a maior parte dos casos de uso hoje em operação: risco mínimo, como um filtro de spam.
O ponto que interessa a qualquer empresa, independentemente de estar sob essa regulação ou não, é a lógica por trás da pirâmide: o mesmo rótulo de "automação com IA" cobre situações completamente diferentes. Um assistente que resume as notas de uma reunião interna e um sistema que ajuda a decidir quem recebe um empréstimo não deveriam passar pelo mesmo processo de aprovação, nem pelo mesmo nível de supervisão. Tratá-los como se fossem o mesmo tipo de coisa é onde a maioria dos problemas começa.
Automatizar tudo do mesmo jeito é o erro
A resposta mais comum ao entusiasmo com IA dentro de uma empresa é "vamos automatizar tudo" — uma frase que, sem um filtro de risco por trás, produz dois efeitos ruins ao mesmo tempo, um em cada ponta.
Na ponta de baixo risco, aplicar o mesmo processo pesado de revisão e aprovação a uma tarefa trivial — como resumir um documento interno — trava a adoção. As pessoas param de usar a ferramenta porque o processo em volta dela é mais lento do que fazer a tarefa manualmente. Na ponta de alto risco, o problema é o oposto e mais grave: uma automação que decide algo sobre o emprego, o crédito ou a saúde de alguém segue com o mesmo nível de supervisão informal de um resumo de reunião — ou seja, quase nenhum.
A própria estrutura do NIST nomeia esse segundo risco de forma direta: antes de decidir seguir com um sistema, a organização precisa examinar os custos potenciais, inclusive os não financeiros, de erros esperados ou reais daquele sistema. Um erro num resumo de reunião custa um mal-entendido. Um erro numa decisão sobre uma pessoa custa muito mais — e o custo geralmente aparece depois, quando já é tarde para preveni-lo com um processo melhor.
A saída não é escolher entre as duas pontas — nem tudo travado, nem tudo solto. É reconhecer, caso a caso, qual ponta cada automação ocupa antes de decidir como ela vai operar. Uma pergunta simples costuma bastar para separar as duas situações: se essa automação errar hoje, alguém fora da equipe de tecnologia vai sentir o efeito? Se a resposta for sim, o nível de supervisão precisa acompanhar.
O que precisa existir na prática
Classificar o risco antes de automatizar só funciona se alguns mecanismos concretos vierem junto — não como promessa, mas como parte do desenho.
Aprovação humana conforme o risco. Quanto mais alto o risco identificado, mais a automação deveria parar e pedir confirmação de uma pessoa antes de seguir — não em toda automação, apenas nas que decidem algo sério.
Trilha de auditoria. Toda automação relevante deveria registrar o que foi decidido, com qual informação e sob qual autorização, de um jeito consultável depois — não só enquanto está funcionando bem, mas especialmente quando algo dá errado.
Conhecimento aprovado com fontes. A informação que alimenta uma automação de alto risco precisa ter dono, versão vigente e revisão — não pode vir de um documento desatualizado que ninguém mais lê.
Acesso conforme o papel. Só quem tem autoridade sobre aquela rotina deveria poder criar, ajustar ou aprovar uma automação classificada como alto risco — não qualquer pessoa com acesso à ferramenta.
Revisão periódica da classificação. O risco de uma automação muda com o tempo — quando ela passa a alimentar outro sistema, atender outro público, ou operar em um volume maior. A classificação inicial precisa ser revisitada, não feita uma vez e esquecida.
É por isso que a Skyller já vem com mais de 170 modelos de políticas e processos prontos, prevendo qual nível de aprovação e registro cada tipo de rotina normalmente exige, em vez de deixar cada equipe descobrir isso sozinha, na primeira vez que algo sai errado.
O ganho de classificar antes de decidir
O ganho mais imediato é de velocidade — mas na direção que menos se espera. Uma empresa que classifica o risco antes de automatizar consegue liberar rápido as tarefas triviais, exatamente porque não empilha processo onde ele não é necessário. O processo pesado fica reservado para onde o risco realmente exige.
O segundo ganho aparece mais tarde, e é o que evita a dor de cabeça maior: quando algo dá errado numa automação de alto risco — e em algum momento algo vai dar errado — a diferença entre uma empresa que classificou o risco antes e uma que não classificou é a diferença entre explicar em minutos o que aconteceu, com registro e critério documentados, e passar semanas reconstruindo, sem certeza nenhuma, o que exatamente a automação decidiu e por quê.
Há também um efeito sobre a confiança interna. Uma equipe que sabe que a automação de alto risco foi revisada e aprovada usa essa automação com mais segurança do que uma equipe que desconfia — com razão — de que ninguém realmente avaliou o que aquele sistema faz.
Nenhum desses ganhos depende de acertar a classificação com perfeição na primeira tentativa. Depende de existir uma classificação, revisável, que dê à empresa um motivo concreto para tratar duas automações de forma diferente — em vez de decidir isso no impulso, cada vez de um jeito.
Cinco perguntas antes de automatizar
Antes de aprovar a próxima automação com IA, estas cinco perguntas resolvem a maior parte dos casos:
- Quem é afetado se isso der errado? Um cliente, um colaborador, um fornecedor, ou só a própria equipe interna — a resposta já indica o nível de risco.
- Quanto custa consertar o erro, e quem paga esse custo? Um mal-entendido interno não é o mesmo que uma decisão que precisa ser revertida depois de já ter afetado alguém de fora.
- De onde vem a informação usada para decidir? Um documento com dono e versão vigente é diferente de um arquivo perdido que ninguém revisa há meses.
- Quem confere antes de a decisão valer? Se a resposta for "ninguém", essa é a lacuna a fechar antes de qualquer outra coisa.
- O que fica registrado depois? Sem registro, uma auditoria ou uma reclamação vira reconstrução de memória em vez de consulta a um histórico.
