A revisão deixa de acontecer apenas no fim
Em 18 de setembro de 2026, a Anthropic anunciou uma parceria com a Accenture para testar modelos de fronteira enquanto eles são desenvolvidos. O trabalho, liderado pela Faculty, negócio especializado em IA da Accenture, deverá incluir avaliações, exercícios adversariais, análise de alinhamento e testes de salvaguardas. A novidade mais importante não está na lista de testes, mas no lugar a partir do qual eles serão conduzidos.
Segundo o anúncio, avaliadores incorporados trabalharão dentro da empresa desenvolvedora, com acesso comparável ao de funcionários. Poderão acompanhar a formação dos modelos, observar decisões sobre desenvolvimento e implantação e conversar diretamente com equipes. Isso altera a pergunta tradicional da auditoria. Não basta verificar a resposta que aparece depois do lançamento. É preciso entender quais escolhas produziram aquela resposta e que sinais de risco foram vistos, ignorados ou tratados ao longo do caminho.
O anúncio descreve uma iniciativa em construção, não um selo de segurança já demonstrado. A própria Anthropic afirma que detalhes operacionais, padrões de acesso, regras de divulgação e modelos de financiamento ainda não estão estabelecidos. Para uma empresa que compra ou incorpora IA, essa ressalva é tão relevante quanto a ambição da parceria: avaliação independente só ganha valor quando seu escopo, seus limites e suas conclusões podem ser examinados.
Uma demonstração bem-sucedida não revela todo o sistema
Quem adquire uma ferramenta costuma receber demonstrações, documentação de produto, termos contratuais e algum resultado de teste. Esses materiais ajudam, mas mostram uma parte selecionada do comportamento. Uma avaliação restrita à interface pode não observar mudanças durante treinamento, ajustes feitos após um incidente, decisões de liberação ou problemas que surgem apenas quando o modelo usa ferramentas e dados reais.
O acesso incorporado pretende reduzir essa distância. Um avaliador que acompanha o processo pode perguntar por que uma salvaguarda foi alterada, reproduzir um caso problemático e comparar resultados antes e depois da correção. Pode também examinar se um risco conhecido foi transferido para outra etapa, como uma instrução ao usuário ou uma limitação imposta pelo produto, sem que sua causa tenha sido resolvida.
Essa possibilidade não transforma o avaliador em onisciente. Acesso amplo não garante tempo suficiente, competência para todos os domínios nem visibilidade de cada uso posterior. Um modelo pode parecer robusto em laboratório e falhar quando integrado a um processo comercial, clínico ou administrativo. Por isso, a avaliação do fornecedor deve alimentar a análise da empresa compradora, não substituí-la.
Independência precisa ser desenhada, não apenas declarada
A tensão central da parceria é explícita: a Anthropic financiará diretamente o trabalho da Accenture. O comunicado reconhece que ainda não existe um arranjo consolidado para custear avaliações independentes e menciona a possibilidade futura de recursos compartilhados ou públicos. Também informa que a colaboração não é exclusiva e que pretende trabalhar com outros avaliadores.
Financiamento pelo avaliado não torna automaticamente inútil uma revisão. Porém, cria incentivos que precisam de controles verificáveis. Quem escolhe as perguntas? O avaliador pode selecionar casos sem autorização prévia? Pode registrar uma conclusão desfavorável? Tem acesso às evidências que contradizem a narrativa de lançamento? Pode divulgar limitações relevantes, inclusive quando a empresa discorda? Sem respostas claras, independência vira um adjetivo promocional.
A relação contratual deveria especificar proteção contra interferência, preservação dos achados, direito de escalonamento e condições de publicação. É igualmente importante saber quem revisa o próprio trabalho do avaliador e como conflitos comerciais são identificados. Acesso interno e distância crítica não são opostos. O desafio é sustentar ambos simultaneamente.
Evidência útil inclui o que não pôde ser testado
Um relatório confiável não se resume à frase de que o sistema foi testado. Ele delimita versões, condições, ameaças consideradas, ferramentas conectadas, tipos de usuário, procedimentos utilizados e critérios para aprovar ou interromper uma implantação. Explica quais resultados podem ser reproduzidos e quais dependem de uma configuração específica.
Tão importante quanto o resultado é a lacuna. Se o avaliador não teve acesso a uma etapa de treinamento, não examinou uso em determinado idioma ou não pôde simular ações em produção, isso precisa aparecer no documento. Ausência de achado sob escopo limitado não é evidência de ausência de risco. O comprador só consegue tomar uma decisão responsável quando conhece a fronteira do que foi observado.
O AI Risk Management Framework do NIST ajuda a organizar essa leitura. Suas funções de governar, mapear, medir e gerenciar riscos são contínuas, não uma lista de verificação executada uma vez. O próprio framework orienta a considerar perspectivas externas e documentar responsabilidades. Um relatório de avaliação ganha utilidade quando se encaixa nesse ciclo e permite decisões concretas, não quando oferece apenas conforto reputacional.
A empresa compradora precisa mapear o seu próprio contexto
Um teste do desenvolvedor responde a perguntas sobre o modelo e o produto em condições definidas. Já uma organização precisa saber o que acontece quando conecta esse sistema a contratos, dados de clientes, decisões internas ou ferramentas capazes de agir. A diferença entre esses contextos pode ser maior que a diferença entre duas versões do modelo.
Imagine um agente usado para analisar pedidos de clientes. O fornecedor pode ter testado resistência a instruções maliciosas e qualidade das respostas. A empresa ainda precisa verificar que informações entram na conversa, quem pode aprovar uma exceção, que ação o agente está autorizado a executar e como uma decisão incorreta será percebida e revertida. A avaliação externa fornece uma base, mas o desenho das permissões e a resposta operacional pertencem ao operador.
O NIST recomenda mapear finalidade, pessoas afetadas, contexto de uso e riscos antes de decidir se uma solução de IA é apropriada. Isso inclui a opção de não implantar. A pergunta prática ao fornecedor, portanto, não é apenas se o modelo passou em testes. É se os testes cobrem a configuração e as consequências que importam para o processo real da empresa.
Antes do lançamento, durante a operação e depois do incidente
A avaliação incorporada pode acompanhar escolhas antes que elas virem comportamento público. Mas o trabalho de garantia não termina no lançamento. Uma atualização do modelo, uma nova ferramenta ou uma alteração no fluxo de dados pode mudar o perfil de risco sem que a interface pareça diferente. A evidência precisa acompanhar a versão efetivamente usada.
Contratos e processos internos podem exigir notificações de mudanças relevantes, histórico de avaliações, critérios para repetir testes e condições para suspender uma integração. Também devem distinguir um problema encontrado e corrigido durante desenvolvimento de um incidente observado em uso real. São acontecimentos com responsabilidades e respostas distintas.
Quando uma falha aparece, a revisão mais valiosa é aquela capaz de explicar o caminho entre decisão, comportamento e consequência. Preservar registros, versões e justificativas permite aprender com o evento. Se cada parte conserva apenas um resumo conveniente, a cadeia de evidências se rompe justamente quando ela se torna necessária.
O que perguntar a um fornecedor sobre avaliação externa
A conversa de compras pode começar pelo escopo. Que modelos e versões foram avaliados? O avaliador escolheu casos próprios? Teve acesso às decisões de desenvolvimento ou apenas a uma API? Que capacidades conectadas a ferramentas foram examinadas? Que testes permanecem pendentes? Perguntas assim tornam visível a diferença entre revisar um produto e acompanhar a organização que o produz.
Em seguida vem a independência. Quem paga e quem define o orçamento? O avaliador pode comunicar descobertas negativas a uma instância externa? Há restrições para publicar métodos, resultados e limitações? Existe outro avaliador com mandato diferente? Não é preciso exigir exposição de segredo técnico ou dados sensíveis ao público. É preciso haver um mecanismo confiável para que problemas não desapareçam por conveniência.
Por fim, a empresa deve pedir a ponte com a sua operação. O que muda na avaliação se o modelo ganhar uma nova ferramenta? Quem informa um incidente? Qual evidência será entregue para apoiar a resposta interna? Uma política de avaliação sem canais de comunicação e consequências operacionais raramente ajuda a pessoa que terá de tomar uma decisão difícil em produção.
Conclusão
A iniciativa anunciada pela Anthropic e pela Accenture é relevante porque desloca a avaliação para dentro do processo de desenvolvimento e reconhece que observar apenas a saída final deixa perguntas importantes sem resposta. Também deixa uma tensão aberta: acesso profundo é necessário para entender o sistema, mas a independência de quem recebe esse acesso precisa ser demonstrada em regras, direitos e evidências.
Para as empresas, a consequência não é esperar um selo definitivo. É exigir relatos com escopo e limites claros, relacioná-los ao uso concreto e manter a própria capacidade de testar, interromper e corrigir. Uma revisão pode apoiar a decisão de adoção; não pode assumir em nome do operador as consequências de uma implantação específica.
Na minha visão, confiança em IA não nasce quando alguém declara que a tecnologia foi auditada. Ela começa quando uma pessoa qualificada pode encontrar um problema, documentá-lo sem censura e fazer com que a descoberta mude uma decisão. Esse direito de questionar, dentro e fora da empresa, é parte essencial de qualquer uso de IA com propósito.
A pergunta que vale levar para a próxima compra de tecnologia é simples: se a avaliação encontrar algo inconveniente, quem ficará sabendo, o que poderá fazer e qual evidência permanecerá disponível depois? A resposta diz mais sobre governança do que a promessa de uma revisão independente por si só.