Quando poucos concentram o poder da IA, governança precisa distribuir a capacidade de dizer não

O problema não é apenas o poder do modelo

Em 7 de setembro de 2026, o Alto Comissário das Nações Unidas para os Direitos Humanos, Volker Türk, alertou que sistemas avançados de inteligência artificial podem representar riscos extremos e defendeu garantias robustas de segurança. Segundo a Reuters, ele também chamou atenção para o poder concentrado nas mãos de um grupo pequeno de pessoas e empresas.

A discussão costuma ser apresentada como um desafio de governos e laboratórios de fronteira. Ela também pertence à liderança empresarial. Toda organização que escolhe modelos, conecta dados, automatiza decisões e define métricas passa a distribuir poder. Alguém decide o que a IA pode ver, que objetivo deve perseguir, quando pode agir e quem arca com as consequências.

Governança, portanto, não é apenas um conjunto de regras aplicado a uma tecnologia poderosa. É o desenho de quem consegue influenciar essa tecnologia e de quem possui autoridade para interrompê-la. Se poucas pessoas aprovam objetivos, escolhem fornecedores e interpretam resultados, a empresa reproduz internamente a mesma concentração que critica no mercado.

O poder aparece nas decisões aparentemente técnicas

Escolher um modelo parece uma decisão de tecnologia, mas determina idiomas atendidos, limites de contexto, formas de recusa, condições de armazenamento e dependência de fornecedor. Definir uma base de conhecimento parece uma tarefa de dados, mas estabelece quais documentos serão tratados como verdade e quais experiências ficarão ausentes.

O mesmo ocorre com métricas. Quando a empresa premia velocidade, redução de contatos ou quantidade de tarefas concluídas, o sistema aprende a favorecer esses resultados. Qualidade, acesso, explicação e possibilidade de recurso podem desaparecer porque não foram representados no objetivo, mesmo que continuem importantes para clientes e trabalhadores.

O poder da IA não está apenas na resposta gerada. Está no direito de configurar o problema. Uma governança madura torna essas escolhas visíveis, identifica seus responsáveis e permite que outras áreas questionem pressupostos antes que eles se transformem em comportamento automatizado.

Um comitê sem autoridade produz conformidade decorativa

Muitas empresas criam comitês de IA para revisar riscos, mas a existência do grupo não prova que exista contrapoder. Se ele recebe o projeto depois que contrato, prazo e comunicação já foram definidos, sua participação tende a confirmar uma decisão difícil de reverter.

O comitê precisa entrar quando finalidade, dados e nível de autonomia ainda podem mudar. Também precisa acessar documentação, solicitar testes, impor condições e suspender a implantação quando faltam evidências. Recomendações que a liderança pode ignorar sem justificativa produzem aparência de supervisão, não governança.

Autoridade deve vir acompanhada de responsabilidade. A decisão de aprovar, limitar ou pausar precisa registrar critérios, divergências e responsáveis. Isso protege a organização contra escolhas informais e permite revisar o raciocínio quando o sistema, o contexto ou o impacto mudam.

Dizer não precisa ser uma capacidade operacional

Uma política pode afirmar que a empresa interromperá um sistema inseguro, mas a promessa só se torna real quando existe um mecanismo de parada. É necessário definir quem aciona a suspensão, quais sinais justificam a medida, que partes do serviço serão afetadas e como a operação seguirá enquanto o problema é investigado.

Essa capacidade não deve depender apenas do patrocinador do projeto. Segurança, jurídico, privacidade, operação e responsáveis pelo atendimento podem reconhecer riscos diferentes. Trabalhadores próximos do processo também percebem exceções e efeitos que não chegam aos relatórios executivos.

Distribuir o direito de interromper não significa permitir decisões arbitrárias. Significa criar caminhos claros para contestação e escalonamento. A pessoa apresenta a evidência disponível, o sistema preserva o estado, o responsável avalia a consequência e a organização registra a resposta. O fluxo impede tanto a paralisação sem fundamento quanto a continuidade automática diante de um alerta legítimo.

As pessoas afetadas enxergam o que o conselho não enxerga

O discurso de Türk no Diálogo Global sobre Governança de IA, realizado em julho, defendeu que direitos humanos funcionem como referência para o desenvolvimento e uso da tecnologia. Para as empresas, isso exige ampliar a pergunta além de saber se o sistema funciona conforme a especificação.

Um modelo pode cumprir sua meta e ainda criar barreiras, expor informações, dificultar contestação ou deslocar trabalho para grupos com menos recursos. Clientes, profissionais de atendimento, fornecedores e comunidades afetadas observam partes do impacto que não aparecem na avaliação técnica.

A participação dessas pessoas precisa ocorrer antes e depois da implantação. Entrevistas, testes com usuários, canais de reclamação e revisão de casos reais ajudam a identificar danos e oportunidades. Consultar sem responder, porém, transforma escuta em ritual. A empresa deve mostrar o que mudou, o que não mudou e por quê.

Direitos humanos podem orientar decisões concretas

Os Princípios Orientadores das Nações Unidas sobre Empresas e Direitos Humanos estabelecem uma referência global para prevenir e enfrentar impactos adversos relacionados à atividade empresarial. Eles colocam a responsabilidade corporativa de respeitar direitos ao lado do dever estatal de proteção e do acesso a mecanismos de reparação.

Aplicada à IA, essa responsabilidade pede diligência. A empresa identifica pessoas potencialmente afetadas, examina riscos, integra conclusões ao projeto, acompanha resultados e comunica como respondeu. Não basta confiar que o fornecedor tratou o tema em outro nível da cadeia.

A análise também precisa considerar efeitos combinados. Uma recomendação automatizada pode parecer pequena isoladamente, mas ganhar peso quando se repete, alimenta outra decisão ou alcança pessoas que não conseguem contestá-la. O risco pertence ao processo completo, não apenas ao componente que gerou a saída.

O comprador de IA também exerce poder

Concentração não se limita a quem desenvolve modelos. A organização compradora decide quais fornecedores ganham escala, quais condições aceita e que evidências exige. Aquisição é uma etapa de governança porque transforma promessas de produto em dependência operacional.

O contrato pode exigir documentação sobre uso de dados, registro de incidentes, mudanças relevantes, subcontratados, disponibilidade de registros e condições de saída. Também deve preservar a capacidade de testar o sistema com casos do próprio negócio e de suspender usos específicos sem perder acesso às informações necessárias para continuidade.

Uma equipe de compras avalia preço e condição comercial. Para IA, precisa trabalhar com tecnologia, segurança, privacidade, jurídico e área usuária. Essa composição reduz o risco de escolher uma capacidade poderosa sem compreender o contexto em que ela receberá autoridade.

Independência não significa distância do trabalho real

Avaliação independente é necessária quando o sucesso do projeto influencia a carreira, o orçamento ou a reputação de quem mede o resultado. A mesma equipe que constrói pode produzir evidências importantes, mas não deveria ser a única a declarar que o sistema está pronto.

Independência, porém, não pode significar uma revisão abstrata feita longe da operação. Quem avalia precisa compreender a finalidade, observar casos reais, conversar com usuários e testar consequências. O desafio é combinar liberdade para contestar com proximidade suficiente para reconhecer o que importa.

A empresa pode separar funções sem criar uma estrutura enorme. Uma pessoa de outra área revisa amostras, um responsável por risco valida critérios, usuários participam de testes e a liderança recebe divergências junto com a recomendação final. O essencial é impedir que uma única cadeia de comando controle objetivo, evidência e aprovação.

Transparência precisa alcançar a decisão, não apenas o modelo

Explicar como um modelo chegou a uma resposta pode ser difícil ou insuficiente. Ainda assim, a organização consegue explicar por que escolheu aquele sistema, quais dados autorizou, que testes realizou, que limites configurou e quem aprovou seu uso.

A transparência mais útil acompanha a decisão empresarial. Um registro deve relacionar finalidade, versão, fontes, responsáveis, avaliação, restrições e incidentes conhecidos. Quando uma pessoa é afetada, a empresa precisa localizar o caso, compreender a participação da IA e oferecer um caminho de revisão compatível com a consequência.

Os Princípios de IA da OCDE relacionam inovação confiável a direitos humanos, transparência, robustez, segurança e responsabilização. Esses elementos se reforçam. Sem informação, não há contestação efetiva. Sem contestação, a responsabilidade permanece concentrada em quem já controla o sistema.

Métricas precisam revelar quem recebe o benefício e quem recebe o risco

Resultados agregados podem esconder distribuições desiguais. Um sistema pode reduzir trabalho médio e, ao mesmo tempo, aumentar exceções para um grupo. Pode melhorar a conversão comercial e gerar promessas que a operação não consegue cumprir. Pode acelerar respostas e dificultar a correção de um erro.

A medição deve combinar desempenho da tarefa, qualidade, segurança, contestação e impacto sobre pessoas. Também precisa separar resultados por situações relevantes ao uso, sem transformar atributos pessoais em coleta desnecessária. O objetivo é descobrir onde a experiência difere e por quê.

O AI Risk Management Framework do NIST organiza a gestão em governar, mapear, medir e administrar. Essa sequência lembra que a métrica não existe sozinha. Ela depende do contexto mapeado, da responsabilidade definida e de uma decisão posterior capaz de reduzir o risco encontrado.

Um exercício de pausa testa a governança antes da crise

A empresa pode simular um sinal de risco em um sistema já implantado. Uma reclamação indica possível tratamento desigual, um fornecedor comunica mudança de versão ou uma saída incorreta alcança um processo sensível. A equipe verifica quem recebe o alerta e o que acontece em seguida.

O exercício revela se existem contatos atualizados, registros suficientes, alternativa manual, comunicação preparada e autoridade para suspender. Também mostra dependências invisíveis. Às vezes, ninguém consegue pausar uma função porque ela foi incorporada a vários produtos sem inventário comum.

Depois da simulação, a organização corrige o fluxo e repete o teste. A capacidade de parar deixa de ser uma frase na política e vira competência institucional. Esse preparo reduz a pressão para improvisar justamente quando clientes, trabalhadores e liderança precisam de respostas verificáveis.

Governança distribuída não elimina liderança

Distribuir contestação não significa diluir a responsabilidade até que ninguém decida. A liderança continua responsável por finalidade, recursos, tolerância a risco e resposta. Seu papel é garantir que evidências contrárias consigam chegar à decisão sem serem filtradas pelo entusiasmo do projeto.

Um executivo pode exigir que propostas tragam alternativas, impactos, grupos afetados, condições de parada e proprietário do monitoramento. Pode proteger quem relata problemas, reservar orçamento para avaliação e recusar prazos que tornam a revisão apenas formal.

A qualidade da liderança aparece quando um alerta muda o rumo. Se toda contestação termina com a implantação original, o processo não está aprendendo. Uma governança viva permite reduzir escopo, adiar, redesenhar ou cancelar, mesmo depois de investimento e expectativa.

Conclusão

O alerta apresentado por Volker Türk recoloca duas questões no centro do debate: a gravidade dos riscos e a concentração de poder sobre sistemas avançados. Empresas não controlam sozinhas a trajetória global da IA, mas controlam como o poder é distribuído dentro de suas próprias decisões.

Governar exige mais do que um comitê, uma política e uma assinatura final. Exige acesso a evidências, participação das pessoas afetadas, avaliação independente, mecanismos de reparação e autoridade real para limitar ou interromper um sistema.

Na minha visão, uma organização responsável não é aquela em que todos concordam rapidamente com a IA. É aquela em que alguém consegue fazer a pergunta incômoda, apresentar um impacto esquecido e dizer não sem precisar enfrentar sozinho toda a estrutura que deseja avançar.

IA com propósito depende de contrapoder. Quando a capacidade de contestar é distribuída, a empresa não perde velocidade. Ela ganha direção, memória e legitimidade para usar uma tecnologia poderosa sem entregar a poucas pessoas o direito de definir, sozinhas, o futuro de todas as outras.