O painel errado produz a decisão errada
Durante muitos anos, a adoção de software foi acompanhada por indicadores relativamente simples. Quantas licenças foram compradas? Quantas pessoas acessaram a ferramenta? Quantas vezes o sistema foi utilizado? Esses números continuam úteis para entender distribuição e adesão, mas são insuficientes para responder à pergunta que realmente importa: o investimento está produzindo trabalho que a empresa consegue usar?
Em 17 de julho de 2026, a OpenAI publicou uma proposta de avaliação baseada em uma mudança de unidade. Em vez de observar apenas consumo ou presença, a organização deveria olhar para o trabalho concluído. A publicação chama essa lógica de “inteligência útil por dólar” e a organiza em torno de quatro perguntas: a IA realiza trabalho relevante, quanto custa uma tarefa bem sucedida, o resultado é confiável e o valor cresce quando o uso aumenta. A formulação vem de uma empresa fornecedora de tecnologia e, portanto, deve ser lida como uma proposta de gestão, não como uma norma neutra. Ainda assim, o princípio central é sólido: custo de computação não é sinônimo de custo do resultado.
Essa distinção muda a conversa executiva. Uma solução pode apresentar alto volume de uso e, ao mesmo tempo, exigir tantas correções que transfere trabalho de um lugar para outro. Também pode parecer barata por chamada, mas produzir respostas que demandam revisão extensa. Em sentido oposto, uma ferramenta mais cara pode reduzir tentativas, retrabalho e tempo de supervisão. Sem acompanhar o fluxo completo, a empresa enxerga apenas a parte mais visível da despesa.
O problema não está em medir tokens, licenças ou acessos. O problema está em tratá-los como evidência suficiente de valor. Eles descrevem consumo. Não provam conclusão, qualidade ou impacto.
Antes da métrica, defina o que significa terminar
A mensuração começa no processo, não no modelo. Cada área precisa definir o que considera uma tarefa concluída e em qual sistema essa conclusão pode ser verificada.
Em atendimento, a unidade pode ser uma solicitação resolvida com confirmação do cliente e sem reabertura dentro do período definido pela empresa. Em jurídico, pode ser uma minuta revisada, aceita pelo profissional responsável e entregue no prazo. Em marketing, pode ser uma campanha aprovada que respeitou o posicionamento da marca, as regras do canal e os critérios legais. Em finanças, pode ser uma análise conciliada com os registros oficiais e pronta para apoiar uma decisão.
Observe que “a IA gerou uma resposta” não aparece em nenhuma dessas definições. Gerar é uma etapa. Concluir é produzir algo que atravessa o controle de qualidade e entra legitimamente no fluxo de trabalho.
Essa diferença impede um erro recorrente nos projetos de IA: confundir atividade com resultado. Uma equipe pode gerar mais textos, resumos, imagens ou análises sem aumentar a quantidade de entregas realmente aprovadas. Se o material produzido acumula na revisão, o sistema ampliou a fila intermediária. Ele não necessariamente ampliou a capacidade final.
Por isso, o primeiro exercício deveria ser desenhar o processo de ponta a ponta. Onde a demanda nasce? Que informações são necessárias? Quem valida? Quais erros obrigam o retorno? Em que momento o resultado passa a ter valor para o cliente interno ou externo? Somente depois desse desenho a empresa deve escolher o indicador.
O NIST reforça essa conexão entre métrica e contexto. No seu guia de mensuração do AI Risk Management Framework, a instituição afirma que aquilo que deve ser medido depende do propósito, do público e das necessidades da avaliação. O documento também recomenda identificar testes capazes de demonstrar se o sistema é adequado ao uso pretendido e se funciona como alegado. Isso significa que uma avaliação genérica do modelo não substitui a observação do desempenho no processo real.
A conta precisa incluir o caminho inteiro
O custo direto de inferência é apenas uma parcela do custo econômico. Uma análise completa deve considerar tudo o que foi necessário para transformar uma solicitação em uma entrega aceita.
Esse conjunto pode incluir:
1. licenças, chamadas de API e infraestrutura; 2. preparação, integração e recuperação de dados; 3. desenho de instruções, ferramentas e controles; 4. tempo de quem solicita, revisa e aprova; 5. tentativas descartadas e processamento repetido; 6. correções humanas e retrabalho posterior; 7. monitoramento, segurança, governança e tratamento de incidentes; 8. manutenção do fluxo quando modelos, dados ou regras mudam.
A FinOps Foundation observa que uma visão baseada somente em tokens captura o custo variável marginal da inferência, mas deixa de fora custos fixos e semivariáveis que determinam a viabilidade econômica de uma iniciativa. A entidade também chama atenção para cargas com agentes, nas quais uso contínuo de modelos, ferramentas e orquestração pode distribuir a despesa por várias camadas.
Uma forma prática de organizar a conta é calcular o custo total por tarefa aprovada. No numerador entram todos os custos atribuíveis ao fluxo durante um período. No denominador entram somente as tarefas que atingiram o padrão de qualidade definido. Tentativas, rascunhos e respostas rejeitadas não devem ser contabilizados como entregas.
Essa fórmula simples expõe situações que um painel de consumo esconderia. Se o gasto por chamada cai, mas o índice de aprovação também cai, o custo real do resultado pode aumentar. Se um modelo mais competente utiliza mais recursos, mas reduz revisões e repetições, o custo final pode diminuir. A escolha econômica, portanto, não é necessariamente a opção com menor preço unitário. É a configuração que produz o resultado adequado com menor custo total e dentro do risco aceitável.
Qualidade não é uma nota única
Definir que uma tarefa foi aprovada exige critérios claros. Para muitos processos, “certo” não é uma condição binária. Um texto pode estar gramaticalmente correto e, ainda assim, contrariar a voz da marca. Uma análise pode usar dados verdadeiros, mas ignorar uma exceção relevante. Uma resposta de atendimento pode ser tecnicamente adequada e causar frustração porque não considera o histórico do cliente.
O padrão de qualidade precisa refletir o trabalho específico. Em geral, vale separar pelo menos quatro dimensões:
Correção
O conteúdo está de acordo com os dados, documentos e regras aplicáveis? Existem afirmações que não podem ser verificadas? A solução preservou informações essenciais?
Completude
A entrega respondeu ao pedido inteiro ou deixou etapas para trás? Incluiu todas as evidências, campos e decisões necessárias para seguir o processo?
Adequação ao contexto
O resultado respeita o cliente, a área, o momento e o nível de risco? Uma resposta aceitável em uma atividade criativa pode ser inadequada em uma análise regulatória.
Operabilidade
A entrega pode ser utilizada sem uma reconstrução manual? Está no formato correto? Chegou ao sistema certo? Pode ser auditada e corrigida quando necessário?
Esses critérios precisam ser convertidos em uma ficha de avaliação curta, compreensível e aplicável por pessoas da área. Não é necessário começar com uma estrutura sofisticada. Um conjunto pequeno de exemplos aprovados, rejeitados e limítrofes já ajuda a calibrar a equipe e a revelar divergências.
O cuidado importante é evitar que a avaliação vire uma formalidade. Se todos os resultados recebem aprovação por conveniência, a métrica deixa de representar qualidade. Se o critério muda silenciosamente ao longo do tempo, as séries históricas perdem sentido. O NIST recomenda documentar métodos, conjuntos de teste, métricas e materiais usados na avaliação, justamente para aumentar repetibilidade e consistência.
Dependabilidade é o que permite ampliar a autonomia
O valor potencial cresce quando a IA deixa de apenas sugerir e passa a executar etapas. O risco também cresce. Um erro em um rascunho revisado por uma pessoa tem consequências diferentes de um erro em uma ação enviada automaticamente a um cliente, a um fornecedor ou a um sistema financeiro.
Por isso, dependabilidade não deve ser medida apenas pela média de acertos. A empresa precisa conhecer os tipos de falha, a gravidade de cada um, a capacidade de detectá-los e o custo da correção. Também precisa observar em quais condições o sistema funciona bem e em quais perde qualidade.
Um processo de baixo risco pode aceitar revisão por amostragem. Um processo sensível pode exigir aprovação humana em cada caso. Entre esses extremos, existem controles como limites de valor, bloqueio de ações irreversíveis, validação por regras, confirmação de fonte, dupla checagem em exceções e encaminhamento automático para especialistas.
A meta não é retirar pessoas do fluxo por princípio. É posicionar julgamento humano onde ele reduz risco e acrescenta valor. Quando a revisão humana apenas repete mecanicamente todas as etapas, o desenho provavelmente precisa ser melhorado. Quando a revisão protege decisões relevantes, interpreta exceções ou assume responsabilidade, ela faz parte do produto e deve entrar na conta.
O guia do NIST recomenda comparar sistemas de IA com alternativas mais simples, referências humanas e processos manuais. Essa orientação evita outra distorção comum: avaliar a IA somente contra uma expectativa abstrata de perfeição ou contra outro modelo. A pergunta empresarial é comparativa. A nova solução entrega uma combinação melhor de qualidade, custo, tempo e risco do que a forma anterior de trabalhar?
Crescer sem perder valor
Um piloto pode funcionar porque reúne poucas pessoas experientes, dados bem escolhidos e atenção constante. A expansão altera essas condições. Entram usuários com diferentes níveis de preparo, demandas menos previsíveis, integrações adicionais e maior variedade de exceções.
Escalar, portanto, não significa apenas multiplicar acessos. Significa preservar ou melhorar o valor por unidade de trabalho enquanto o volume aumenta.
Para acompanhar essa evolução, a empresa pode observar um pequeno painel por fluxo:
1. quantidade de tarefas recebidas e aprovadas; 2. proporção de entregas aceitas sem correção material; 3. custo total por tarefa aprovada; 4. tempo entre solicitação e conclusão; 5. quantidade e gravidade das falhas; 6. tempo de revisão humana por tarefa; 7. ocorrências que exigiram retorno ao processo anterior; 8. percepção de quem usa e de quem recebe o resultado.
Nenhum desses indicadores deve receber uma meta universal. O limite aceitável depende do contexto, do risco e do valor do trabalho. Também não é prudente transformar todo ganho de tempo em benefício financeiro automaticamente. Tempo liberado somente cria valor quando é redirecionado para uma atividade relevante, reduz uma fila, evita contratação adicional ou melhora uma decisão de maneira verificável.
A governança do painel precisa acompanhar mudanças no processo. Uma atualização do modelo, uma nova fonte de dados, uma alteração regulatória ou uma ampliação do público pode modificar o comportamento do sistema. Métricas que funcionaram no piloto podem deixar de explicar a operação. Avaliar continuamente não é sinal de desconfiança excessiva. É parte da manutenção de um sistema que aprende, depende de contexto e opera em ambiente variável.
Um roteiro para sair do consumo e chegar ao valor
A empresa não precisa medir tudo de uma vez. Um caminho mais seguro é escolher um fluxo relevante, frequente e observável.
Primeiro, documente a forma atual de trabalho. Registre tempo, custo, qualidade, exceções e responsáveis antes de introduzir a IA. Sem uma linha de base, qualquer melhoria percebida ficará vulnerável a entusiasmo e memória seletiva.
Depois, defina a unidade de resultado e o padrão de aprovação. Decida também quem tem autoridade para aceitar a entrega e quais falhas são inaceitáveis.
Na sequência, instrumente o processo completo. Conecte dados de uso da IA a informações do sistema em que o trabalho termina. Um painel isolado do fornecedor mostra consumo. A medição de valor precisa alcançar o CRM, o sistema de atendimento, o repositório de código, a plataforma financeira ou o ambiente em que a entrega ganha validade.
Em seguida, rode uma comparação controlada. Observe a nova configuração contra o processo anterior ou contra uma alternativa mais simples. Inclua casos comuns, exceções e situações de maior impacto.
Por fim, estabeleça uma revisão periódica. Mantenha o que demonstrou valor, ajuste o que ainda produz retrabalho e encerre o que não sustenta resultado. A retirada de uma automação que não funciona também é uma decisão madura de inovação.
Conclusão
O debate sobre retorno da IA amadurece quando deixa de perguntar apenas quanto a empresa consumiu e passa a perguntar o que ela conseguiu concluir com qualidade. Tokens, licenças e usuários ativos continuam importantes para controle operacional, mas não substituem a unidade de trabalho aceita.
Na minha visão, o indicador mais revelador não será aquele que mostra a maior quantidade de interações. Será aquele que torna visível quanto esforço foi necessário para transformar uma interação em uma entrega confiável. Quando a empresa inclui revisão, repetição, correção e risco na mesma conta, ela deixa de premiar demonstrações impressionantes e começa a investir em capacidade operacional real.
IA com propósito não é a que aparece em todos os processos. É a que resolve um trabalho relevante, respeita o contexto e continua criando valor quando o entusiasmo inicial já passou.