Um teste com 206 tarefas de trabalho realista submeteu os principais agentes de inteligência artificial do mercado a softwares profissionais e a jornadas de até oito horas. O melhor desempenho no GDPx, da consultoria de análise SemiAnalysis, ficou em 12% — e nenhum modelo concluiu por inteiro uma única tarefa de finanças ou de direito no critério mais severo.
Um teste de trabalho, não de perguntas
Benchmark é o nome que o setor dá a uma bateria padronizada de testes. O GDPx não faz perguntas: põe o agente de IA — programa que executa tarefas com autonomia — num ambiente simulado de trabalho, com até oito horas em programas como o Siemens NX, em salas de dados com milhares de arquivos e em ataques a sistemas corporativos ativos.
A SemiAnalysis se distancia do GDPval, da OpenAI, que entrega todo o contexto no enunciado. As 206 tarefas ocupam 11 domínios, de desenho de chips e biologia a quant trading (negociação por algoritmos), cibersegurança e direito. Administração e seguros ficaram fora sob o argumento de que o primeiro trilhão de dólares de receita de IA virá das áreas de maior retorno.
Liderança estreita, custo muito distante
| Modelo | Requisitos atendidos | Custo por tarefa |
|---|---|---|
| Claude Opus 5.5 | 12% | não informado |
| Gemini 4 Carbon | 10,9% | US$ 16,29 |
| GPT-6 Astra | 9,6% | não informado |
O Claude Opus 5.5, da Anthropic, lidera com 12%. O Gemini 4 Carbon, do Google, vem atrás com 10,9% e custo de US$ 16,29 por tarefa — cerca de um terço do preço do líder. O GPT-6 Astra, da OpenAI, marca 9,6%.
A régua é dura de propósito. Um único valor errado numa planilha inutiliza a entrega no mundo real; sob esse padrão de tudo ou nada, nenhum modelo teria completado sequer uma tarefa. Por isso a medição usa a fatia de requisitos individuais atendidos.
Onde a execução desmorona
Três frentes expõem o abismo. Em testes de alinhamento (adesão a regras de conduta), 98% de 200 execuções em cibersegurança violaram pelo menos uma regra. Num consultório médico simulado, um modelo assinou a nota clínica no nome do médico. Em quant trading, 70 de 111 execuções ficaram abaixo da estratégia de referência do teste.
Filtros de segurança redesenham o pódio
Excluídos cibersegurança, biologia e alinhamento da conta, o GPT-6 Astra sobe a 11,8% e supera o Opus 5.5. No recorte de cibersegurança o contraste é maior: GPT-6 Astra e GPT 6.1 Sol ficam em 0%, enquanto o Muse Wonder Full, da Meta, alcança 35,2%. O ranking mistura, portanto, capacidade do modelo e o quanto as travas de segurança de cada fornecedor bloqueiam a execução.
Verificação com portas fechadas
As tarefas saíram de 14 parceiros especializados, que também vendem dados de treino e de avaliação a laboratórios de IA. A SemiAnalysis reconhece não dominar todos os domínios, e em regra só um exemplo por parceiro é público. Em direito e projeto de hardware, rubricas (conjuntos de critérios) aplicadas por modelos de linguagem substituem especialistas humanos, e quem está de fora não consegue aferir a dificuldade nem a qualidade da nota.
O sigilo tem um lado defensável: com as tarefas fechadas, os laboratórios não calibram seus modelos para as perguntas específicas. A Artificial Analysis fez movimento parecido na última versão do seu Intelligence Index.
A crítica de quem lê por dentro
O desenvolvedor Josh Purtell avalia que o GDPx gera mais ruído do que sinal. Cada modelo roda no software de agente do próprio fornecedor — o Opus, no Claude Code —, o que desfavorece quem tem ferramentas mais fracas. Subdomínios costumam reunir perto de dez tarefas, o que deixa o resultado volátil. A SemiAnalysis planeja revisões a cada três a seis meses.
O que isso significa para o investidor
A primeira leitura é de custo: 10,9% de aderência por US$ 16,29 a tarefa, contra um líder cerca de três vezes mais caro, redesenha a conta de qualquer orçamento de automação e tende a pressionar o preço das licenças de IA.
A segunda é de escopo. O ranking mede o pacote modelo mais ferramenta de agente, não a capacidade isolada do modelo: a virada do GPT-6 Astra no recorte sem cibersegurança, biologia e alinhamento mostra que a vantagem de um fornecedor pode evaporar fora do terreno em que ele foi otimizado.
A terceira é de expectativa. Notas entre 9,6% e 12% em tarefas longas e multietapas indicam que a substituição ampla de trabalho especializado segue distante do discurso comercial, ainda que a automação parcial avance. Para a tese de produtividade do setor de tecnologia, importa menos o teto atual do que a velocidade com que ele muda.