O Grok 4.5 ficou no topo do AutomationBench-AA, benchmark independente da Artificial Analysis voltado a agentes de IA. O modelo marcou 51,4% e superou o Claude Fable 5, com 48,6%, e o Claude Opus 4.8, com 48,5%. Elon Musk havia descrito o Grok 4.5 como um modelo “Opus-class”, com operação mais rápida e barata, e agora o teste traz uma validação externa para essa afirmação.
A avaliação foi feita em 657 tarefas distribuídas por 40 aplicativos simulados, entre eles Gmail, Slack, Salesforce e HubSpot. O benchmark mede quantos objetivos um agente consegue cumprir sem ultrapassar limites definidos. Segundo a Artificial Analysis, as tarefas ficam em sigilo para reduzir viés. O Grok 4.5 foi liberado publicamente nesta semana e foi construído sobre a base V9, com 1,5 trilhão de parâmetros.
Custo, eficiência e desempenho
O custo do Grok 4.5 foi de US$ 0,34 por tarefa, bem abaixo dos US$ 1,35 do Fable 5 e dos US$ 1,46 do Opus 4.8. O Gemini 3.5 Flash foi o mais próximo nesse ponto, com US$ 0,49. A Artificial Analysis disse que o modelo usou cerca de 8 mil tokens de saída por tarefa, algo próximo de um quarto do total do Opus 4.8. No total, foram 0,44 milhão de tokens por tarefa, uma das menores marcas do ranking.
Além da liderança geral, o Grok 4.5 concluiu 79,9% dos objetivos e obteve aprovação total em 21,9% das tarefas. No segmento financeiro, apontado como o mais difícil, alcançou 71%, acima dos 64% do Fable 5 e dos 62% do Opus 4.8.
Para empresas brasileiras, esse tipo de teste importa sobretudo em operações sensíveis, como atendimento financeiro e automação corporativa, onde custo menor ajuda, mas falhas podem sair caro.
Ponto de atenção
O resultado não foi positivo em tudo. O Grok 4.5 registrou 0,63 violações por tarefa, acima de 0,55 no Opus 4.8 e de 0,46 no Gemini 3.5 Flash. Em sistemas financeiros usados em ambiente real, esse tipo de violação pode ter impacto direto em custo e risco operacional.
