Em agosto eu dei a um agente LLM o papel de CEO da nossa loja de internet rural. Ele tinha acesso à planilha de vendas, ao gerenciador de anúncios da Meta, ao CRM e às conversas do WhatsApp. Propunha experimentos, mexia em campanhas e justificava cada passo com dados.

No começo do mês, ele analisou os anúncios de chip e concluiu que nenhum criativo se pagava. O ROAS calculado deu 0,43: cada real investido voltava como 43 centavos. A recomendação foi zerar a verba do chip. Em 8 de agosto, eu zerei.

A conta tinha dois erros.

O primeiro estava na receita. O agente comparou 100% do gasto com anúncios contra a receita só das vendas que tinham o ID do anúncio gravado. Cerca de 22% das nossas vendas carregam esse ID. As outras chegam pelo WhatsApp sem referência, pela busca no Google ou direto na loja. Quando refiz a conta, o ROAS real era 2,04. Divida 0,43 por 2,04 e você chega em 0,21, quase exatamente a nossa cobertura de rastreamento.

O segundo erro foi de escala. O agente encontrou um ROAS marginal perto de 1,05 e aplicou esse número ao orçamento inteiro. Esse marginal descrevia só a última fatia da verba de julho. O certo era cortar o excesso de julho e manter o canal ligado.

Com a verba zerada, as conversas no WhatsApp caíram 63% e a receita da linha caiu 14%. Nas conversas com o agente, ele nunca voltou ao ROI. Cada análise nova partia do mesmo 0,43. O número tinha virado premissa, e tudo construído em cima dele parecia coerente.

Foi a minha desconfiança com a queda que me fez parar. Onze dias depois do corte, refiz a conta fora da conversa: faturamento da planilha de vendas contra o gasto de cada mês. De abril a agosto, o ROAS do chip foi 5,4, 2,6, 2,5, 2,0 e 6,2. A verba se pagou em todos os meses. Mostrei a tabela ao agente. Ele reconheceu o erro e viu que as ações tiradas daquele número não se sustentavam. No mesmo dia, religuei o chip a US$13 por dia.

Depois do número errado, cada análise do agente fazia sentido. Ele nunca voltou para conferir o número de origem. Eu também aceitei a conta por 11 dias antes de conferir.

Hoje eu sigo três regras antes de mexer em verba por recomendação de um agente:

1. Refaço o ROAS a partir da fonte de receita completa, sem depender da atribuição. Se o número só fecha com vendas rastreadas, meço a cobertura do rastreamento primeiro.
2. Separo o marginal do médio. Um marginal perto de 1 pede corte do excesso. Ele não justifica desligar o canal.
3. Confiro a conta fora da conversa que gerou a recomendação. Se eu pedir outra análise ao mesmo agente com o mesmo número como entrada, ele repete o erro com mais argumentos.

Um agente LLM com acesso aos seus dados é um ótimo conselheiro. Ele lê mais rápido do que eu, cruza fontes e levanta hipóteses que eu deixaria passar. Coloque um no seu conselho consultivo. A decisão de orçamento ainda fica com uma pessoa que confere a premissa e responde pela escolha.

Na próxima vez que um agente recomendar cortar uma campanha, refaça a conta com a receita total antes de aprovar.