Como avaliar um assistente de IA para o seu time

Toda demonstração de assistente de IA é construída para impressionar quem pode comprar. Talvez alguém abra uma caixa lotada, clique naquele e-mail espinhoso e uma resposta arrumada apareça na voz do remetente. Talvez um fluxo simples dispare na hora certa e arquive um contrato na pasta certa. A sala concorda, o teste começa. Seja qual for a cena, uma demonstração é um momento encenado, e ela mostra o software fazendo algo que sabidamente faz bem. Ela conta quase nada sobre se a ferramenta ainda vale o que custa no terceiro mês, quando a novidade passou e o trabalho é só trabalho.

Aproveite a demonstração, mas avalie o produto com dados reais e com os seus próprios casos. Cada seção abaixo é algo que parece ótimo num passeio de quinze minutos e costuma desmoronar algumas semanas depois, junto com uma prova que expõe o problema cedo. Aplique isso a qualquer assistente da sua lista, o nosso incluído. O objetivo não é pegar um vendedor no contrapé. É saber o que você está de fato comprando antes de mandar as mensagens de um time por dentro dele.

A caixa do dia a dia é requisito mínimo, então teste como tal

Três coisas vão parecer polidas em qualquer demonstração: separar a caixa, escrever uma resposta e lembrar você de uma corrente. Vale ter tudo isso, mas é também com o que as ferramentas de caixa lideram, então a demonstração diz pouco. Os produtos mais amplos, os copilotos de suíte e as plataformas de automação, muitas vezes demonstram outra coisa e merecem ser julgados no próprio terreno. Teste-os como você testaria uma contratação, não no dia fácil, mas na correção e na bagunça.

Triagem. Um assistente útil decide o que merece a sua atenção para você não ser a máquina de separar. Os melhores permitem descrever categorias em linguagem comum (“qualquer coisa de um cliente atual”, “recibos”, “propostas frias”) em vez de um conjunto fixo de etiquetas, e misturam esse julgamento com regras legíveis para os casos óbvios. A pergunta real é se ele aprende. Para testar, conecte uma conta real, deixe rodar alguns dias e então corrija. Mova algo que ele arquivou errado, silencie uma categoria, marque um remetente como importante. O dia seguinte reflete a correção, ou você está fazendo o mesmo ajuste de novo?

Escrita. A maioria das ferramentas produz uma resposta competente. Menos produzem uma que você enviaria sem reescrever. O sinal é se o rascunho combina com o jeito que você já escreve para aquela pessoa específica. O tamanho, a formalidade, a despedida. Para testar, pegue uma corrente que já contenha uma data, um número ou uma decisão tomada antes, e peça uma resposta. Um bom rascunho usa o que se sabe e não inventa um horário de reunião nem reabre algo que você fechou três mensagens atrás. Se você apaga detalhes inventados em cada rascunho, ele está escrevendo e-mail genérico, e não o seu e-mail.

Follow-ups. Bola perdida custa mais do que resposta lenta, e há dois tipos: a mensagem que você enviou e que silenciou, e aquela em que alguém espera por você. Para testar, peça tudo que aguarda resposta agora, o seu lado e o deles. Mande uma mensagem, espere e confirme que ele sinaliza o silêncio. Depois peça a alguém que responda e confirme que o lembrete se cancela sozinho. Um lembrete que insiste depois de a corrente se resolver te ensina a ignorá-lo.

A prova real é o que roda enquanto você não está

Escrever uma resposta é um momento único de ajuda que ainda depende de você ali pedindo, e é isso que separa um assistente de um apoio à escrita. O que de fato devolve tempo é uma instrução permanente que a ferramenta executa por conta própria, toda vez que ela se aplica, com você olhando ou não.

Pergunte se ele consegue guardar uma instrução e agir depois, num horário ou quando algo dispara. Por baixo, procure algumas coisas específicas: um gatilho que começa o fluxo sem você, ramificação para ele fazer uma coisa em certos casos e outra em outros, capacidade de percorrer um lote, um ponto em que pode parar para a sua aprovação, e conectores para as outras ferramentas que o trabalho toca.

Para testar, pegue um padrão recorrente da sua própria semana e tente montá-lo como automação que roda sozinha. Se nada vier à cabeça, a lista de projetos já está na sua caixa: a fatia repetitiva do que chega ao seu time todo dia. Alguns exemplos, nenhum dos quais deveria exigir a sua presença:

• Quando um contrato assinado chega, arquive-o, registre a data de renovação e avise o responsável pela conta.
• Ao fim de cada dia, liste cada corrente de cliente que silenciou com a bola do nosso lado.
• Quando chega um pedido de reembolso, puxe o histórico de compras do cliente e prepare a resposta para alguém aprovar.

Se o produto só consegue agir enquanto você o aciona ativamente, isso é útil, e um bom apoio à escrita vale o que custa. Só tenha clareza de que você está comprando ajuda com digitação, e não ajuda com o trabalho.

Contexto vence um chute fluente

As decisões de e-mail raramente dependem só do e-mail. Se você aceita uma reunião depende do seu calendário. Como responde a um prospect depende de onde ele está no funil. O que você deve a alguém depende de uma promessa feita em outra corrente no mês passado. Um assistente que vê só a mensagem à frente está chutando o resto, e um chute confiante é mais perigoso do que um honesto “não consigo ver isso”.

Para testar, pergunte algo que atravesse uma fronteira que a mensagem atual não contém: o que você combinou por último com um cliente específico, quem é dono de uma conta, se um compromisso de duas semanas atrás foi mesmo fechado. Uma ferramenta fraca responde de forma suave e errada. Uma forte se apoia numa camada mantida de conhecimento sobre as suas pessoas, projetos e histórico, ou diz com todas as letras que ainda não tem aquele contexto. As duas coisas ganham da invenção.

Essa é a capacidade mais difícil de construir e a mais valiosa de ter, o que é exatamente por que é a que mais merece ser sondada num teste.

Confiança vem de controle e reversibilidade

Antes de deixar qualquer coisa agir em seu nome, ache o freio. Você deveria conseguir rodá-lo em modo de leitura enquanto ganha confiança, exigir aprovação antes de qualquer envio, mover ações individuais para o piloto automático quando confiar nelas, e cancelar uma ação agendada antes de ela disparar. O que você quer é um seletor definido por tarefa, de observar a sugerir a agir com aprovação a agir sozinho, e não um interruptor de tudo ou nada.

A reversibilidade é a outra metade. Você deveria conseguir ler um registro claro do que ele fez e por quê, desfazer uma ação errada e desligar uma regra problemática sem tocar no resto. A saída do produto também deveria ser limpa. Desconecte-o e o seu e-mail, os seus contatos e o seu calendário originais continuam exatamente como estavam.

Para testar, agende uma ação e cancele, e confirme que nada saiu. Coloque em modo de revisão e confirme que nada é enviado sem o seu aval. Ache o registro de atividade e leia. Desligue uma automação e confirme que as outras seguem rodando. Depois confira a porta de saída antes de precisar dela, para um teste não virar uma ferramenta em que você fica preso.

Uma caixa não é um time

O trabalho não chega todo por e-mail. Ele vem pelo chat, por mensagem direta, pelo canal que cada cliente ou colega prefere. Um assistente limitado a uma caixa ajuda uma pessoa num canal. A pergunta para um time é se ele lê os lugares onde vocês de fato se comunicam, e se funciona quando o time inteiro adota em vez de ser um complemento pessoal, para que regras de triagem, trabalho acompanhado e conhecimento sejam compartilhados em vez de presos num login.

Para testar, conecte mais de um canal e veja se as mensagens chegam num lugar só com tratamento consistente. Depois acrescente um colega e cheque se uma regra que um de vocês escreve, ou um fato que um de vocês registra, fica visível para o outro. Uma ferramenta que só sabe o que a caixa de uma pessoa sabe vai fazer o seu time reaprender para sempre o que um de vocês já descobriu.

Quem tem chance nessas provas

Essas provas não são um labirinto que só um produto resolve. Um modelo de fronteira numa janela de conversa, Claude, ChatGPT ou Gemini, faz uma versão de tudo acima depois que você conecta suas contas: triagem sob demanda, escrita que usa contexto real, até respostas que atravessam correntes. O detalhe é que você é o gatilho e a cola. Cada execução é uma conversa com mensagens indo e voltando, as instruções permanentes vivem na sua cabeça em vez de na ferramenta, e as camadas de automação sem supervisão e de time ficam por sua conta antes de você conseguir testá-las. Isso pode ser a escolha certa para um time técnico que quer controle total.

Outras categorias passam em outras partes. Assistentes de suíte como o Microsoft Copilot e o Gemini for Workspace são fortes em escrita e contexto dentro dos próprios muros, e respondem à pergunta para times que vivem inteiramente numa suíte. Plataformas de automação como Zapier e Lindy passam bem na prova do que roda sem você e tendem a ser mais magras na caixa do dia a dia e na camada de conhecimento do time. As provas existem para expor essas trocas, e não para declarar um vencedor. Quais delas importam depende de quais falhas de fato machucariam o seu time.

Onde o this+that fica nessas provas

Construímos o this+that em torno das provas que decidem o terceiro mês, porque é ali que a maioria das ferramentas afina. Ele transforma os pedidos e compromissos enterrados nas suas mensagens em trabalho acompanhado, e permite descrever um padrão recorrente em linguagem comum e transformá-lo num fluxo com gatilhos, ramificações, repetições e portões de aprovação que roda quando você não está. Ele funciona melhor quando todo mundo do time tem conta. Alguns assistentes são estritamente ferramentas pessoais, mas os que um time adota junto costumam ser os mais poderosos, porque regras, trabalho acompanhado e conhecimento ficam compartilhados em vez de reconstruídos por pessoa. E ele lê os canais que os times de fato usam: Gmail, Outlook, Slack, Microsoft Teams, Google Chat, e WhatsApp Business. O piloto automático é o destino, mas você escolhe o caminho, porque você decide o que cada fluxo pode fazer: uma automação nova pode começar só observando e reportando, depois ganhar um portão de aprovação para uma pessoa dar o aval antes de qualquer envio, e então rodar sozinha depois de merecer. Nada sai da sua caixa de saída até você decidir que deve.

O contexto é a mais difícil dessas provas. O this+that mantém um brain, uma camada de conhecimento sobre as suas pessoas e relações que se atualiza a partir das suas mensagens e dos fluxos que rodam, então uma resposta ou uma decisão pode se apoiar em mais do que a mensagem à frente. Um brain que fique inteiramente atualizado em todo o seu fluxo de mensagens, sem lacunas, ainda é algo em direção ao qual estamos construindo, e não uma capacidade pronta que colocaríamos num slide. Se o contexto entre fontes é o motivo de um assistente valer a pena, e achamos que é, esse é o argumento que já defendemos longamente.

Rode essas provas contra nós e contra todo mundo da sua lista. Nenhuma delas favorece um produto específico até você de fato tentar respondê-las, que é justamente o ponto.

Principais conclusões

• Uma demonstração mostra o software fazendo o que já faz bem. O teste deveria provar o que quebra ao longo de semanas: correção, correntes bagunçadas, automação sem supervisão, contexto entre fontes e controles seguros.
• Triagem, escrita e follow-ups são requisito mínimo que toda ferramenta demonstra bem. Julgue-os por sobreviverem a uma correção e a uma corrente que já tem fatos dentro, e não pela demonstração limpa.
• A capacidade que mais importa é se a ferramenta age enquanto você não está. Uma instrução que ela executa sozinha, toda vez que se aplica, é o que devolve tempo; a ajuda que só funciona enquanto você pede é ajuda com digitação.
• O contexto é a prova mais difícil e a mais valiosa. Uma ferramenta que inventa um acordo passado em tom confiante é mais perigosa do que uma que admite ainda não enxergar aquilo.
• Controle e reversibilidade não são extras. Modo de leitura, aprovação por ação, um registro legível, desfazer e uma saída limpa são o que torna seguro entregar trabalho a um software. E um assistente que o time inteiro usa, lendo todos os seus canais, evita que cada um reaprenda o que um de vocês já sabe.