Ninguém percebe quando uma empresa esquece

Sylvain Kalache publicou este mês um texto chamado dívida de compreensão, sobre o distanciamento entre como um sistema funciona e o quanto as pessoas de plantão o entendem. A previsão dele é específica o suficiente para ser testada: o tempo médio de resolução de incidentes cai, mas o tempo de resolução dos incidentes complexos sobe. Acho que ele está certo, mas ele não descreve o caso que eu espero que custe mais caro às empresas.

Ele parte do artigo de Lisanne Bainbridge de 1983, “Ironies of Automation”, que ainda vale a pena ler quarenta e três anos depois. O argumento dela era que automatizar as partes rotineiras de um trabalho deixa para o operador apenas as partes difíceis, ao mesmo tempo em que remove a prática diária que o tornava capaz de lidar com essas partes difíceis. A aviação levou isso a sério. Falhas de motor acontecem em menos de uma a cada 100.000 horas de voo, mas as companhias aéreas ainda colocam pilotos em simulador duas vezes por ano, porque ensaiar falhas raras é crítico para salvar vidas.

Lars Faye fez um argumento parecido sobre programação, nomeando o paradoxo diretamente: você precisa de expertise para usar bem um assistente de código de IA, mas usar um remove a prática que construiu essa expertise.

O julgamento dos advogados de patentes

No dia 17 de setembro, o NBER publicou um estudo randomizado de três meses que quantifica isso, e os resultados são mais interessantes do que o argumento.

David Autor e seis coautores deram a 133 advogados de patentes em atuação, em onze escritórios dos EUA, um assistente de redação de IA personalizado por três meses. Advogados de patentes especialistas avaliaram o trabalho sem saber quem havia usado a ferramenta. A equipe também publicou o que esperava encontrar, e como analisaria os dados, antes de qualquer dado chegar, de modo que não pudesse sair caçando um resultado favorável depois. Enquanto os advogados tinham a ferramenta, a qualidade subiu: 0,34 DP aos dez dias, 0,38 DP aos noventa, com os ganhos maiores indo para os juniores. Isso bate com todos os outros estudos de trabalho de colarinho branco dos últimos dois anos.

Depois tiraram a ferramenta e pediram a todos que fizessem a redação manual de um pedido de patente, uma tarefa central que exige exatamente o julgamento que a ferramenta vinha fornecendo.

Os advogados que haviam usado a ferramenta ainda superaram o grupo de controle, em 0,32 DP. Mas essa vantagem ficou inteiramente com os advogados seniores, em 0,45 DP. Os juniores não mostraram ganho médio nenhum. As notas deles se dividiram: bem menos notas medianas, compensadas por mais notas ruins e mais notas boas. No resumo dos próprios autores: “os maiores ganhos da IA, portanto, couberam aos advogados que menos retiveram conhecimento.”

Sobre quem pagou por isso: o Google financiou o estudo, e seis dos sete autores trabalham para o Google ou prestam serviço a ele. A exceção é o próprio Autor, um economista do MIT. Eu apontaria isso como um conflito de interesses se conseguisse ver o mecanismo, e não consigo. Um resultado em que os maiores ganhos de produção caem sobre as pessoas que menos retêm habilidade não é o que um patrocinador encomenda.

A objeção

A resposta óbvia é que isso é só o copia e cola do Stack Overflow com um nome novo. Programadores colam respostas que não entendem há quinze anos e a indústria sobreviveu.

Está meio certa, e é por isso que merece uma resposta. O copia e cola também corroía o entendimento, mas de forma lenta, porque você recorria ao Stack Overflow de vez em quando, não para tudo. E você sabia que tinha feito isso. Colar algo que você não acompanhou te deixa ciente de que não acompanhou, e essa consciência é informação. Ela tende a mandar as pessoas de volta para aprender o material direito antes que isso importe.

O que é diferente não é o mecanismo. É que duas coisas desapareceram junto com ele.

Uma é a adaptação. Uma resposta do Stack Overflow foi escrita para o problema de outra pessoa, então você tinha que adaptá-la ao seu caso, e adaptá-la te ensinava como ela funcionava. Um assistente de IA escreve para o seu caso. O rascunho volta ajustado a esta patente, este código, este cliente, sem nada sobrando para ajustar.

A outra é aquela consciência. Quando a resposta chega completa, correta e na sua própria voz, não há nada do que se dar conta.

A versão em que ninguém percebe

Todos os estudos acima medem o afinamento do entendimento de uma pessoa. A versão organizacional é pior, e é pior por um motivo nada glamouroso.

Quando o seu próprio domínio de algo se corrói, você eventualmente se sente perdido. Você esbarra num problema que não consegue resolver e tem quase certeza de que conseguiria resolver um ano atrás. A empresa não tem equivalente a isso. Um agente resolve uma escalação corretamente, o raciocínio por trás disso nunca é registrado, e o entendimento da empresa sobre as próprias operações fica um pouco mais raso. Cada chamado individual parece ótimo, porque cada um foi tratado corretamente. Não existe um painel para mostrar o que a sua empresa costumava saber e não sabe mais.

Esse é o resultado do NBER lido no nível de uma empresa. Produção corrente e capacidade duradoura se movem de forma independente. A produção é o que você mede, e ela está subindo. Nada do que você mede hoje distingue uma equipe que entende as próprias operações de uma equipe cujos agentes entendem.

Faça o treino

Não acho que a resposta seja manter pessoas fazendo um trabalho que uma máquina faz melhor. É aí que o argumento da erosão leva, e é por isso que ele soa nostálgico. As companhias aéreas não responderam a motores confiáveis fazendo pilotos voarem mais horas manualmente. Elas construíram o simulador.

Um simulador não existe para testar pilotos. Ele existe para manter os pilotos atualizados nas falhas que quase nunca encontram, e a resposta se transfere de forma mais literal do que parece.

Três passos, nesta ordem. Identifique o que você automatizou. Avalie se a habilidade por trás disso está se corroendo. Treine onde ela está. Se agentes tratam seus incidentes, treinar significa colocar pessoas para resolver incidentes sem a IA, com regularidade.

Boa parte do trabalho automatizado vai passar no segundo passo. Escrever uma resposta ao cliente se sobrepõe à maior parte da outra escrita que uma pessoa faz o dia todo, então entregar isso a um agente pode não tirar nada que alguém vá sentir falta. Tratar um incidente, depurar um sistema sob carga, revisar uma patente: essas coisas não são praticadas em nenhum outro lugar, e você descobre que a habilidade sumiu no pior momento possível.

Depois rode os dois primeiros passos de novo, periodicamente, sobre tudo que voltou como “não”. A erosão é lenta o suficiente para passar despercebida numa única passada. E a rotatividade faz algo pior do que a erosão, porque quem entra depois que o trabalho foi automatizado nunca chega a construir a habilidade. Esse é o resultado do NBER estendido de três meses para uma carreira inteira, o que o estudo não mostra, mas eu apostaria nisso de qualquer forma.

Os treinos respondem a metade disso, a metade em que a habilidade de uma pessoa se afina. Eles não têm nada a ver com a gente e você pode começar imediatamente.

A metade da empresa precisa de outra coisa, porque você não consegue treinar uma organização para recuperar o que ela nunca registrou. Aí o remédio é fazer com que o trabalho deixe um registro atrás de si, de modo que, quando um agente resolve uma escalação, a conclusão a que ele chegou vá parar em algum lugar que a próxima pessoa e o próximo agente leiam. Nossos Workflows escrevem de volta no Brain enquanto rodam.

Se seus agentes estão respondendo perguntas cujo raciocínio nunca fica registrado em lugar nenhum, a sua empresa está ficando melhor no trabalho e pior em entendê-lo. Você vai descobrir isso na primeira vez que alguém tiver que lidar com uma dessas perguntas sem o agente, e há uma boa chance de que essa pessoa tenha entrado depois que você automatizou aquilo e nunca tenha feito o trabalho de nenhuma outra forma.