Meu Apple Watch preferia que eu pulasse o casaco

Montei umas ferramentas há pouco para entender o meu próprio condicionamento, usando os dados do meu Apple Watch. Aprendi o que queria sobre o meu treino, e algo que não procurava sobre painéis. Duas descobertas mudaram como eu leio qualquer número que uma máquina me entrega.

Dois números em que parei de confiar

O primeiro foi o meu VO2 máximo, e ele vinha artificialmente alto. Infelizmente, não sou atleta de nível olímpico. Então comecei a usar uma cinta de frequência cardíaca e comparei com o relógio, e foi assim que achei o problema: o sensor óptico embutido no meu Apple Watch perde picos breves, do tipo que você tem correndo ou pedalando numa subida curta. Tire os segundos mais duros do registro e a conta conclui que você produz um dado ritmo com uma frequência mais baixa do que de fato produz. Isto é um n de 1, os meus treinos e o meu relógio, então leia como a observação de uma pessoa e não como veredito sobre o aparelho. O padrão foi consistente o bastante, porém, para eu parar de aceitar o número de cara.

O segundo foi mais estranho. Apontei uma IA para os meus dados de saúde e ela me disse que eu não estava recebendo luz solar suficiente durante o inverno. Alarmante, exceto que no meu caso é quase certamente falso. A estimativa de luz do dia vem do sensor de luz ambiente do relógio, e do fim do outono ao fim da primavera eu estou na rua de manga comprida ou jaqueta por cima dele. Se a mesma estimativa se apoiasse no GPS, contaria a história oposta: tempo de sobra ao ar livre. O número não media se eu passeio bastante com o cachorro. Media quão escuro estava dentro da minha manga.

Duas decisões de projeto de sensor. Dois números errados. Nenhuma das decisões está documentada em lugar nenhum que eu tenha visto: nada avisa que a estimativa de luz do dia desmorona assim que esfria o bastante para manga comprida, ou que o número de VO2 máximo se apoia em suposições que o seu treino talvez não atenda. Se eu não tivesse cavado, estaria me sentindo ótimo sobre o meu condicionamento e culpado sobre a minha exposição ao sol, e estaria errado nos dois. O cachorro teria gostado dos passeios extras, ao menos até eu notar que eles não mudavam o número.

A apresentação melhorou. A medição não.

Lixo entra, lixo sai é tão velho quanto a computação. O que é novo é quão convincente o resultado parece. Um número vindo de um aparelho sofisticado, num painel caprichado, com uma linha de tendência e um anel de saúde em volta, é lido como verdade. Entregue isso a uma IA e você recebe conselho entregue com confiança, mas enganoso, com o ponto cego do sensor lavado em algum ponto do caminho.

O modelo tira a procedência de um número errado, então um artefato de medição volta como conselho confiante sem rastro de como foi medido. A manga é esfregada para fora. O que chega até você é “você precisa de mais sol no inverno”, limpo e diretivo, e nada na frase te lembra de que a orientação veio de um sensor debaixo de uma manga.

Essa lavagem é a parte perigosa, e a razão é que um número e uma frase convidam a tipos diferentes de dúvida. Um número tem magnitude, então você o compara com o que esperava e o acha alto ou baixo demais. Foi isso que me fez olhar o VO2 máximo em primeiro lugar. Conselho não tem grau. Você aceita ou não, mas questionar significa reconstruir de onde ele veio, e esse é um trabalho que você tem que escolher fazer no exato momento em que a análise te diz que a coisa já está resolvida.

E você só reconstrói o que te incomoda. Conferi os dois porque os dois me incomodavam: o VO2 máximo era lisonjeiro além do plausível, e o aviso de luz solar me acusava de algo. Se o mesmo sensor quebrado tivesse me dito que eu recebia luz de inverno de sobra, eu teria acreditado e seguido em frente. As respostas erradas que sobrevivem são as confortáveis.

Toda empresa tem uma manga

Empresas estão ligando agentes aos seus dados agora mesmo, e a versão corporativa da minha manga está em toda parte. O campo do CRM que ninguém atualiza. A pesquisa que só quem está satisfeito se dá ao trabalho de responder. A métrica que mudou de definição em silêncio no ano passado e manteve o nome. O agente não vai saber nada disso. Ele vai analisar o que recebeu, com confiança, e devolver uma conclusão limpa com a procedência lavada, exatamente como o aviso de luz solar voltou para mim.

A correção não é medir menos. É tratar “como isto é medido?” como parte da leitura de qualquer número, do mesmo jeito que você leria a assinatura de um artigo. E é parar de supor que alguma medição sempre ganha de nenhuma. Um número errado em que você confia causa mais dano que uma lacuna que você conhece, porque a lacuna te mantém procurando e o número errado te faz achar que dá para parar.

Nada disso é exatamente novo. Uma planilha sempre pôde transformar uma medição ruim num gráfico confiante. O que a IA muda é escala, distância e forma. Ela torna a análise quase gratuita, então muito mais números são produzidos e usados, e empilha camadas, um modelo lendo um resumo de um painel construído sobre um sensor, até o resultado ficar a vários passos daquilo que de fato foi medido. Cada camada extra é mais um lugar onde a fonte e a confiabilidade dela podem sumir. Algumas delas até passam adiante em prosa em vez de números, então cada resumo chega já argumentado em vez de medido, e voltar pela cadeia significa re-derivar uma aritmética que as frases não contêm mais. O problema é velho. A IA o industrializa.

Achei que ia ser divertido analisar os dados do meu relógio. O que de fato levei foi sobre medição, e acabou sendo mais útil do que qualquer coisa que aprendi sobre o meu treino, porque eu construo software que lê as mensagens de um time e a pergunta sobre o que um agente está usando para raciocinar é a mesma, num tamanho maior. Meu relógio estava coberto pelas mangas, e peguei isso porque eu sabia o que tinha vestido. Numa empresa, alguém sabe de cada manga, mas nem sempre é quem está lendo o resumo.