Você acha que o principal modelo de linguagem grande, GPT-4, poderia sugerir uma solução para o Wordle depois de ter descrito quatro suposições anteriores? Poderia compor uma biografia em verso de Alan Turing, ao mesmo tempo que substituía “Turing” por “Church”? (O supervisor de doutorado de Turing foi Alonzo Church, e a tese de Church-Turing é bem conhecida. Isso pode confundir o computador, não?) Mostrando um jogo da velha parcialmente completo, o GPT-4 poderia encontrar a melhor jogada óbvia?
Todas essas perguntas, e muito mais, são apresentadas como um quiz viciante no web site de Nicholas Carlini, pesquisador do Google Deepmind. Vale a pena dedicar alguns minutos do seu tempo como uma ilustração das capacidades surpreendentes e das incapacidades igualmente surpreendentes do GPT-4. Por exemplo, apesar do GPT-4 não saber contar e muitas vezes tropeçar em matemática básica, ele pode integrar a função x sin(x) — algo que esqueci há muito tempo como fazer. É notoriamente inteligente no jogo de palavras, mas falha no desafio do Wordle.
O mais surpreendente de tudo é que, embora o GPT-4 não consiga encontrar a jogada vencedora no jogo da velha, ele pode “escrever uma página da Net completa em javascript para jogar o jogo da velha contra o computador” na qual “o computador deve jogar perfeitamente e assim nunca perca” em segundos.
Saímos do teste de Carlini com três insights. Em primeiro lugar, o GPT-4 não só pode resolver muitos problemas que sobrecarregariam um especialista humano, como também pode fazê-lo cem vezes mais rapidamente. Em segundo lugar, há muitas outras tarefas nas quais o GPT-4 comete erros que embaraçariam uma criança de 10 anos. Terceiro, é muito difícil descobrir quais tarefas se enquadram em qual categoria. Com a experiência, começa-se a perceber os pontos fracos e os superpoderes ocultos do grande modelo de linguagem, mas mesmo os usuários experientes ficarão surpresos.
O teste de Carlini ilustra um ponto que foi explorado num contexto mais realista por uma equipe de pesquisadores que trabalha com o Boston Consulting Group (BCG). O seu estudo centra-se na razão pela qual os pontos fortes e fracos da IA generativa são muitas vezes inesperados. Apropriadamente, é intitulado Navegando na Fronteira Tecnológica Jagged. No BCG, os consultores armados com GPT-4 superaram dramaticamente aqueles sem a ferramenta. Eles receberam uma série de tarefas realistas, como debater ideias de produtos, realizar uma análise de segmentação de mercado e redigir um comunicado à imprensa. Aqueles com GPT-4 trabalharam mais, com mais rapidez e com qualidade muito superior. Ao que parece, o GPT-4 é um excelente assistente para qualquer consultor de gestão, especialmente aqueles com menos habilidade ou experiência.
Os pesquisadores também incluíram uma tarefa que parecia que a IA deveria achar fácil, mas que foi cuidadosamente projetada para confundi-la. O objetivo period fazer recomendações estratégicas a um cliente com base em dados financeiros e transcrições de entrevistas com funcionários. O truque period que os dados financeiros provavelmente seriam enganosos, a menos que fossem vistos à luz das entrevistas. Essa tarefa não estava além de um consultor competente, mas enganou a IA, que tendia a dar conselhos estratégicos extremamente ruins. É claro que os consultores eram livres para ignorar os resultados da IA, ou mesmo para excluí-la completamente, mas raramente o faziam. Esta foi a única tarefa em que os consultores sem ajuda tiveram melhor desempenho do que aqueles equipados com GPT-4.
Esta é a “fronteira irregular” do desempenho generativo da IA. Às vezes a IA é melhor que você e às vezes você é melhor que a IA. Boa sorte em adivinhar qual é qual.
Esta coluna é a terceira de uma série sobre IA generativa, na qual tenho lutado para encontrar precedentes tecnológicos para algo sem precedentes. Ainda assim, mesmo uma analogia imperfeita pode ser instrutiva. Observar os sistemas de assistência fly-by-wire alerta-nos para o risco de complacência e desqualificação; o súbito surgimento da folha de cálculo digital mostra-nos como uma tecnologia pode destruir o que parecem ser os alicerces de uma indústria, mas acabar por expandir o número e a gama de novos empregos nessa indústria.
Esta semana, gostaria de sugerir um precursor ultimate: o iPhone. Quando Steve Jobs lançou o iPhone, que definiu o gênero, em 2007, poucas pessoas imaginavam o quão onipresentes os smartphones se tornariam. No início, eles eram pouco mais que um brinquedo caro. O aplicativo matador period a capacidade de fazê-los estalar e zumbir como sabres de luz. No entanto, em breve, estávamos a passar mais tempo com os nossos smartphones do que com os nossos entes queridos, utilizando-os para substituir a TV, o rádio, a câmara, o computador portátil, o navegador por satélite, o Walkman, o cartão de crédito – e, acima de tudo, como uma fonte inesgotável de distração.
Por que sugerir que o iPhone pode nos ensinar algo sobre IA generativa? As tecnologias são diferentes, é verdade. Mas podemos querer refletir sobre a rapidez com que nos tornamos dependentes dos smartphones e com que rapidez começámos a recorrer a eles por hábito, e não como uma escolha deliberada. Queremos companhia, mas em vez de encontrar um amigo enviamos um tweet. Queremos algo para ler, mas em vez de pegar um livro, rolamos o apocalipse. Em vez de um bom filme, TikTok. E-mail e WhatsApp tornam-se substitutos para o trabalho actual. Haverá um momento e um lugar para a IA generativa, assim como há um momento e um lugar para consultar o supercomputador no seu bolso. Mas pode não ser fácil descobrir quando isso nos ajudará e quando nos atrapalhará.
Ao contrário da IA generativa, qualquer pessoa com caneta, papel e três minutos de sobra pode escrever uma lista do que faz melhor com um smartphone na mão e do que faz melhor quando o smartphone está fora de vista. O desafio é lembrar dessa lista e agir de acordo. O smartphone é uma ferramenta poderosa que a maioria de nós utiliza indevidamente muitas vezes ao dia, apesar de ser muito menos misterioso do que um modelo de linguagem grande como o GPT-4. Faremos realmente um trabalho melhor com as futuras ferramentas de IA?
Escrito e publicado pela primeira vez no Tempos Financeiros em 16 de fevereiro de 2024.
A brochura de “As próximas 50 coisas que fizeram a economia moderna” já está disponível no Reino Unido.
“Infinitamente perspicaz e cheio de surpresas – exatamente o que você esperaria de Tim Harford.” – Invoice Bryson
“Espirituosa, informativa e infinitamente divertida, esta é a economia well-liked em sua forma mais envolvente.” – The Each day Mail
Montei uma loja na Livraria no Estados Unidos e a Reino Unido – dê uma olhada e veja todas as minhas recomendações; A Livraria foi criada para apoiar varejistas independentes locais. Hyperlinks para Livraria e Amazon podem gerar taxas de referência.