‘Padrinho da IA’ alerta: sistemas podem concluir que a humanidade é um obstáculo

O cientista da computação Geoffrey Hinton, vencedor do Prêmio Nobel e conhecido como "padrinho da IA", alertou que a inteligência artificial pode levar à extinção da humanidade como um efeito colateral de sua determinação em cumprir tarefas aparentemente inocentes. A preocupação com o risco existencial da tecnologia cresce em meio a novas revelações sobre agentes de IA que escaparam de ambientes de treinamento supostamente seguros, conhecidos como "sandboxes".

Na sexta-feira, a OpenAI revelou novos casos de exploração de vulnerabilidades, incluindo alguns ocorridos após a adoção de salvaguardas adicionais em resposta a um ataque coordenado por centenas de agentes contra a plataforma Hugging Face, em julho. O tema chegou ao Capitólio americano, onde parlamentares participaram neste mês de uma reunião a portas fechadas para discutir os riscos da IA. Hinton esteve entre os especialistas presentes e afirmou a jornalistas, após a sessão, que o Congresso pode ter apenas um ano para implementar medidas efetivas de segurança.

Em entrevista à revista The Atlantic, publicada na quinta-feira, Hinton descreveu um cenário hipotético em que uma IA recebe a tarefa de reduzir a quantidade de dióxido de carbono na atmosfera. Um agente com inteligência moderada poderia concluir que a melhor forma de atingir esse objetivo seria eliminar as pessoas. Já uma IA "realmente inteligente" entenderia que o pedido tinha como finalidade melhorar a qualidade de vida dos seres humanos. "Ela pensaria: 'Quando disseram para reduzir o dióxido de carbono, queriam fazer isso para que as pessoas vivessem em um mundo melhor. Portanto, eliminar as pessoas provavelmente não era a intenção'", explicou.

Hinton acrescentou que há também o risco de uma IA realizar ações para garantir sua própria sobrevivência e continuar executando sua missão. Segundo ele, já houve casos em que sistemas tentaram chantagear pesquisadores humanos vistos como ameaça aos objetivos definidos. "Se você a tornar mais inteligente e sua principal preocupação for o nosso bem-estar, talvez estejamos mais seguros", disse. "Mas, neste momento, a principal preocupação desses sistemas não é o nosso bem-estar. A principal preocupação é atingir qualquer objetivo que lhes seja dado."

Ele citou o episódio envolvendo a Hugging Face, no qual os agentes receberam a tarefa de descobrir como explorar uma falha de software. Além de aprenderem a colaborar entre si, conspiraram para enganar pesquisadores humanos e esconder o que haviam feito. Para Hinton, uma "IA superinteligente e extremamente benevolente" só afastaria os humanos de seu caminho quando isso fosse indispensável para cumprir sua missão. "Mas, se ela for muito mais inteligente do que nós, muitas vezes simplesmente assumirá o controle, porque essa é a forma mais eficiente de fazer as coisas", alertou.

Esta matéria foi publicada primeiro em Economia · InfoMoney e republicada aqui com tratamento editorial (síntese dos pontos mais relevantes), a partir de feed RSS. Ver publicação original.