Máquinas de guerra podem sair do controle com IA no comando

Um novo relatório da organização não governamental Airwars, especializada em monitoramento de conflitos, detalha como sistemas de inteligência artificial (IA) estão assumindo etapas cruciais de operações militares, reduzindo a participação humana a poucos momentos do processo de decisão. O estudo, intitulado "Anatomy of an AI Kill Chain", apresenta um guia visual de uma cadeia de ataques fictícia para ilustrar os riscos do uso de algoritmos em contextos de guerra.

O documento divide o processo militar em seis estágios: sistemas de apoio à decisão para coleta de dados, vigilância, inteligência e identificação de alvos, seleção de alvos, execução de ataques e avaliação pós-ataque. De acordo com os autores, um livro recente sobre o uso de IA pelas forças armadas dos EUA revelou que, em algumas operações, apenas duas das seis etapas contam com humanos diretamente envolvidos, enquanto uma terceira tem supervisão parcial. As demais são totalmente automatizadas.

A pesquisa aponta fontes potenciais de erro em cada fase, como falhas em sistemas de tradução automática usados na vigilância de mensagens, sistemas de pontuação de risco baseados em análise de dados de redes sociais e limitações de visão computacional que podem identificar incorretamente objetos e pessoas. O relatório também menciona problemas com redes neurais em ataques de drones quando há interferência de GPS ou jamming eletrônico, além de possíveis falhas em sistemas de avaliação de danos assistidos por IA.

Sophia Goodfriend, pesquisadora da Universidade de Cambridge e coautora do relatório, afirmou que o objetivo é destacar a complexidade do conjunto de sistemas de IA que mediam a guerra moderna, em vez de focar em uma única tecnologia ou empresa. Ela ressaltou que a cadeia de ataques descrita é fictícia para evitar alegações imprecisas sobre como exércitos específicos operam, já que esses sistemas são frequentemente secretos e censurados.

Goodfriend também alertou para a dificuldade de intervenção humana diante de decisões automatizadas, especialmente sob a pressão de tempo em conflitos. "Mesmo que alguém revise um sistema de perfil de risco olhando uma postagem em rede social, essa postagem será traduzida por um algoritmo e a pessoa não conseguirá verificar se a tradução está correta", explicou. A pesquisadora defende que o relatório serve para evidenciar as falhas inerentes ao aprendizado de máquina, que não são problemas temporários, mas limitações estruturais desses sistemas no campo de batalha.

Esta matéria foi publicada primeiro em The Register e republicada aqui com tratamento editorial (síntese dos pontos mais relevantes), a partir de feed RSS. Ver publicação original.