27 de outubro de 2016

Pentágono tem "dilema do Exterminador do Futuro": robôs poderiam matar por conta própria?

The New York Times 
Matthew Rosenberg e John Markoff
O pequeno drone, com seus seis rotores zumbindo, sobrevoou a réplica de um vilarejo do Oriente Médio e se voltou para uma estrutura como uma mesquita, com sua câmera procurando por alvos.
Não havia nenhum humano pilotando o drone de forma remota, que não era nada mais do que uma máquina que pode ser comprada na Amazon. Mas armado com software avançado de inteligência artificial, ele foi transformado em um robô capaz de encontrar e identificar meia dúzia de homens portando réplicas do fuzil AK-47 no vilarejo e que fingiam ser insurgentes.
Silas Hughes monitora um drone autônomo
em um teste na base de Cape Cod
Quando o drone desceu ligeiramente, um retângulo púrpura surgiu no vídeo transmitido aos engenheiros que monitoravam o teste. O drone identificou um homem oculto nas sombras, uma demonstração de proeza que oferecia uma prévia assustadora de como o Pentágono planeja transformar as guerras.
Quase sem ser notado fora dos círculos da defesa, o Pentágono colocou a inteligência artificial no centro de sua estratégia para manter a posição dos Estados Unidos como maior potência militar do mundo. Ele está gastando bilhões de dólares no desenvolvimento do que chama de armas autônomas e semiautônomas e na construção de um arsenal estocado com o tipo de armamento que até agora só existia nos filmes de Hollywood e na ficção científica, provocando alarme entre cientistas e ativistas preocupados com as implicações de uma corrida armamentista de robôs.
O Departamento de Defesa está projetando caças robóticos que voariam para combate ao lado de aeronaves tripuladas. Tem testado mísseis que podem decidir o que atacar e construído navios que podem caçar submarinos inimigos, perseguindo os que encontra por milhares de quilômetros sem qualquer ajuda humana.
"Se Stanley Kubrick dirigisse 'Dr. Fantástico' de novo, seria sobre a questão das armas autônomas", disse Michael Schrage, um pesquisador da Escola Sloan de Administração do Instituto de Tecnologia de Massachusetts.
As autoridades da Defesa dizem que as armas são necessárias para que os Estados Unidos mantenham sua vantagem militar frente à China, Rússia e outros rivais, que estão despejando dinheiro em pesquisa semelhante (assim como aliados, como o Reino Unido e Israel). O mais recente orçamento do Pentágono destina US$ 18 bilhões para serem gastos ao longo de três anos em tecnologias que incluem as necessárias para armas autônomas.
"A China e a Rússia estão desenvolvendo redes de batalha que são tão boas quanto as nossas. Elas podem ver tão longe quanto as nossas; elas podem disparar munições guiadas tão longe quanto podemos", disse Robert O. Work, o vice-secretário de Defesa, que tem sido um dos incentivadores do desenvolvimento de armas autônomas. "O que queremos fazer é simplesmente assegurar que poderemos vencer tão rapidamente quanto no passado."
Assim como a Revolução Industrial estimulou a criação de máquinas poderosas e destrutivas como aviões e tanques, que diminuíram o papel dos soldados individuais, a tecnologia de inteligência artificial está permitindo ao Pentágono reordenar os papéis de homens e máquinas no campo de batalha, da mesma forma como está transformando a vida comum com computadores que podem ver, ouvir e falar, e carros que podem dirigir a si mesmos.
As novas armas ofereceriam velocidade e precisão além da capacidade de qualquer humano e, ao mesmo tempo, reduziriam o número (e custo) de soldados e pilotos expostos a morte potencial em batalha. O desafio para o Pentágono é assegurar que as armas sejam parceiras confiáveis para os humanos e não ameaças potenciais a eles.
No centro da mudança estratégia imaginada pelo Pentágono está o conceito que as autoridades chamam de guerra de centauro. Levando o nome do meio homem, meio cavalo da mitologia grega, a estratégia enfatiza o controle humano e armas autônomas como formas de ampliar e criatividade e solução de problemas de soldados, pilotos e marinheiros, não substituí-los.
As armas, na visão do Pentágono, seriam menos como o Exterminador do Futuro e mais como o super-herói dos quadrinhos Homem de Ferro, disse Work em uma entrevista.
"Há muito medo por aí com robôs assassinos e a Skynet", a rede de inteligência artificial homicida dos filmes da série "O Exterminador do Futuro", disse Work. "Não é a forma como imaginamos isso."
Quando se trata de decisões sobre vida e morte, "sempre haverá uma decisão humana", ele disse.
Fora do Pentágono, entretanto, há um profundo ceticismo de que esses limites permanecerão em vigor assim que as tecnologias para criação de armas pensantes forem aperfeiçoadas. Centenas de cientistas e especialistas alertaram em uma carta aberta no ano passado que o desenvolvimento até mesmo das mais burras armas inteligentes poderia levar a uma corrida armamentista global. O resultado, alertou a carta, seria robôs plenamente independentes capazes de matar, tão baratos e prontamente disponíveis para Estados inamistosos e para extremistas violentos quanto para as grandes potências.
"Armas autônomas se tornarão os fuzis Kalashnikov de amanhã", disse a carta.
Joe Kehoe dá instruções em uma foto de satélite sobre o funcionamento de drones
O debate dentro das Forças Armadas não é mais sobre a criação ou não de armas autônomas, mas sim a respeito de quanta independência lhes dar. O general Paul J. Selva da Força Aérea, vice-chefe do Estado-Maior das Forças Armadas, disse recentemente que os Estados Unidos estão a uma década de contar com a tecnologia para construção de um robô plenamente independente, capaz de decidir por conta própria quem e quando matar, apesar de não terem a intenção de construir um.
Outros países não estão muito atrás e é muito provável que alguém eventualmente tentará lançar "algo como um Exterminador", disse Selva, invocando o que parece ser uma referência comum em qualquer discussão sobre armas autônomas.
Mas as autoridades americanas estão apenas começando a discutir as implicações de armas que algum dia poderiam operar de forma independente, além do controle de seus desenvolvedores. Dentro do Pentágono, isso é conhecido como dilema do Exterminador do Futuro e não há consenso sobre se os Estados Unidos deveriam buscar tratados internacionais visando tentar proibir a criação dessas armas, ou construir suas próprias para combater as que seus inimigos possam criar.
Por ora, a situação da tecnologia é decididamente menos assustadora. Prova A: o pequeno drone desarmado testado recentemente em Cape Cod.
Ele não podia simplesmente ligar a si mesmo e sair voando. Ele teve que ser instruído pelos seres humanos para onde ir e o que procurar. Mas assim que decolou, ele decidiu por conta própria como executar suas ordens.
O software que move o drone está em desenvolvimento há um ano e apresentou falhas durante o dia de testes. Ao sobrevoar a mesquita, o drone teve dificuldade em decidir se o minarete era um elemento arquitetônico ou um homem armado, fazendo jus ao seu apelido, Bender, o robô trapalhão do desenho animado "Futurama".
Mas em outros momentos, o robô mostrou uma capacidade assustadora de discernir entre um soldado e um civil, e mudar de curso de forma fluida e se voltar para objetos que não pôde identificar rapidamente.
Armado com uma variação do software de reconhecimento humano e facial usado pelas agências de inteligência americanas, o drone rastreou habilmente carros em movimento e encontrou inimigos escondidos ao longo de muros. Ele até mesmo determinou corretamente que um fotógrafo, que estava agachado, com a câmera erguida à altura do olho e apontada para o drone, não representava uma ameaça, uma situação que já confundiu soldados humanos com resultados fatais.
O projeto é da Agência de Projetos de Pesquisa Avançada da Defesa (Darpa, na sigla em inglês), que está desenvolvendo o software necessário para máquinas que podem operar com pequenas unidades de soldados ou fuzileiros como batedores ou em outros papéis.

Diferente dos atuais drones usados pelas Forças Armadas, que exigem alguém em um controle remoto, "este não precisa", disse o major Christopher Orlowski do Exército, um gerente de programa da Darpa. "Ele trabalha com você. É como ter outra cabeça na luta."
Ele também poderia ser facilmente armado. A parte difícil é desenvolver máquinas cujo comportamento seja previsível o bastante para que possam ser usadas com segurança, mas flexíveis o suficiente para que possam lidar com situações que mudam. Assim que isso é conseguido, dizer em quem ou o que atirar é fácil; armas programadas para atingir apenas certos tipos de alvos já existem.
Mas a tecnologia comportamental, se for desenvolvida com sucesso, dificilmente permaneceria exclusivamente em mãos americanas. As tecnologias desenvolvidas pela Darpa costumam não permanecer em segredo e muitas agora são ubíquas, alimentando tudo, de carros que dirigem sozinhos até a internet.
Desde os anos 50, a estratégia militar americana é baseada em vantagens tecnológicas esmagadoras. Um arsenal nuclear superior proporcionou a vantagem americana nos primórdios da Guerra Fria e as munições teleguiadas (as chamadas bombas inteligentes do final do século 20) fizeram o mesmo na década final do conflito.
Essas vantagens agora evaporaram e de todas as novas tecnologias que surgiram nas últimas décadas, como genômica e miniaturização, "a única coisa com maior aplicação ao maior número de missões do Departamento de Defesa é a inteligência artificial e autonomia", disse Work.
O software atual tem suas limitações, entretanto. Os computadores encontram padrões mais rápido do que os seres humanos são capazes. Mas a habilidade de lidar com incerteza e a imprevisibilidade por ora continuam sendo virtudes exclusivamente humanas.
Unir os dois conjuntos complementares de habilidades é a meta do Pentágono com sua guerra de centauro.

Work, 63 anos, propôs o conceito quando liderava um centro de estudos em Washington, o Centro para a Nova Segurança Americana. Sua inspiração, ele disse, não veio das fontes típicas de estratégia militar, como Sun Tzu ou Clausewitz, mas do trabalho de Tyler Cowen, um blogueiro e economista da Universidade George Mason.
Em seu livro de 2013, "Average Is Over" (O mediano acabou, em tradução livre, não lançado no Brasil), Cowen mencionou brevemente como dois jogadores de xadrez humanos medianos, trabalhando com três computadores comuns, conseguiram derrotar tanto campeões humanos de xadrez como supercomputadores jogadores de xadrez.
Isso foi uma revelação para Work. Era possível "usar a habilidade tática do computador para melhorar a habilidade estratégica do ser humano", ele disse.
Work acredita que a lição aprendida no xadrez possa ser aplicada no campo de batalha e prevê forças armadas reforçadas pela inteligência artificial. Computadores brilhantes transformariam comandantes comuns em mestres táticos. Os soldados americanos se tornariam sobre-humanos, combatendo ao lado (ou mesmo dentro) de robôs.
Dos US$ 18 bilhões que o Pentágono está gastando em novas tecnologias, US$ 3 bilhões foram destinados especificamente para "parceria homem-máquina em combate" nos próximos cinco anos. É uma soma relativamente pequena segundo os padrões do Pentágono (seu orçamento anual é de mais de US$ 500 bilhões), mas ainda assim uma aposta significativa em tecnologias e um conceito estratégico que ainda precisa ser provado em batalha.
Ao mesmo tempo, as autoridades do Pentágono dizem que os Estados Unidos dificilmente conseguirão uma vantagem tecnológica absoluta sobre seus concorrentes.
"Muita coisa de inteligência artificial e autonomia está ocorrendo no mundo comercial, de modo que concorrentes de toda espécie conseguirão usar isso de formas que nos surpreenderão", disse Work.
A vantagem americana, ele disse, virá no final da mistura de prodígio tecnológico, pensamento crítico e do poder de tomada de decisão que é priorizada pelas Forças Armadas americanas. As Forças Armadas americanas delegam decisões significativas à sua cadeia de comando, diferente das Forças Armadas chinesas e russas mais centralizadas, apesar disso estar mudando.
"Estamos bastante confiantes de que temos uma vantagem ao iniciarmos a competição", disse Work. "Mas como será com o passar do tempo, aí não vamos fazer quaisquer suposições."
Especialistas fora do Pentágono estão bem menos convencidos de que os Estados Unidos conseguirão manter seu predomínio utilizando inteligência artificial. O setor de defesa não mais move a pesquisa da mesma forma como durante a Guerra Fria, e o Pentágono não tem o monopólio das tecnologias de ponta de aprendizado por máquinas que vem de novas empresas no Vale do Silício, da Europa e da Ásia.
Diferente das tecnologias e materiais necessários para armas nucleares e mísseis teleguiados, inteligência artificial tão poderosa quanto a que o Pentágono deseja usar já está presente na vida cotidiana. A tecnologia militar com frequência está anos atrasada em relação ao que pode ser comprado em uma loja da rede Best Buy.

"Vamos ser honestos, os prestadores de serviços da defesa americana podem realmente estar na vanguarda em algumas coisas e realmente atrasados em outras", disse o major Brian Healy, 38 anos, um piloto de F-35. O F-35, o caça mais novo e mais tecnologicamente avançado dos Estados Unidos, está equipado com um sistema de comando por voz que é bom para mudança de canais de rádio, mas não muito mais que isso.
"Seria ótimo contar com a Apple ou o Google para o desenvolvimento do software", ele acrescentou.
Além das preocupações práticas, o casamento de armas com uma capacidade cada vez maior de automação tem provocado um crescente debate entre acadêmicos legais e eticistas. As questões são numerosas e as respostas contenciosas: será que pode-se confiar força letal a uma máquina? De quem será a culpa se um robô atacar um hospital ou uma escola? Ser morto por uma máquina é uma violação maior da dignidade humana do que se o golpe fatal fosse desferido por um humano?
Uma diretriz do Pentágono diz que as armas autônomas devem empregar "níveis apropriados de julgamento humano". Cientistas e especialistas em direitos humanos dizem que o padrão é amplo demais e pedem que essas armas estejam sujeitas a "controle humano significativo".
Mas será que qualquer padrão se manteria caso os Estados Unidos enfrentassem um adversário com poderio próximo ou igual usando armas plenamente autônomas? Peter Singer, um especialista no futuro da guerra do Nova América, um centro de estudos em Washington, sugeriu que há um paralelo instrutivo na história da guerra submarina.
Assim como as armas autônomas, os submarinos saíram das páginas da ficção científica para a realidade. Durante a Primeira Guerra Mundial, o uso de submarinos pela Alemanha para afundar navios civis sem primeiro assegurar a segurança de tripulantes e passageiros foi visto como bárbaro. A prática rapidamente se tornou conhecida como guerra submarina irrestrita e ajudou a atrair os Estados Unidos para a guerra.
Depois da guerra, os Estados Unidos ajudaram a negociar um tratado internacional que buscava proibir a guerra submarina irrestrita.
Então ocorreu o ataque japonês a Pearl Harbor em 7 de dezembro de 1941. Naquele dia, foi preciso apenas seis horas para as Forças Armadas americanas descartarem décadas de normas éticas e legais e ordenar uma guerra submarina irrestrita contra o Japão. Os submarinos americanos provocaram uma devastação na frota mercante civil do Japão durante a Segunda Guerra Mundial, em uma campanha que posteriormente foi reconhecida como equivalente a um crime de guerra.
"O ponto é, o que acontece assim que os submarinos não são mais a nova tecnologia e estamos perdendo?" disse Singer. Ele acrescentou: "Pense nos robôs, nas coisas que dizemos agora que não faríamos, em um tipo diferente de guerra".
Tradutor: George El Khouri Andolfato
UOL/montedo.com