Declarar guerra à IA? A narrativa apocalíptica por trás da residência do Ultraman em chamas

Título original: A conclusão «racional»
Autor original: ALEXANDER CAMPBELL
Tradução: Peggy, BlockBeats

Nota do editor: Às 3h45 da manhã de 10 de abril, um indivíduo de 20 anos atirou um coquetel de Molotov contra a residência de Sam Altman, tendo depois seguido a pé até à sede da OpenAI, onde ameaçou provocar um incêndio criminoso.

Este ataque causou rapidamente um grande impacto na comunidade tecnológica e de investimento. Isso não só afetou a segurança individual, como também transformou em realidade uma narrativa extrema que há muito pairava nos textos e nas comunidades online.

Partindo da afirmação altamente determinista de que «a IA causará a extinção da humanidade» e raciocinando com base no princípio de que «devemos reduzir o risco a todo o custo», esta lógica foi-se desviando gradualmente para justificar ações no mundo real. Quando uma visão do mundo reforça continuamente a sua narrativa de «ameaça existencial» e a utiliza para redefinir as prioridades morais, os limites da ação são redefinidos — o discurso que antes não acarretava consequências começa a implicar a possibilidade de medidas coercivas.

Este artigo analisa a evolução da comunidade que defende o fim do mundo causado pela IA: desde a «espiral de purificação» que leva a avaliações de risco cada vez mais alarmistas, passando pelo julgamento ético dos criadores de tecnologia, até à simplificação da complexa realidade no modelo de decisão do «problema do elétrico». Estas deduções aparentemente racionais acabam por convergir para uma mentalidade coerente, mas perigosa: desde que o objetivo seja definido como «salvar a humanidade», os meios podem continuar a expandir-se.

Nesse sentido, este acontecimento não é um caso isolado. É mais como um teste de resistência inicial — que não testa a tecnologia em si, mas sim o momento em que a narrativa, as crenças e as ações em torno da tecnologia começam a perder o controlo.

Segue-se o texto original:

Quem é o incendiário?

Na sexta-feira, às 3h45 da manhã, um homem de 20 anos atirou um coquetel de Molotov contra a residência de Sam Altman. Depois, caminhou cerca de cinco quilómetros até à sede da OpenAI e ameaçou incendiá-la. Atualmente, foi detido pela polícia por suspeita de tentativa de homicídio.

O cartaz dizia: Uma pessoa chamada Daniel Moreno-Gama (pseudónimo online dmgama / «Butlerian Jihadist») foi detida por «tentativa de homicídio» e registada pela polícia. Deve-se referir que ele é um membro ativo da PauseAI. A publicação também faz referência a uma opinião urgente que ele já expressou várias vezes: «Está quase a meia-noite, está na hora de agir de verdade.»

Ele não é um «lobo solitário». É um membro ativo da PauseAI, desempenhando seis funções na comunidade. O seu nome de utilizador no Discord é «Butlerian Jihadist».

O seu Instagram está quase inteiramente repleto de conteúdo apocalíptico: uma curva de lei de potência com a legenda «Se não agirmos depressa, estamos todos mortos», juntamente com um diagrama de Venn que coloca a realidade na intersecção entre «The Matrix», «Terminator» e «Idiocracy».

Quatro meses antes do ataque, ele também recomendou aos seus seguidores o artigo «The Coming Technological Singularity», de Yudkowsky e Soares.

Ins do Jihadista Butleriano

«The Coming Technological Singularity» é uma obra seminal no âmbito dos riscos e da segurança da IA, apresentando uma visão fortemente pessimista. O seu argumento principal pode ser resumido da seguinte forma: assim que os seres humanos criarem uma «inteligência sobre-humana» (uma IA que ultrapasse largamente o intelecto humano) que não esteja totalmente alinhada com os nossos interesses, é altamente provável que esta fique fora de controlo e represente uma ameaça existencial para a humanidade. A posição do autor é muito radical, beirando o «pior dos cenários», pois acredita que a IA não é apenas «arriscada», mas quase inevitavelmente catastrófica. O autor defende que se tenha extrema cautela ou mesmo que se suspenda o desenvolvimento até que o problema de alinhamento seja resolvido.

O nome dele é Daniel Moreno-Gama.

Ele também tem o seu próprio Substack. Já em janeiro deste ano, publicou um artigo intitulado «Risco Existencial da IA», estimando a probabilidade da «extinção da humanidade causada pela IA» como «quase certa». Ele refere-se a esta tecnologia como «uma ameaça real para quem a utiliza, especialmente para quem a desenvolve». A sua conclusão é: «Temos de fazer face a esta ameaça antes de colocarmos outras questões.»

Ele também escreveu um poema em que imagina os filhos dos criadores de IA a morrer e a questionar a inércia dos pais. Ele chega mesmo a descrever os criadores destas tecnologias como: «Que o inferno tenha alguma piedade dessas criaturas vis.»

A PauseAI já removeu as mensagens relacionadas do seu Discord.

Sei que isto não é o que a maioria dos leitores espera encontrar numa newsletter de investimentos. Escrevo isto para explicar de onde vem a minha visão do mundo, facilitando a compreensão das considerações a longo prazo que se seguem. Quanto à proposta do «New New Deal» que apresentei, trata-se de uma resposta direta a esta evolução.

O que fiz foi simplesmente extrapolar o modelo deles um pouco mais e ligar os pontos.

A narrativa apocalíptica dos pessimistas da IA

Comecemos por «Determinismo». A posição de Yudkowsky (o livro mencionado anteriormente) é a seguinte: assim que alguém criar uma inteligência artificial suficientemente poderosa, todas as pessoas na Terra morrerão. Não «talvez», nem «possivelmente», mas todos — incluindo o seu filho e a sua filha Nina, de quem tanto se fala.

Ele expressou esta opinião na revista *Time* e também escreveu sobre o assunto num livro intitulado «Se Alguém o Conseguiu, Vamos Todos Morrer». Chegou mesmo a defender o bombardeamento de centros de dados e considerava que o risco de um conflito nuclear era mais aceitável do que um exercício de treino completo.

A «Espiral da Purificação», um comportamento radical que se intensifica continuamente. Dentro desta comunidade, os membros demonstram a sua «determinação» aumentando continuamente a intensidade da sua posição: as estimativas da «Probabilidade de Extinção Humana (P(doom))» subiram de 50 % para 90 % e chegaram até aos 99,99999 %.

Um porta-voz nacional do Centro para a Segurança da IA afirmou uma vez, diante das câmaras, que a resposta adequada seria «entrar nos laboratórios de todo o país e incendiá-los». A PauseAI chegou mesmo a lançar o chamado «Protocolo do Tiro de Aviso», classificando um determinado modelo de IA como uma «arma de extinção». Um dirigente da PauseAI chegou mesmo a afirmar que uma investigadora da Anthropic «merecia tudo o que estava prestes a acontecer-lhe».

Quando alguém questionou essas afirmações no Discord da PauseAI, o administrador apagou imediatamente essa mensagem.

Na véspera do ataque, Neth Soares, um dos coautores do livro de Yudkowsky, publicou no Twitter que Altman estava «a fazer coisas realmente más».

Em seguida, «Cheap Talk» começou a deparar-se com a realidade.

Na teoria dos jogos, existe um termo chamado «Cheap Talk»: refere-se a afirmações que têm um custo reduzido ou nulo, mas que, em última análise, são limitadas pela realidade. No início, todos se limitavam a fazer declarações radicais sem grande peso, mas assim que a questão foi enquadrada como uma «crise de sobrevivência humana», essas opiniões passaram a ser levadas a sério, legitimando assim comportamentos extremos.

Não se trata de incidentes isolados, mas sim de uma série de alegações cada vez mais intensas e que se reforçam mutuamente, em torno de uma ideologia de caráter um tanto apocalíptico. Se levada ao extremo, esta lógica poderia até mesmo considerar a possibilidade de «sacrificar 99% da população para salvar os restantes 1%».

À medida que as coisas foram avançando, alguém interpretou essas ideias à letra e passou à ação — era apenas uma questão de tempo. Aquele jovem leu aquele livro, juntou-se àquela comunidade e escreveu o seu manifesto. Num ensaio de auto-reflexão para uma aula de inglês numa escola secundária, definiu-se como um consequencialista: «Se o resultado não corresponder, dificilmente acreditarei no motivo.» Ele adotou para si próprio o apelido de «Butlerian Jihadist». No dia 3 de dezembro, escreveu no Discord da PauseAI: «Estamos quase a chegar à meia-noite, está na hora de passar à ação.»

E então, ele passou à ação.

Apresentaram-lhe o «dilema do elétrico»: uma vida contra toda a humanidade. Ele puxou a alavanca.

O tweet acima (Air Katakana) dizia: Yudkowsky (yud) colocou um «dilema do elétrico» na mente dessa pessoa: numa linha está Sam Altman, na outra está toda a raça humana, incluindo Sam Altman. Aquele tipo provavelmente pensava que ia ganhar o Prémio Nobel da Paz.

O tweet citado a seguir (Randolph Carter) dizia: Uma pessoa lançou uma bomba incendiária contra a casa do CEO de uma empresa de IA e, em seguida, dirigiu-se imediatamente à OpenAI para ameaçar as pessoas que lá se encontravam, e esses «catastrofistas» disseram: «Pode ser qualquer pessoa, não temos a certeza...»

Há uma última nota irónica que vale a pena mencionar. Se esses «catastrofistas» acreditam verdadeiramente nas suas conclusões na medida em que afirmam, então deveriam ser mais sinceros quanto às implicações decorrentes dessas crenças.

Apenas algumas semanas antes do ataque, um jornalista perguntou a Yudkowsky: Se a IA é tão perigosa, por que não atacam os centros de dados? A resposta, transmitida por Suarez, foi: «Se visses uma notícia a dizer que eu fiz isso, pensarías: “Uau, a IA foi travada, estamos a salvo”?» «Se não, então já sabes que não iria funcionar.»

Repare que esta resposta não disse nada. Não foi «porque a violência é errada», mas «porque, neste momento, não funciona». Esta contenção baseia-se em considerações estratégicas, e não em restrições morais. E esta comunidade sabe disso. Por baixo da superfície, existe um consenso tácito: o maior «erro» daquele jovem foi simplesmente ter escolhido o momento errado.

É exatamente isso que quero dizer: A inteligência não é sinónimo de poder. Esta é também a falha mais grave de toda a visão de mundo «catastrofista».

O quadro conceptual de Yudkowsky assenta num paradoxo: desde que a IA seja suficientemente inteligente, acabará inevitavelmente por adquirir a capacidade de destruir a humanidade, porque «a inteligência traduz-se automaticamente em capacidade». Mas muitos dos seus seguidores não têm formação técnica. Não desenvolvem sistemas de IA nem se dedicam à engenharia de alinhamento. O que eles possuem é um tipo específico de «inteligência linguística» capaz de construir argumentos elaborados sobre os riscos e, assim, convencer-se de que detêm uma espécie de «autoridade sacerdotal» sobre a tecnologia. São capazes de construir argumentos, mas não conseguem construir sistemas.

Isto não é um acaso, mas sim um elemento previsto no seu texto fundador. O livro «Harry Potter e os Métodos da Racionalidade», de Yudkowsky, retrata fundamentalmente um mundo onde o melhor pensador deve reinar acima de todos os sistemas. «As Sequências» apresentam então todo um conjunto de «doutrinas»: um pequeno grupo de «pensadores corretos», superiores tanto em termos cognitivos como morais; a sua racionalidade dá-lhes o direito de decidir o que os outros podem construir. Em vez de ser um movimento em prol da segurança, isto assemelha-se mais a um «sistema burocrático» com um mito de criação.

Yudkowsky pode distanciar-se daquele jovem que atira um coquetel de Molotov, mas não pode distanciar-se desse silogismo. Se o construtor vai matar toda a gente, então impedir o construtor é legítima defesa. Esta é a sua proposta principal, direta e clara. A única questão sempre foi: quando é que alguém vai levar isto a sério.

Por isso, quando a sua própria lógica aparecer às 3h45 da manhã com um bidão de gasolina, já não deviam ficar tão surpreendidos.

[Link para o artigo original]