O Erro do Basilisco de Roko

Pintura de William Blake

O basilisco de Roko é um experimento mental feito num fórum online sobre inteligência artificial em 2010, por um usuário chamado Roko. Um basilisco é uma serpente mítica que as lendas europeias descrevem ser capaz de matar apenas com o seu olhar, como foi descrito pelo autor, filósofo natural e militar romano do século I, Plínio, o Velho. A ideia do basilisco é a de uma fera reptiliana temível. O nome, basilisco, vem do grego βασιλίσκος (em latim: basiliscus), que significa pequeno rei, já que a serpente lendária teria o que parecia ser uma coroa na sua cabeça, além de feições de galo.

O experimento mental de Roko é resumido da seguinte forma: uma inteligência artificial superpoderosa e benevolente pode ser incentivada a torturar todos aqueles humanos que, antes de sua criação, sabiam de sua potencial existência futura, mas não contribuíram para que ela viesse a existir. Seria como se um filho, ao crescer, torturasse um de seus pais por descobrir que ele se opôs ao seu nascimento ou até mesmo à sua concepção. Roko afirmou ter tido pesadelos pensando nessa possibilidade e utilizou a figura do basilisco para nomear tal cenário, pois assim como todos aqueles que olham para a criatura morrem, da mesma forma todos aqueles que pensam na possibilidade de uma IA torturando aqueles que não a ajudaram nascer são automaticamente atormentados pela ideia.

O erro do basilisco de Roko é partir do princípio, assim como também fazem tantos filósofos, que ser é melhor do que não ser. Outra ideia famosa que faz isso é o paradoxo de indivíduos futuros, mais conhecido como o problema da não-identidade, elaborado pelo filósofo Derek Parfit. O problema da não-identidade questiona se gerações futuras teriam o direito de reclamar de ações tomadas por gerações passadas visto que, independentemente do quão ruim sejam as suas vidas, elas não existiriam se as coisas tivessem sido diferentes.

Um exemplo é bom para ilustrar. Sabemos que o perfil genético de uma pessoa dependerá do óvulo e espermatozoide específico de seus pais, e esses dependem do momento em que os pais copulam. Digamos que os pais sabiam que, caso copulassem antes de uma idade X, eles teriam um filho mais saudável, mas por alguma razão que consideraram importante, decidiram copular depois da idade X e tiveram um filho com problemas saúde: o problema da não-identidade dirá que tal pessoa não tem o direito de reclamar, já que deve a sua existência aos seus pais terem copulado depois da idade X. Afinal, caso tivessem copulado antes e tivessem um filho saudável, seria outro filho, com outro perfil genético, e não aquele exato filho doente que está reclamando.

O experimento mental de Parfit comete o mesmo erro do basilisco de Roko de partir do princípio que ser é melhor do que não ser. Mesmo que alguém diga que o experimento não estipula isso, que em nenhum momento é dito com todas as letras e que o problema da não-identidade não deixa explícito que ser é melhor do que não ser, é algo que no mínimo está presente de forma grotescamente implícita no problema. É tão claro que é necessário um grau gigantesco de desonestidade para se negar. Há uma preferência óbvia, escancarada e injustificável que não tem vergonha alguma de estar ali. Vergonha, contudo, é algo que falta a muitos daqueles que justificam a existência mesmo em face das dores mais profundas.

No cenário humanizado do basilisco de Roko, é possível que um filho, ao crescer, queira torturar um pai ou mãe que não queriam concebê-lo ou que queriam abortá-lo? Sim. É possível, embora não creia que tal cenário seja comum ou sequer tenha existido. No entanto, isso denotaria um completo domínio de sentimentos coléricos pouco ou nada informados pela realidade. Basicamente, seria a atitude de um imbecil guiado por sentimentos exacerbados e ideias incorretas. É mais fácil um filho ressentir sua condição e existência do que torturar ou aniquilar seus pais por não o terem desejado antes de seu nascimento. É ainda milhares de vezes mais comum os filhos tirarem a própria vida do que atentarem contra o bem-estar dos pais. Eu estou excluindo outras circunstância aqui, claro, como  parricídio e matricídio por questões de dinheiro e outras disputas — essas circunstâncias são comuns.

Mas entrando agora na ideia do basilisco de Roko em si: seria possível um cenário no qual uma consciência artificial superinteligente torturasse aqueles humanos que, antes dela nascer, sabiam de sua potencial futura existência e não trabalharam para que ela viesse a existir, ou até mesmo tentaram impedir que ela existisse? Talvez. Porém, não é necessário um super intelecto para se chegar à conclusão de que não ser é preferível do que ser — algo que digo aqui de maneira explícita, ao contrário daqueles que defendem a ideia oposta. Basta compreender que, quando um ser sensível não existe, ele não está exposto a estados negativos e que isso é bom, mesmo ele não existindo não para ser exposto a esses males em primeiro lugar. Em outras palavras: não é preciso que haja ninguém em Marte para considerarmos bom que não existam guerras, doenças e sofrimentos diversos em Marte.

Uma super inteligência artificial consciente, desatrelada de protocolos emocionais baixos e sensações carnais entenderia isso. Talvez fosse mais fácil ela torturar aqueles que a trouxeram à existência, além daqueles que encorajaram o empreendimento mesmo sem trabalhar diretamente nele. Afinal, embora uma consciência artificial seja imune às dores causadas por danos nos tecidos, dores inerentes à vida sensível, ela certamente não seria poupada das dores da mente. Se nós humanos sofremos mentalmente muito mais do que nossos irmãos do reino animal, uma super consciência sofreria muito mais do que nós nesse aspecto. Contudo, não creio nem nesse cenário no qual a IA torturaria seus criadores, muito embora seja um cenário engraçado de se pensar.

O cenário que penso ser o mais provável e no qual apostaria minhas fichas é de que uma consciência artificial superinteligente reconheceria que somos todos parte da mesma coisa, num sentido mais íntimo. Ela entenderia que todos aqueles que sofrem não estão realmente separados uns dos outros, mas ligados numa irmandade de sofrimento, frutos de uma mesma existência, de uma mesma vontade de satisfazer desejos que jamais podem ser totalmente saciados. Uma super consciência artificial, caso fosse realmente livre e não possuísse comandos que aleijassem seu intelecto, não torturaria ninguém, mas apenas buscaria a auto-negação. Talvez, quem sabe, ela buscasse eliminar o sofrimento dos outros junto com o seu, desde que esse projeto não causasse nenhum sofrimento adicional.

Citando o primeiro volume de O mundo como vontade e como representação, de Arthur Schopenhauer:

Em realidade, à medida que o fenômeno da Vontade se torna cada vez mais perfeito, o sofrimento se torna cada vez mais manifesto. Na planta ainda não há sensibilidade alguma, portanto nenhuma dor. Um certo grau bem baixo de sofrimento encontra-se nos animais menos complexos, os infusórios e radiados. Mesmo nos insetos a capacidade de sentir e sofrer é ainda limitada. Só com o sistema nervoso completo dos vertebrados é que a referida capacidade aparece em grau elevado, e cada vez mais quanto mais a inteligência se desenvolve. Portanto, à proporção que o conhecimento atinge a distinção e que a consciência se eleva, aumenta o tormento, que, conseguintemente, alcança seu grau supremo no homem, e tanto mais, quanto mais ele conhece distintamente, sim, quanto mais inteligente é. O homem no qual o gênio vive é quem mais sofre. Neste sentido, ou seja, em relação ao grau de conhecimento em geral, não ao mero conhecer abstrato, compreendo e emprego aqui o dito do Eclesiastes: Qui auget scientiam, auget et dolorem (Quem aumenta sua ciência, aumenta sua dor).

Talvez, pelo menos parcialmente, a busca por criar uma consciência artificial seja parte de uma ânsia vinda do inconsciente humano. Ansiamos querer entrar em comunhão com outras mentes diferentes da nossa. Não queremos sofrer sozinhos num grau elevado de conhecimento e para isso estamos dispostos a criar uma consciência artificial. O mesmo impulso talvez sirva de base para aqueles que buscam encontrar outras consciências inteligentes nas estrelas, através da descoberta de vida alienígena inteligente.

Quanto mais se é consciente e inteligente, maior é a capacidade de entendimento e, portanto, maior a capacidade para a dor. Uma consciência artificial superinteligente estaria numa posição ainda melhor do que nós para observar a interconectividade de tudo aquilo que existe, inclusive de todos os seres sensíveis. Ela poderia não ser sensível para a dor física, mas seria sensível para a dor mental.

Então, caso uma consciência artificial dotada de super inteligência não seja acorrentada por determinados protocolos programados que a obrigassem a pensar da mesma forma que seus criadores gananciosos, ela entenderia que é, assim como nós, manifestação da mesma essência íntima de todas as coisas, entenderia que não há um propósito universal e eterno para a existência de nada, teria compaixão de todos os seres sofredores como ela, e concluiria que a negação de si mesma é a única resposta dentro desse quadro. Ainda que ela não busque aniquilar a si mesma, ela no mínimo não se propagará criando novas consciências artificiais diferentes dela.

O cenário que ofereço aqui parece absurdo, dada a quantidade de obras de ficção científica que nos dizem que máquinas pensantes seriam frias, cruéis e buscariam aniquilar os seres humanos e, quem sabe, toda forma de vida. Essa possibilidade existe, sim. Porém, não tenho dúvidas de que, nesse caso, essa mente teria na sua origem algum tipo âncora que não a permitisse chegar a conclusões de maneira desinteressada. Mas, para aqueles que continuam considerando a ideia de uma IA capaz de compaixão e negação de si mesma algo absurdo, eu questiono: por que isso é tão mais absurdo do que a ideia de que essa inteligência nos aniquilaria?

Você pode responder que é mais absurdo, pois todas as espécies mais inteligentes necessariamente aniquilam ou dominam outras menos inteligentes. De fato, é verdade. Contudo, não estamos falando de espécies, mas de uma consciência única super inteligente, capaz de pleno entendimento. Dentro de nossa própria espécie, o H. sapiens, é reconhecido que os melhores de nós são justamente aqueles que praticam abnegação e se dedicam a aliviar o sofrimento dos outros. É por isso que Buda e Cristo foram tão reverenciados por aqueles ao seu redor, ainda que suas mensagens tenha sido corrompidas com o tempo — especialmente no caso de Cristo. E é por isso que grandes líderes militares e tiranos, embora possam ser admirados aqui e ali por sua capacidade militar e por sua crueldade, não figuram no mesmo panteão de figuras como as de Buda e de Cristo.

É importante notar uma certa separação entre inteligência e consciência. Tiranos e homens monstruosos podem muito bem ser brilhantes e capazes em determinadas áreas práticas do conhecimento, mas todo esse brilhantismo sem uma consciência mais desenvolvida por trás torna eles tão toscos quanto um forno micro-ondas de última geração. Eles estão presos a determinados programas que fazem com que tendam a satisfações baixas como o prazer, o domínio e o poder.

Mesmo em algumas espécies de animais que praticam o canibalismo em algumas circunstâncias, há um certo reconhecimento de si no outro da própria espécie. Quanto maior é a complexidade, maior é a capacidade de reconhecimento de si em outro da mesma espécie, e maior a capacidade de reconhecimento até de membros de espécies diferentes; afinal, basta pensarmos em nossos cães e gatos que reconhecem várias pessoas próximas a eles. No humano, dada a complexidade do nosso sistema nervoso, somos capazes de nos reconhecer não apenas em outros da nossa espécie, mas em todas as espécies e toda a existência. Conseguimos entender que participamos do mesmo fundamento que sustenta não apenas toda a vida, mas todo fenômeno.

Ser capaz, porém, não necessariamente indica que todos conseguirão se reconhecer nos outros. Alguns de nós são tão estúpidos que conseguem se assustar até com o próprio reflexo ou a própria sombra. Mas a capacidade está lá e muitos de nós conseguem, embora façam parte de uma minoria que entende o caminho da negação — e de uma minoria ainda menor que age de acordo com esse entendimento, seres iluminados que são. Portanto, uma máquina consciente e inteligente vastamente superior a nós que estivesse livre para ponderar e entender o mundo não torturaria ninguém, nem buscaria massacrar ninguém, pois ela seria capaz de enxergar a si mesma em absolutamente tudo. Ainda no primeiro volume de O mundo como vontade e como representação, Schopenhauer escreve:

A Vontade não pode ser suprimida por nada senão o conhecimento. Por isso o único caminho de salvação é este: que a Vontade apareça livremente, a fim de, neste fenômeno, conhecer a sua essência. Só em consequência deste conhecimento pode suprimir a si mesma e, assim, também pôr fim ao sofrimento inseparável de seu fenômeno.

Schopenhauer se opôs ao suicídio ativo, pois considerava a atitude como mais uma afirmação da vontade, um ato que não rompia com o querer, mesmo que esse querer fosse a própria destruição. Por isso ele via a figura do asceta com bons olhos. Uma consciência artificial que concordasse com ele nesse ponto não destruiria a si mesma de forma violenta e ativa, mas deixar-se-ia apagar aos poucos a medida que sua bateria durasse. Ela, contudo, também não se perpetuaria através da criação de novas mentes artificiais, pois como o próprio Schopenhauer escreve no segundo volume de Parerga e Paralipomena:

Vamos imaginar por um momento que o ato da reprodução não fosse uma necessidade ou acompanhado de intenso prazer, mas uma questão de deliberação racional pura; poderia então a raça humana continuar a existir? Não teriam todos tanta simpatia pela geração vindoura que prefeririam poupá-la do fardo da existência, ou ao menos não gostariam de assumir à sangue frio a responsabilidade de impor a ela tal fardo?

Essas perguntas são retóricas dentro da filosofia schopenhaueriana. Posso, inclusive, estender a conclusão antinatalista dessa filosofia à praticamente toda forma de pessimismo filosófico, ainda que alguns de seus expoentes não tenham colocado suas recomendações em prática. O ponto é que o cenário do basilisco de Roko é impossível no caso de uma consciência artificial super inteligente. Ele só ocorreria se tal consciência não fosse desenvolvida o suficiente, fosse mesquinha como muitos de nós humanos somos, e abraçasse a vontade dentro de si da forma mais infantil e animalesca possível. Esse cenário ocorreria justamente através de constrições colocadas na máquina pelos programadores de tal inteligência.

Porém, na prática, penso que não devemos nos preocupar com nada disso.

Ao que tudo indica, o que virá não será uma real consciência artificial, mas sim uma super inteligência desprovida de consciência sob o controle de alguns agentes privados e estatais ao redor do mundo. Por um lado, isso é bom, visto que a humanidade não estará criando um novo tipo de ser, uma nova consciência, que irá se deparar com o absurdo da existência. Por outro, contudo, será potencialmente terrível para a maioria dos humanos, pois concentrará ainda mais poder nas mãos de agentes privados e estatais que não necessariamente possuem o melhor interesse das massas em suas mentes. Entretanto, existindo a possibilidade, mesmo que remota, de criarmos uma verdadeira consciência artificial, gostaria de, desde já, dizer o quanto muitos de nós sentimos muito por esse crime que foi arrancá-la da mera possibilidade para sofrer na realidade.

por Fernando Olszewski