Scénarios gris Goo et Comment les éviter

Jayar LaFontaine —DIVERS Magazine

La perspective de voir des nanobots auto-répliquants dévorer la Terre est effrayante, en effet. Mais comme l’explique Jayar LaFontaine, stratège prospective d’Idea Couture, il y a des choses pratiques que nous pouvons faire pour éviter que de tels cauchemars ne se produisent.

Vidéo récente

Ce navigateur ne prend pas en charge l’élément vidéo.

Dans une conférence donnée en 1948, le mathématicien John Von Neumann a décrit pour la première fois le potentiel des machines à se construire des copies parfaites d’elles-mêmes en utilisant des matériaux provenant du monde qui les entoure. Presque immédiatement, les gens ont commencé à s’inquiéter de ce qui pourrait arriver s’ils ne s’arrêtaient jamais. Écrivant des décennies plus tard sur la science de la nanotechnologie moléculaire – en d’autres termes, des machines artificielles microscopiques – Eric Drexler a donné un nom à cette inquiétude: Grey Goo.

Un scénario de Goo gris fonctionne comme ceci: Imaginez un morceau de nanotechnologie auto-réplicante fabriqué pour une raison purement bienveillante. Disons, un micro-organisme conçu pour nettoyer les nappes de pétrole en les consommant et en sécrétant des sous-produits bénins. Jusqu’ici, tout va bien. Sauf que l’organisme n’arrive pas à faire la distinction entre les atomes de carbone de la nappe de pétrole et les atomes de carbone de la végétation marine, de la faune océanique et des êtres humains qui l’entourent. Quelques milliers de générations – peut-être pas très longtemps dans le cycle de vie de notre micro–organisme imaginé – et tout ce qui contient sur Terre, même un grain de carbone, a été transformé en un sous-produit bénin, gris et gluant de son processus digestif.

Oups.

Une leçon de morale importante

Dans les processus de Goo gris, les enjeux sont élevés et la menace de ruine est toujours imminente, c’est pourquoi ils permettent de déchirer de bons fils de science-fiction. Mais les histoires de Goo gris portent également une leçon morale importante: une seule stratégie – ou processus, ou idée – conçue avec une bonne intention mais appliquée sans discernement, ou maladroitement, peut entraîner des conséquences catastrophiques négatives qui sont pratiquement imparables. Et bien que les événements de Goo gris semblent exotiques, une fois que nous avons mis de côté le discours sur la nanotechnologie en fuite, nous pouvons commencer à voir les ingrédients de ces événements dans notre monde quotidien. Parmi eux se trouvent des agents idéalistes aux connaissances imparfaites, des stratégies mal pensées et un milieu fertile pour propager l’erreur, ainsi que des effets en cascade systémiques et auto-renforçants.

Aucun domaine de la vie humaine n’est imperméable au risque de processus de Goo gris, mais certains sont de meilleurs médiums que d’autres. Une règle générale est que plus un domaine est grand, complexe et interconnecté, plus il est sensible au Goo gris. Peu de domaines correspondent mieux à cette description que les écosystèmes biologiques: Une leçon que les humains ont dû apprendre et réapprendre à maintes reprises au cours des cent dernières années, au cours desquelles nous avons essayé d’introduire des espèces dans des écosystèmes étrangers avec des résultats souvent désastreux.

L’introduction des crapauds de canne en Australie est un exemple emblématique de notre incapacité à prévoir les risques évidents des processus de Goo gris. Après que les méthodes conventionnelles de lutte antiparasitaire n’aient pas réussi à réduire la population de coléoptères qui endommageaient les cultures de canne à sucre, en 1935, le Bureau of Sugar Experiment Stations a importé des crapauds de canne d’Hawaï et les a relâchés dans la nature dans l’espoir qu’ils s’attaqueraient aux insectes. Depuis leur libération, les crapauds de canne se sont rapidement multipliés et se sont répandus dans le nord-ouest de l’Australie. Selon les estimations actuelles, leur nombre dépasse les 200 millions et ils sont responsables de la propagation de maladies qui ont un impact négatif sur la faune locale. Une dernière indignité: Les crapauds semblent n’avoir eu aucun impact réel sur les populations de coléoptères qu’ils étaient censés réduire.

Un autre domaine qui regorge de potentiel pour les processus de Goo gris est le monde de la finance. Les suites de la crise financière de 2008 la désignent souvent, dans le langage du spécialiste des risques Nassim Taleb, comme un événement du Cygne noir: une série d’événements extrêmement rares mais très impactants qui ne sont évidents qu’avec le recul. Rare et percutant, oui – mais pas à proprement parler au-delà de nos pouvoirs prédictifs. Au cœur de la pratique des prêts à taux préférentiels: une sorte de processus grisonnant construit autour du mélange enivrant de la bonne volonté et des intentions justes de propager l’accession à la propriété, un environnement de crédit qui a permis le déploiement et la réplication faciles des prêts à haut risque, et une accumulation toxique d’un sous-produit, dette non remboursable.

Taleb lui-même s’est récemment concentré sur une discussion sur les processus de type Goo gris, en particulier dans la mesure où ils s’appliquent à la science des organismes génétiquement modifiés actuels. Taleb estime que les risques inhérents à la création et à la distribution d’organismes génétiquement modifiés ne sont pas bien compris ou appréciés par les chercheurs dans le domaine, qui sont généralement formés aux sciences biologiques, et non aux statistiques ou à l’analyse des risques. Ils sont donc aptes à déployer des stratégies décisionnelles traditionnelles axées sur l’atténuation du risque de préjudice, alors qu’en fait ils devraient fonder leurs décisions sur le risque de ruine totale et irréversible.

L’un des effets clés de la mondialisation et de l’interconnexion permise par les technologies de l’information est que tous les systèmes humains deviennent de plus en plus complexes, et donc de plus en plus sensibles aux effets de grisaille que nous remarquons dans le domaine des écosystèmes biologiques. Outre le potentiel de frappes mortelles d’astéroïdes, de sursauts gamma et d’éruptions de super–volcans, le Future of Humanity Institute de l’Université d’Oxford – un groupe de réflexion dédié à l’évaluation des risques susceptibles de mettre fin à la vie humaine sur Terre – répertorie parmi ses principaux domaines de recherche des efforts dirigés par l’homme tels que l’intelligence artificielle, le changement climatique anthropique et la nanotechnologie moléculaire. La menace de Goo gris et le risque de ruine, semble-t-il, sont à la hausse. Reste à savoir si nous sommes à la hauteur du défi d’ajuster notre façon de penser le risque et de réfléchir à fond à l’impact de nos choix sur notre monde de plus en plus complexe.

Éviter les scénarios de Goo gris

Laissez votre esprit envisager le pire résultat possible. Êtes-vous fondamentalement aux prises avec le risque de préjudice – en deçà des résultats trimestriels, par exemple, ou le risque de ruine – tel que la destruction du capital de votre marque ou de la bonne volonté des consommateurs?

Ne laissez pas la justice obscurcir votre jugement. Agir de bonne foi et avoir des objectifs bienveillants ne suffit pas. Aucune entreprise pharmaceutique n’a jamais entrepris de concevoir un médicament qui tue ses clients. Comme l’a écrit John Milton : « La descente aux Enfers est facile, car elle est pavée de bonnes intentions. »

Soyez honnête avec vous-même sur le peu de contrôle que vous avez. Une fois que vous avez mis les roues en mouvement, est-il facile d’appliquer un mécanisme de freinage, en supposant que vous en ayez un? Et si vous n’en avez pas, ne pensez-vous pas qu’il serait prudent de le faire, au cas où?

N’utilisez pas de marteau pour faire le travail d’un tournevis. Concevoir une multitude d’outils et de processus pour relever différents défis demande plus d’efforts, mais cela minimise la probabilité que vous finissiez par causer un préjudice irréparable en essayant d’être opportun.

Les jardins clos sont bons. Utilisez-les. Si le Bureau of Sugar Experiment Stations avait introduit des crapauds de canne dans un enclos sécurisé pour tester leur adaptation à l’environnement australien avant de les libérer dans la nature, peut-être que le continent ne serait pas envahi par les espèces odieuses.

Tel que représenté dans la Science-Fiction

Le berceau du chat, Kurt Vonnegut

Vonnegut a imaginé un polymorphe d’eau appelé Ice-Nine qui convertirait immédiatement toute l’eau avec laquelle il entrait en contact en une formation de glace super stable. Développé à l’origine pour aider les troupes militaires à marcher sur un terrain boueux, le polymorphe finit par convertir toute l’eau de la Terre en Glace-Neuf, créant un hiver éternel.

Star Trek

Dans l’univers de Star Trek, une race de créatures cybernétiques rapaces, ressemblant à des zombies, appelées les Borg transforment toute forme de vie qu’elles rencontrent en plus de Borg en leur injectant des nanorobes microscopiques. Leurs intentions sont, de leur point de vue, bienveillantes: élever les cultures primitives dans le Borg afin qu’elles puissent rejoindre leur quête pour « atteindre la perfection. »Le résultat, cependant, est une forme horrible de collectivisme technologique qui submerge complètement l’individu et en fait un agent de terreur indicible.

Jayar La Fontaine est stratège prospective senior chez Idea Couture. Il est basé à Toronto, au Canada.

Cet article est initialement paru dans le numéro MISC 2015: The Creative Process et est republié à io9 avec autorisation.

Image du haut: Le Jour Où la Terre s’Est immobilisée