Grau Goo Szenarien und wie man sie vermeidet

Die Aussicht, dass sich selbst replizierende Nanobots die Erde verschlingen, ist in der Tat beängstigend. Aber wie der Idea Couture Foresight-Stratege Jayar LaFontaine erklärt, gibt es einige praktische Dinge, die wir tun können, um solche Albträume zu verhindern.

In einem Vortrag im Jahr 1948 beschrieb der Mathematiker John Von Neumann erstmals das Potenzial von Maschinen, perfekte Kopien von sich selbst zu erstellen, indem sie Material aus der Welt um sie herum verwenden. Fast sofort machten sich die Leute Sorgen darüber, was passieren könnte, wenn sie nie aufhören würden. Jahrzehnte später schrieb Eric Drexler über die Wissenschaft der molekularen Nanotechnologie – mit anderen Worten mikroskopisch kleine künstliche Maschinen – und gab dieser Sorge einen Namen: Gray Goo.Ein graues Schmiere-Szenario funktioniert ungefähr so: Stellen Sie sich ein Stück selbstreplizierender Nanotechnologie vor, das aus einem rein wohlwollenden Grund hergestellt wurde. Sagen wir, ein Mikroorganismus, der entwickelt wurde, um Ölteppiche zu beseitigen, indem er sie konsumiert und ein gutartiges Nebenprodukt absondert. So weit, so gut. Außer dass der Organismus nicht so gut zwischen den Kohlenstoffatomen im Ölteppich und den Kohlenstoffatomen in der Meeresvegetation, der Meeresfauna und den Menschen um ihn herum unterscheiden kann. Flash vorwärts ein paar tausend Generationen – vielleicht nicht eine sehr lange Zeit in unserem imaginären Mikroorganismus Lebenszyklus – und alles auf der Erde sogar einen Fleck von Kohlenstoff enthält, wurde in ein gutartiges, graues und klebriges Nebenprodukt seines Verdauungsprozesses verwandelt.

Hoppla.

Eine wichtige moralische Lektion

In Gray Goo-Prozessen steht viel auf dem Spiel und die Gefahr des Ruins steht immer unmittelbar bevor, weshalb sie gute Science-Fiction-Garne zerreißen. Aber Geschichten von Gray Goo enthalten auch eine wichtige moralische Lektion: Eine einzige Strategie – oder ein Prozess oder eine Idee -, die mit guter Absicht entwickelt, aber wahllos oder ungeschickt angewendet wird, kann zu katastrophal negativen Konsequenzen führen, die praktisch nicht aufzuhalten sind. Und während graue Goo-Ereignisse exotisch klingen, können wir, sobald wir die Rede von außer Kontrolle geratener Nanotechnologie beiseite legen, beginnen, die Zutaten dieser Ereignisse in unserer Alltagswelt zu sehen. Dazu gehören idealistische Agenten mit unvollkommenem Wissen, schlecht durchdachten Strategien und einem fruchtbaren Medium, in dem Fehler verbreitet werden können, sowie systemische und sich selbst verstärkende Kaskadeneffekte.

Kein Bereich des menschlichen Lebens ist unempfindlich gegen das Risiko grauer Schmierprozesse, aber einige sind bessere Medien als andere. Eine allgemeine Faustregel lautet: Je größer, komplexer und miteinander verbunden eine Domäne ist, desto anfälliger ist sie für graue Schmiere. Nur wenige Domänen passen besser zu dieser Beschreibung als biologische Ökosysteme: Eine Lektion, die die Menschen in den letzten hundert Jahren viele Male lernen und neu lernen mussten, in denen wir versucht haben, Arten in fremde Ökosysteme einzuführen, mit oft katastrophalen Ergebnissen.Die Einführung von Rohrkröten in Australien ist ein emblematisches Beispiel dafür, dass wir die offensichtlichen Risiken von Gray Goo-Prozessen nicht vorhersehen. Nachdem herkömmliche Methoden der Schädlingsbekämpfung die Population von Käfern, die Zuckerrohrpflanzen schädigten, nicht reduzieren konnten, importierte das Bureau of Sugar Experiment Stations 1935 Rohrkröten aus Hawaii und ließ sie in der Hoffnung, dass sie die Insekten jagen würden, in die Wildnis frei. Seit ihrer Freilassung haben sich die Rohrkröten schnell vermehrt und sich im Nordwesten Australiens ausgebreitet. Aktuelle Schätzungen gehen von über 200 Millionen aus, und sie wurden für die Ausbreitung von Krankheiten verantwortlich gemacht, die sich negativ auf die lokale Fauna auswirken. Eine letzte Demütigung: Die Kröten scheinen keinen wirklichen Einfluss auf die Käferpopulationen gehabt zu haben, die sie reduzieren sollten.

Eine weitere Domäne, die mit dem Potenzial für graue Schmiere Prozesse weit verbreitet ist, ist die Welt der Finanzen. Postmortems der Finanzkrise von 2008 bezeichnen sie im Sprachgebrauch des Risikowissenschaftlers Nassim Taleb oft als Black Swan-Ereignis: Eine äußerst seltene, aber äußerst wirkungsvolle Reihe von Ereignissen, die nur im Nachhinein offensichtlich sind. Selten und einflussreich, ja – aber nicht streng genommen über unsere Vorhersagekraft hinaus. Im Mittelpunkt stand die Praxis der Subprime-Kreditvergabe: Eine Art Grauer Schmiere-Prozess, der auf der berauschenden Mischung aus Goodwill und gerechten Absichten zur Verbreitung von Wohneigentum aufbaute, einem Kreditumfeld, das die einfache Bereitstellung und Replikation von Hochrisikokrediten ermöglichte, und einer toxischen Anhäufung eines Nebenprodukts, nicht rückzahlbarer Schulden.

Taleb selbst hat sich in letzter Zeit auf eine Diskussion über graue Schmiere-ähnliche Prozesse konzentriert, insbesondere wenn sie auf die Wissenschaft der heutigen gentechnisch veränderten Organismen zutreffen. Taleb ist der Ansicht, dass die mit der Erzeugung und Verbreitung gentechnisch veränderter Organismen verbundenen Risiken von Forschern auf diesem Gebiet, die in der Regel in den Biowissenschaften und nicht in Statistiken oder Risikoanalysen ausgebildet sind, nicht gut verstanden oder geschätzt werden. Sie sind daher geneigt, traditionelle Entscheidungsstrategien einzusetzen, die sich auf die Minderung des Schadensrisikos konzentrieren, obwohl sie ihre Entscheidungen tatsächlich auf das Risiko eines totalen und irreversiblen Ruins stützen sollten.

Einer der Schlüsseleffekte der Globalisierung und der durch die Informationstechnologie ermöglichten Vernetzung besteht darin, dass alle menschlichen Systeme immer komplexer werden und daher immer anfälliger für die grauen Schmiereffekte werden, die wir im Bereich der biologischen Ökosysteme bemerken. Zusammen mit dem Potenzial für tödliche Asteroideneinschläge, Gammastrahlenausbrüche und Supervulkanausbrüche listet das Future of Humanity Institute an der Universität Oxford – ein Think Tank, der sich der Bewertung von Risiken widmet, die das menschliche Leben auf der Erde beenden könnten – von Menschen geleitete Bemühungen wie künstliche Intelligenz, anthropogener Klimawandel und molekulare Nanotechnologie zu seinen wichtigsten Forschungsbereichen auf. Die Bedrohung durch graue Schmiere und das Risiko des Ruins, so scheint es, nimmt zu. Ob wir der Herausforderung gewachsen sind, unsere Denkweise über Risiken anzupassen und gründlich darüber nachzudenken, wie sich unsere Entscheidungen auf unsere zunehmend komplexe Welt auswirken, bleibt abzuwarten.

Vermeiden von Grauschmierszenarien

Lassen Sie Ihren Verstand das schlimmste mögliche Ergebnis in Betracht ziehen. Haben Sie grundsätzlich mit dem Risiko eines Schadens zu kämpfen – zum Beispiel mit dem Risiko eines vierteljährlichen Ergebnisses oder dem Risiko des Ruins – wie der Zerstörung des Eigenkapitals Ihrer Marke oder des guten Willens der Verbraucher?

Lass Gerechtigkeit dein Urteil nicht trüben. In gutem Glauben zu handeln und wohlwollende Ziele zu haben, reicht nicht aus. Kein Pharmaunternehmen hat sich jemals vorgenommen, ein Medikament zu entwickeln, das seine Kunden tötet. Wie John Milton schrieb: „Leicht ist der Abstieg in die Hölle, denn er ist mit guten Absichten gepflastert.“

Sei ehrlich zu dir selbst, wie wenig Kontrolle du hast. Sobald Sie die Räder in Bewegung gesetzt haben, wie einfach ist es, einen Bremsmechanismus anzuwenden, vorausgesetzt, Sie haben einen? Und wenn Sie keinen haben, denken Sie nicht, dass es klug wäre, wenn Sie es tun würden, nur für den Fall?

Verwenden Sie keinen Hammer, um die Arbeit eines Schraubendrehers zu erledigen. Die Entwicklung einer Vielzahl von Tools und Prozessen zur Bewältigung verschiedener Herausforderungen erfordert mehr Aufwand, minimiert jedoch die Wahrscheinlichkeit, dass Sie irreparablen Schaden anrichten, indem Sie versuchen, zweckmäßig zu sein.

Ummauerte Gärten sind gut. Benutze sie. Wenn das Bureau of Sugar Experiment Stations Rohrkröten in ein sicheres Gehege eingeführt hätte, um ihre Anpassung an die australische Umwelt zu testen, bevor sie in die Wildnis entlassen würden, würde der Kontinent vielleicht nicht von den widerwärtigen Arten überrannt werden.

Wie in der Science-Fiction

Cat’s Cradle dargestellt, stellte sich Kurt Vonnegut

Vonnegut eine polymorphe Wasserform namens Ice-Nine vor, die sofort alles Wasser, mit dem sie in Kontakt kam, in eine superstabile eisähnliche Formation umwandelt. Ursprünglich entwickelt, um militärischen Truppen zu helfen, über schlammiges Gelände zu marschieren, verwandelt der Polymorph das gesamte Wasser auf der Erde in Eis-Neun, wodurch ein ewiger Winter entsteht.

Star Trek

Im Star Trek-Universum verwandelt eine Rasse räuberischer, zombieartiger, kybernetischer Kreaturen namens Borg jede Lebensform, der sie begegnen, in mehr Borg, indem sie sie mit mikroskopisch kleinen Nanosonden injiziert. Ihre Absichten sind, aus ihrer Sicht, wohlwollend: primitive Kulturen in die Borg zu erheben, damit sie sich ihrer Suche nach „Perfektion“ anschließen können.“ Das Ergebnis ist jedoch eine entsetzliche Form des technologischen Kollektivismus, der das Individuum vollständig subsumiert und zu einem Agenten unaussprechlichen Terrors macht.

Jayar La Fontaine ist Senior Foresight Strategist bei Idea Couture. Er lebt in Toronto, Kanada.

Dieser Artikel erschien ursprünglich in der Ausgabe MISC 2015: The Creative Process und wird mit Genehmigung von io9 erneut veröffentlicht.

Oberes Bild: Der Tag, an dem die Erde stillstand