Grijze Goo Scenario ‘ s en Hoe Ze te Vermijden

Het vooruitzicht van zelfreplicerende nanobots verslinden de Aarde is een beangstigend voor een, inderdaad. Maar zoals Idea Couture foresight strateeg Jayar LaFontaine uitlegt, zijn er enkele praktische dingen die we kunnen doen om dergelijke nachtmerries te voorkomen.

in een lezing in 1948 beschreef de wiskundige John Von Neumann voor het eerst het potentieel voor machines om perfecte kopieën van zichzelf te maken met behulp van materiaal afkomstig uit de wereld om hen heen. Bijna onmiddellijk begonnen mensen zich zorgen te maken over wat er zou kunnen gebeuren als ze nooit stopten. Decennia later schreef Eric Drexler over de wetenschap van moleculaire nanotechnologie – met andere woorden microscopisch kleine door de mens gemaakte machines-en gaf deze zorg een naam: Gray Goo.

een grijs Goo-scenario werkt ongeveer als volgt: stel je een stuk zelfreplicerende nanotechnologie voor, vervaardigd voor een puur welwillende reden. Laten we zeggen, een micro-organisme ontworpen om olievlekken op te ruimen door ze te consumeren en een goedaardig bijproduct af te scheiden. Tot nu toe gaat het goed. Behalve dat het organisme geen onderscheid kan maken tussen de koolstofatomen in de olievlek en de koolstofatomen in de zeevegetatie, oceaanfauna en mensen eromheen. Flash forward een paar duizend generaties-misschien niet een zeer lange tijd in ons ingebeelde micro-organisme ‘ s levenscyclus-en alles op aarde met zelfs een vlekje koolstof is veranderd in een goedaardig, grijs, en kleverig bijproduct van zijn spijsverteringsproces.

Whoops.

een belangrijke morele les

in grijze Goo processen is de inzet hoog en de dreiging van ondergang is altijd dreigend, dat is waarom ze maken voor het scheuren van goede science fiction garens. Maar verhalen over grijze Goo dragen ook een belangrijke morele les: een enkele strategie – of proces, of idee – bedacht met goede intentie maar willekeurig toegepast, of onhandig, kan leiden tot catastrofaal negatieve gevolgen die vrijwel niet te stoppen zijn. En hoewel grijze Goo-gebeurtenissen exotisch klinken, kunnen we, zodra we het gepraat over op hol geslagen nanotechnologie opzij zetten, de ingrediënten van deze gebeurtenissen beginnen te zien in onze dagelijkse wereld. Onder hen zijn idealistische agenten met onvolmaakte kennis, slecht doordachte strategieën, en een vruchtbaar medium om fouten te verspreiden, en systemische en zichzelf versterkende cascade-effecten.

geen domein van het menselijk leven is ongevoelig voor het risico van grijze Goo-processen, maar sommige zijn betere mediums dan andere. Een algemene vuistregel is dat hoe groter, complexer en onderling verbonden een domein is, des te gevoeliger het is voor grijze Goo. Weinig domeinen passen beter bij deze beschrijving dan biologische ecosystemen: Een les die mensen hebben moeten leren en opnieuw leren gedurende de laatste paar honderd jaar, waarbij we hebben geprobeerd soorten in vreemde ecosystemen te introduceren met vaak rampzalige resultaten.

de introductie van riet padden in Australië is een emblematisch voorbeeld van ons onvermogen om de voor de hand liggende risico ‘ s van grijze Goo-processen te voorzien. Nadat conventionele methoden van ongediertebestrijding er niet in slaagden de populatie van kevers die suikerrietgewassen beschadigden te verminderen, importeerde het Bureau of Sugar Experiment Stations in 1935 rietpaden uit Hawaii en liet ze in het wild in de hoop dat ze op de insecten zouden jagen. Sinds hun vrijlating, riet padden hebben zich snel vermenigvuldigd in de bevolking en verspreid over Noordwest-Australië. Volgens de huidige schattingen zijn hun aantal meer dan 200 miljoen, en ze zijn verantwoordelijk voor de verspreiding van ziekten die een negatieve invloed hebben op de lokale fauna. Een laatste Vernedering: De padden lijken geen echte impact te hebben gehad op de keverpopulaties die ze moesten verminderen.

een ander domein dat rijk is aan mogelijkheden voor grijze Goo-processen is de wereld van Financiën. Postmortems van de financiële crisis van 2008 verwijzen er vaak naar, in risk scholar Nassim Taleb ‘ s taalgebruik, als een Black Swan event: een buitengewoon zeldzame maar zeer impacterende reeks gebeurtenissen die alleen achteraf duidelijk zijn. Zeldzaam en impacterend, Ja-maar strikt genomen niet buiten onze voorspellende krachten. In de kern was de praktijk van subprime leningen: Een soort grijs Goo proces gebouwd rond de bedwelmende mix van de goodwill en rechtvaardige intenties om huiseigendom te verspreiden, een kredietomgeving die eenvoudige implementatie en replicatie van hoog risico leningen mogelijk gemaakt, en een giftige accumulatie van een bijproduct, onherstelbare schuld.

Taleb zelf heeft onlangs zijn aandacht gericht op een discussie over grijze Goo-achtige processen, vooral omdat ze van toepassing zijn op de wetenschap van hedendaagse genetisch gemodificeerde organismen. Taleb is van mening dat de risico ‘ s die inherent zijn aan de creatie en verspreiding van genetisch gemodificeerde organismen niet goed worden begrepen of gewaardeerd door onderzoekers in het veld, die doorgaans zijn opgeleid in de biologische wetenschappen, en niet in statistieken of risicoanalyse. Zij zijn dan ook geschikt om traditionele besluitvormingsstrategieën in te zetten die gericht zijn op het beperken van het risico van schade, terwijl zij in feite hun beslissingen zouden moeten baseren op het risico van totale en onomkeerbare ondergang.

Eén van de belangrijkste effecten van globalisering en de onderlinge verbondenheid die door informatietechnologie mogelijk wordt, is dat alle menselijke systemen steeds complexer worden, en dus steeds vatbaarder worden voor de grijze Goo-effecten die we opmerken in het domein van biologische ecosystemen. Het Future of Humanity Institute van de Universiteit van Oxford – een denktank die zich toelegt op het beoordelen van risico ‘ s die een einde kunnen maken aan het menselijk leven op aarde-noemt onder meer kunstmatige intelligentie, antropogene klimaatverandering en moleculaire nanotechnologie een van de belangrijkste onderzoeksgebieden. De dreiging van grijze smurrie en het risico van ondergang, lijkt het, is op de stijging. Of we de uitdaging aankunnen om de manier waarop we denken over risico ‘ s aan te passen en grondig na te denken over hoe onze keuzes onze steeds complexere wereld beïnvloeden, valt nog te bezien.

het vermijden van grijze Goo-scenario ‘ s

laat uw gedachten nadenken over de slechtst mogelijke uitkomst. Worstelt u fundamenteel met het risico van schade-bijvoorbeeld door een tekort aan kwartaalinkomsten of het risico van ondergang – zoals de vernietiging van het eigen vermogen van uw merk of de goodwill van de consument?

laat rechtvaardigheid uw oordeel niet vertroebelen. Handelen in goed vertrouwen en welwillende doelen hebben is niet genoeg. Geen enkel farmaceutisch bedrijf heeft ooit een medicijn ontworpen dat zijn klanten doodt. Zoals John Milton schreef: “gemakkelijk is de afdaling naar de hel, want het is geplaveid met goede bedoelingen.”

Wees eerlijk met jezelf over hoe weinig controle Je hebt. Als je de wielen in beweging zet, hoe makkelijk is het om een remmechanisme toe te passen, ervan uitgaande dat je er een hebt? En als je er geen hebt, denk je dan niet dat het verstandig zou zijn als je dat deed, voor het geval dat?

gebruik geen hamer om het werk van een schroevendraaier te doen. Het bedenken van een veelheid aan tools en processen om verschillende uitdagingen aan te pakken kost meer inspanning, maar het minimaliseert de kans dat je uiteindelijk onherstelbare schade zult toebrengen door te proberen om opportuun te zijn.

ommuurde tuinen zijn goed. Gebruik ze. Als het Bureau of Sugar Experiment Stations riet padden in een veilige omheining had geïntroduceerd om hun aanpassing aan de Australische omgeving te testen voordat ze losgelaten in het wild, misschien zou het continent niet worden overspoeld door de onaangename soorten.

zoals afgebeeld in Science Fiction

Cat ‘ s Cradle, stelde Kurt Vonnegut

Vonnegut zich een polymorf van water voor, genaamd Ice-Nine, dat onmiddellijk al het water waarmee het in contact kwam zou omzetten in een superstabiele ijsachtige formatie. Oorspronkelijk ontwikkeld om militaire troepen te helpen marcheren over mucky terrein, de polymorf eindigt het omzetten van al het water op aarde naar ijs-negen, het creëren van een eeuwige winter.

Star Trek

in het Star Trek-universum transformeert een ras van roofzuchtige, zombie-achtige, cybernetische wezens genaamd de Borg elke levensvorm die ze tegenkomen in meer Borg door ze te injecteren met microscopische nanosondes. Hun intenties zijn, vanuit hun perspectief, welwillend: om primitieve culturen te verheffen tot de Borg, zodat ze kunnen deelnemen aan hun zoektocht naar “perfectie te bereiken.”Het resultaat is echter een gruwelijke vorm van technologisch collectivisme dat het individu volledig verdringt en tot een agent van onuitsprekelijke terreur maakt.

Jayar La Fontaine is een senior foresight strateeg bij Idea Couture. Hij is gevestigd in Toronto, Canada.

Dit artikel verscheen oorspronkelijk in de MISC 2015: the Creative Process uitgave en is opnieuw gepubliceerd op io9 met toestemming.

bovenste afbeelding: de dag waarop de aarde stilstond