Grå Goo scenarier og hvordan man undgår dem

ups.

en vigtig moralsk lektion

i grå Goo-processer er indsatsen høj, og truslen om ruin er altid nært forestående, hvorfor de gør for at rive gode science fiction-garn. Men historier om Gray Goo bærer også en vigtig moralsk lektion: en enkelt strategi – eller proces eller ide – udtænkt med god hensigt, men anvendt uden forskel eller klodset, kan føre til katastrofalt negative konsekvenser, der næsten ikke kan stoppes. Og mens grå Goo-begivenheder lyder eksotiske, når vi først har afsat samtalen om løbsk nanoteknologi, kan vi begynde at se ingredienserne i disse begivenheder i vores hverdag. Blandt dem er idealistiske agenter med ufuldkommen viden, dårligt gennemtænkte strategier og et frugtbart medium til at sprede fejl og systemiske og selvforstærkende kaskadeeffekter.

intet domæne for menneskeliv er uigennemtrængeligt for risikoen for grå Goo-processer, men nogle er bedre medier end andre. En generel tommelfingerregel er, at jo mere stort, komplekst og sammenkoblet et domæne er, jo mere modtageligt er det for grå Goo. Få domæner passer bedre til denne beskrivelse end biologiske økosystemer: En lektion, som mennesker har været nødt til at lære og genlære mange gange i løbet af de sidste par hundrede år, hvor vi har forsøgt at introducere arter i fremmede økosystemer med ofte katastrofale resultater.

indførelsen af sukkerrør padder i Australien er et symbolsk eksempel på vores manglende forudse de åbenlyse risici ved grå Goo processer. Efter at konventionelle metoder til skadedyrsbekæmpelse ikke kunne reducere bestanden af biller, der skadede sukkerrørsafgrøder, importerede Bureau of Sugar-Eksperimentstationer i 1935 sukkerrør padder fra Thailand og frigav dem i naturen i håb om, at de ville bytte på insekterne. Siden deres frigivelse har sukkerrør padder hurtigt multipliceret i befolkning og spredt sig over det nordvestlige Australien. Nuværende estimater sætter deres antal over 200 millioner, og de har fået skylden for spredningen af sygdomme, der påvirker den lokale fauna negativt. En endelig indignitet: Padderne ser ud til at have haft nogen reel indflydelse på de billepopulationer, de var beregnet til at reducere.

et andet domæne, der er fyldt med potentialet for grå Goo-processer, er finansverdenen. Postmortems af finanskrisen i 2008 henviser ofte til den, i risikoforsker Nassim Talebs sprogbrug, som en sort svanehændelse: en overordentlig sjælden, men stærkt påvirkende række begivenheder, der kun er åbenlyse til fordel for eftertænksomhed. Sjælden og påvirkende, Ja – men ikke strengt taget ud over vores forudsigelige kræfter. I hjertet var praksis med subprime-udlån: en slags grå Goo-proces bygget op omkring den berusende blanding af velvilje og bare intentioner om at sprede boligejerskab, et kreditmiljø, der muliggjorde let implementering og replikering af højrisikolån, og en giftig ophobning af et biprodukt, ikke-tilbagebetalbar gæld.Taleb selv har vendt sit fokus til en diskussion af grå Goo-lignende processer for nylig, især da de gælder for videnskaben om nutidens genetisk modificerede organismer. Taleb mener, at de risici, der er forbundet med oprettelse og distribution af genetisk modificerede organismer, ikke er godt forstået eller værdsat af forskere på området, som typisk er uddannet i de biologiske videnskaber og ikke i statistik eller risikoanalyse. De er derfor tilbøjelige til at implementere traditionelle beslutningsstrategier med fokus på at mindske risikoen for skade, når de faktisk skal basere deres beslutninger på risikoen for total og irreversibel ruin.

en af nøgleeffekterne af globalisering og sammenkobling muliggjort af informationsteknologi er, at alle menneskelige systemer bliver stadig mere komplekse og så mere og mere modtagelige for de grå Goo-effekter, vi bemærker inden for området biologiske økosystemer. Sammen med potentialet for fatale asteroidestrejker, gammastråleudbrud og super vulkanudbrud viser Future of Humanity Institute – en tænketank dedikeret til at vurdere risici, der kan ende menneskeliv på jorden – sådanne menneskelige ledede bestræbelser som kunstig intelligens, menneskeskabte klimaændringer og molekylær nanoteknologi blandt sine nøgleområder inden for forskning. Truslen om grå Goo og risikoen for ruin ser ud til at stige. Om vi er klar til udfordringen med at tilpasse den måde, vi tænker på risiko og tænker grundigt over, hvordan vores valg påvirker vores stadig mere komplekse verden, er stadig uvist.

undgå grå Goo scenarier

lad dit sind overveje det værst mulige resultat. Kæmper du grundlæggende med risikoen for skade – for eksempel under kvartalsindtjeningen eller risikoen for ødelæggelse – såsom ødelæggelse af dit brands egenkapital eller forbrugernes velvilje?

lad ikke retfærdighed skyde din dom. At handle i god tro og have velvillige mål er ikke nok. Ingen medicinalvirksomhed nogensinde sat sig for at designe et lægemiddel, der dræber deres kunder. Som John Milton skrev: “let er nedstigningen til helvede, for den er brolagt med gode intentioner.”

Vær ærlig over for dig selv om, hvor lidt kontrol du har. Når du sætter hjulene i bevægelse, hvor let er det at anvende en bremsemekanisme, forudsat at du har en? Og hvis du ikke har en, Tror du ikke, det ville være klogt, hvis du gjorde det, bare i tilfælde?

brug ikke en hammer til at gøre en skruetrækker job. At udtænke en mangfoldighed af værktøjer og processer til at tackle forskellige udfordringer kræver mere indsats, men det minimerer sandsynligheden for, at du ender med at gøre uoprettelig skade ved at prøve at være hensigtsmæssig.

murede haver er gode. Brug dem. Hvis Bureau of Sugar eksperiment stationer havde introduceret sukkerrør padder i et sikkert kabinet for at teste deres tilpasning til det australske miljø, før frigøre dem i naturen, måske kontinentet ville ikke blive overskredet af de modbydelige arter.

som afbildet i Science Fiction

Cat ‘ s Cradle, Kurt Vonnegut

Vonnegut forestillede sig en polymorf vand kaldet Ice-Nine, der straks ville omdanne alt vand, det kom i kontakt med, til en superstabil islignende formation. Oprindeligt udviklet til at hjælpe militære tropper med at marchere over mucky terræn, ender polymorfen med at konvertere alt vandet på jorden til is-ni og skabe en evig vinter.

Star Trek

i Star Trek-universet forvandler en race af grådige, cybernetiske væsener kaldet Borg enhver livsform, de støder på, til mere Borg ved at injicere dem med mikroskopiske nanoprober. Deres intentioner er, fra deres perspektiv, velvillig: at løfte primitive kulturer ind i Borg, så de kan deltage i deres søgen efter at “opnå perfektion.”Resultatet er imidlertid en forfærdelig form for teknologisk kollektivisme, der fuldstændigt underkaster individet og gør dem til en agent for ubeskrivelig terror.

Jayar La Fontaine er senior fremsynsstrateg hos Idea Couture. Han er baseret i Toronto, Canada.

denne artikel blev oprindeligt vist i MISC 2015: the Creative Process-problemet og genudgives på io9 med tilladelse.

topbillede: den dag Jorden stod stille