Gray Goo Escenarios y Cómo evitarlos

Jayar LaFontaine—MISC Revista

La perspectiva de la auto-replicación de los nanobots devorando la Tierra es un aterrador uno, de hecho. Pero como explica el estratega de previsión de Idea Couture, Jayar LaFontaine, hay algunas cosas prácticas que podemos hacer para evitar que ocurran tales pesadillas.

En una conferencia pronunciada en 1948, el matemático John Von Neumann describió por primera vez el potencial de las máquinas para construir copias perfectas de sí mismas utilizando material procedente del mundo que las rodea. Casi de inmediato, la gente comenzó a preocuparse por lo que podría suceder si nunca se detenían. Escribiendo décadas más tarde sobre la ciencia de la nanotecnología molecular, en otras palabras, máquinas hechas por el hombre microscópicamente pequeñas, Eric Drexler le dio un nombre a esta preocupación: Sustancia pegajosa Gris.

Un escenario de Goo Gris funciona algo como esto: Imagine una pieza de nanotecnología autorreplicante fabricada por una razón puramente benevolente. Digamos, un microorganismo diseñado para limpiar las manchas de aceite consumiéndolas y secretando algún subproducto benigno. Hasta ahora, todo bien. Excepto que el organismo no puede distinguir entre los átomos de carbono en la mancha de petróleo y los átomos de carbono en la vegetación marina, la fauna oceánica y los seres humanos a su alrededor. Avancemos unos pocos miles de generaciones, quizás no mucho tiempo en el ciclo de vida de nuestro microorganismo imaginado, y todo en la Tierra que contenga incluso una mota de carbono se ha convertido en un subproducto benigno, gris y pegajoso de su proceso digestivo.

¡Vaya.

Una importante Lección moral

En los procesos de Goo Gris, los riesgos son altos y la amenaza de ruina siempre es inminente, por lo que hacen que se rasguen buenos hilos de ciencia ficción. Pero las historias de Goo Gris también llevan una importante lección moral: Una sola estrategia – o proceso, o idea – ideada con buena intención pero aplicada indiscriminadamente, o torpemente, puede llevar a consecuencias catastróficas negativas que son virtualmente imparables. Y aunque los eventos de Goo Gris suenan exóticos, una vez que dejamos de lado la charla de la nanotecnología fuera de control, podemos comenzar a ver los ingredientes de estos eventos en nuestro mundo cotidiano. Entre ellos se encuentran agentes idealistas con conocimiento imperfecto, estrategias mal pensadas y un medio fértil para propagar el error, y efectos en cascada sistémicos y auto-reforzados.

Ningún dominio de la vida humana es impermeable al riesgo de procesos de Goo gris, pero algunos son mejores medios que otros. Una regla general es que cuanto más grande, complejo e interconectado es un dominio, más susceptible es a la Suciedad Gris. Pocos dominios se ajustan mejor a esta descripción que los ecosistemas biológicos: Una lección que los humanos han tenido que aprender y volver a aprender muchas veces durante los últimos cientos de años, a lo largo de los cuales hemos intentado introducir especies en ecosistemas extraños con resultados a menudo desastrosos.

La introducción de sapos de caña en Australia es un ejemplo emblemático de nuestra incapacidad para prever los riesgos obvios de los procesos de Goo Gris. Después de que los métodos convencionales de control de plagas no lograran reducir la población de escarabajos que dañaban los cultivos de caña de azúcar, en 1935 la Oficina de Estaciones Experimentales de Azúcar importó sapos de caña de Hawái y los liberó en la naturaleza con la esperanza de que se alimentaran de los insectos. Desde su liberación, los sapos de caña se han multiplicado rápidamente en población y se han extendido por el noroeste de Australia. Las estimaciones actuales sitúan su número en más de 200 millones, y se les ha culpado de la propagación de enfermedades que afectan negativamente a la fauna local. Una humillación final: Los sapos parecen no haber tenido un impacto real en las poblaciones de escarabajos que estaban destinados a reducir.

Otro dominio que está lleno de potencial para los procesos de Goo Gris es el mundo de las finanzas. Los post mortem de la crisis financiera de 2008 a menudo se refieren a ella, en el lenguaje del experto en riesgos Nassim Taleb, como un evento de Cisne Negro: Una serie de eventos extremadamente raros pero altamente impactantes que son obvios solo con el beneficio de la retrospectiva. Raro e impactante, sí – pero no estrictamente hablando más allá de nuestros poderes predictivos. En su esencia estaba la práctica de los préstamos de alto riesgo: Una especie de proceso viscoso Gris construido en torno a la mezcla embriagadora de la buena voluntad y las intenciones justas de difundir la propiedad de la vivienda, un entorno crediticio que permitía el fácil despliegue y la replicación de préstamos de alto riesgo, y una acumulación tóxica de una deuda no pagable como subproducto.

El propio Taleb se ha centrado recientemente en una discusión de procesos similares a la sustancia pegajosa Gris, especialmente en la medida en que se aplican a la ciencia de los organismos modificados genéticamente actuales. Taleb cree que los riesgos inherentes a la creación y distribución de organismos modificados genéticamente no son bien entendidos o apreciados por los investigadores en el campo, que generalmente están capacitados en ciencias biológicas, y no en estadísticas o análisis de riesgos. Por lo tanto, son aptos para desplegar estrategias tradicionales de toma de decisiones centradas en mitigar el riesgo de daño, cuando en realidad deberían basar sus decisiones en el riesgo de ruina total e irreversible.

Uno de los efectos clave de la globalización y la interconexión que permite la tecnología de la información es que todos los sistemas humanos se están volviendo cada vez más complejos y, por lo tanto, cada vez más susceptibles a los efectos pegajosos Grises que notamos en el dominio de los ecosistemas biológicos. Junto con el potencial de ataques mortales de asteroides, explosiones de rayos gamma y erupciones de súper volcanes, el Instituto del Futuro de la Humanidad de la Universidad de Oxford, un grupo de expertos dedicado a evaluar los riesgos que podrían poner fin a la vida humana en la Tierra, enumera esfuerzos dirigidos por el hombre como la inteligencia artificial, el cambio climático antropogénico y la nanotecnología molecular entre sus áreas clave de investigación. La amenaza de la Suciedad gris y el riesgo de ruina, al parecer, va en aumento. Queda por ver si estamos a la altura del desafío de ajustar la forma en que pensamos sobre el riesgo y pensar a fondo sobre cómo afectan nuestras elecciones a nuestro mundo cada vez más complejo.

Evitar escenarios de Suciedad gris

Deje que su mente considere el peor resultado posible. ¿Está lidiando fundamentalmente con el riesgo de daño, por ejemplo, no alcanzar las ganancias trimestrales, o el riesgo de ruina, como la destrucción del valor de su marca o la buena voluntad del consumidor?

no deje que la justicia nuble tu juicio. Actuar de buena fe y tener objetivos benevolentes no es suficiente. Ninguna compañía farmacéutica se propuso diseñar un medicamento que matara a sus clientes. Como escribió John Milton: «Fácil es el descenso al Infierno, porque está pavimentado de buenas intenciones.»

Sé honesto contigo mismo sobre el poco control que tienes. Una vez que pones las ruedas en movimiento, ¿qué tan fácil es aplicar un mecanismo de frenado, suponiendo que tengas uno? Y si no tienes uno, ¿no crees que sería prudente si lo tuvieras, por si acaso?

no utilice un martillo para hacer un destornillador del trabajo. Diseñar una multiplicidad de herramientas y procesos para abordar diferentes desafíos requiere más esfuerzo, pero minimiza la probabilidad de que termine haciendo un daño irreparable al tratar de ser conveniente.

Los jardines amurallados son buenos. Úsalos. Si la Oficina de Estaciones Experimentales de Azúcar hubiera introducido sapos de caña en un recinto seguro para probar su adaptación al medio ambiente australiano antes de liberarlos en la naturaleza, tal vez el continente no sería invadido por las especies detestables.

Como se muestra en Ciencia Ficción

Cuna de gato, Kurt Vonnegut

Vonnegut imaginó un polimorfo de agua llamado Ice-Nine que convertiría inmediatamente toda el agua con la que entró en contacto en una formación súper estable similar al hielo. Originalmente desarrollado para ayudar a las tropas militares a marchar sobre un terreno sucio, el polimorfo termina convirtiendo toda el agua de la Tierra en Nueve de Hielo, creando un invierno eterno.

Star Trek

En el universo de Star Trek, una raza de criaturas cibernéticas rapaces, similares a zombis llamadas Borg transforman cualquier forma de vida que encuentran en más Borg inyectándoles nanosondas microscópicas. Sus intenciones son, desde su perspectiva, benevolentes: elevar las culturas primitivas a los Borg para que puedan unirse a su búsqueda de «alcanzar la perfección».»El resultado, sin embargo, es una forma horripilante de colectivismo tecnológico que subsume completamente al individuo y lo convierte en un agente de terror indescriptible.

Jayar La Fontaine es un estratega de previsión senior en Idea Couture. Reside en Toronto, Canadá.

Este artículo apareció originalmente en el número MISC 2015 : El Proceso Creativo y se vuelve a publicar en io9 con permiso.

en la imagen Superior: el Día que La Tierra se detuvo