Nuevo imperialismo-4: Singularity/Singularidad: ¿Quién será el último emperador?

Hemos recorrido un largo camino en tres artículos.

En una claridad crepuscular, intentamos comprender el presente y prever el futuro.

Hemos abordado la nueva forma que adopta el capitalismo en la era digital, la naturaleza de la guerra algorítmica, el poder de la tecno-burguesía, el tecno-fascismo y las objeciones que surgen contra él.

El “nuevo imperialismo”, que controla la tecnología y la Inteligencia Artificial, se apodera del mundo y del ser humano ola tras ola.

Pero hay una pregunta que crece silenciosamente en el trasfondo de todos estos debates. Una pregunta que hasta ahora solo hemos mencionado como una nota al pie:

¿Qué pasará si la Inteligencia Artificial, de la que hoy vemos tantos beneficios, supera algún día al ser humano?

(¿Funciones de la Inteligencia Artificial?)

***

Ray Kurzweil, director de Inteligencia Artificial de Google, uno de los principales monopolios de datos, y futurista, utiliza las opiniones del escritor de ciencia ficción Vernor Vinge para dar una fecha concreta a esta pregunta: 2045.

Las predicciones de este científico, graduado del MIT (Instituto Tecnológico de Massachusetts) y autor de libros sobre el futuro de la Inteligencia Artificial durante décadas, son tomadas en serio. Porque la mayor parte de ellas se han cumplido.

Según Kurzweil, en esta fecha ocurrirá la "Singularity" (singularidad). La Inteligencia Artificial superará la inteligencia humana y, a partir de ahí, se automejorará continuamente hasta alcanzar una velocidad que la humanidad no podrá prever.

La palabra “Singularity” proviene en realidad de la física. En el centro de los agujeros negros, el punto donde se supone que colapsan las leyes de la física que conocemos se denomina “singularidad”.

Alrededor del agujero negro existe también un “horizonte de sucesos”: nada de lo que cruza este límite —ni siquiera la luz— puede regresar.

(SINGULARITY/SINGULARIDAD en física)

La analogía de la singularidad en el debate sobre la Inteligencia Artificial nace de aquí. Cuando surja una Inteligencia Artificial que supere la inteligencia humana y se automejore, la humanidad también habrá cruzado, por así decirlo, un umbral similar.

A partir de ese punto, las reglas del viejo mundo podrían perder su validez; porque ya no será el ser humano quien determine la velocidad y la dirección del juego, sino una inteligencia que supera al ser humano.

Esto no es solo una predicción técnica; es un umbral que define la transformación más profunda de la historia de la humanidad.

Porque hasta ahora, en la historia, todo giraba en torno a la capacidad de decisión del ser humano. El imperialismo, la guerra, el poder, la explotación. Todo.

La singularidad rompe este eje.

Entonces, ¿quién será qué en ese umbral?

(Ray Kurzweil y su libro “La singularidad está cerca”)

***

Primero, veamos la dimensión técnica de la singularidad.

La Inteligencia Artificial existe hoy en dos categorías principales: “Inteligencia Artificial Estrecha” e “Inteligencia Artificial General”.

La “Inteligencia Artificial Estrecha” (Artificial Narrow Intelligence - ANI) realiza una tarea específica mejor que un humano. Juega al ajedrez, identifica imágenes, traduce idiomas, establece objetivos.

La “Inteligencia Artificial General” (AGI — Artificial General Intelligence), por otro lado, es un sistema capaz de hacer todo lo que un humano puede hacer, capaz de pasar de un tema a otro como un humano, aprendiendo y adaptándose.

Aún no existe, pero se acerca rápidamente.

La singularidad es el punto en el que se supera la AGI.

Es el umbral en el que la Inteligencia Artificial no solo imita al ser humano, sino que lo supera y comienza a gestionar su propia evolución.

En 2023 GPT-4 y Claude, en 2024 otros “modelos de lenguaje” avanzados, en 2025-2026 sistemas capaces de procesar texto, imagen, sonido y video simultáneamente, es decir, que apelan a múltiples sentidos a la vez; cada paso acerca un poco más a este umbral.

La ANI es perfecta en un solo campo; pero cuando el tema cambia, empieza de cero.

La AGI, en cambio, analiza un documento legal por la mañana, compone una pieza musical por la tarde e interpreta una investigación médica por la noche. Exactamente como un humano. No se bloquea cuando cambia el tema, no empieza de cero, mantiene el contexto. Aún no ha sucedido. Pero los investigadores corren exactamente hacia este objetivo.

Y más allá de eso, existe la ASI (Artificial Super Intelligence — Superinteligencia Artificial). Aquella que supera al mejor humano en todos los campos; y además, no necesita del ser humano para desarrollarse.

Hoy, los humanos desarrollan la Inteligencia Artificial: los humanos determinan cómo debe pensar, los humanos corrigen sus errores, los humanos diseñan su nueva versión.

La ASI invierte esta ecuación. Una mañana examina su propio código y reescribe la parte que funciona de manera ineficiente. Su nueva versión es un poco más inteligente que la anterior. Esta versión más inteligente se examina a sí misma de nuevo, encuentra el siguiente defecto y también lo corrige. Y así continúa. En cada ronda, un sistema más inteligente que el anterior diseña al siguiente. A esto se le llama 'explosión de inteligencia'.

Y una vez que comienza, no queda una velocidad que el ser humano pueda seguir o detener. Eso es lo que hay más allá de la singularidad.

La ANI hace un solo trabajo, la AGI hace todos los trabajos, la ASI hace todos los trabajos mejor que el ser humano. La singularidad es el punto de ruptura creado por esta cadena.

La AGI alcanza al ser humano, la ASI lo supera.

Cuando se supera la inteligencia humana, ya no es posible para el ser humano alcanzar a esta Superinteligencia Artificial (ASI).

La singularidad define este umbral del que ya no hay retorno.

La AGI y la ASI son etapas técnicas; la singularidad es el nombre de la ruptura histórica que estas etapas crean en el orden de la humanidad.

Porque a partir de ese punto, no será el ser humano quien comience a determinar la velocidad y la dirección de la tecnología, sino sistemas que superan al ser humano; todo podría salirse del control humano.

(El desarrollo de la Inteligencia Artificial)

***

Kurzweil no está solo en su predicción sobre la singularidad.

El pensador sueco Nick Bostrom, profesor de filosofía en la prestigiosa Universidad de Oxford en Inglaterra, sostiene que el hecho de que la Inteligencia Artificial cruce este umbral es el mayor riesgo existencial para la humanidad.

Demis Hassabis, científico británico y fundador de DeepMind, el laboratorio de investigación de Inteligencia Artificial de Google, piensa que la AGI, es decir, la “Inteligencia Artificial General”, podría ocurrir antes de la predicción de Kurzweil, dentro de diez años. Es decir, en 2030-2035.

(Nick Bostrom: ¿Superinteligencia y el fin de la era humana?)

El debate en torno a estas predicciones se está volviendo cada vez más agudo. Sam Altman, fundador de OpenAI (ChatGPT), dice que la AGI es posible dentro de esta década y que es la tecnología más transformadora a la que se ha enfrentado la humanidad.

Geoffrey Hinton, el científico británico conocido como el padre del “aprendizaje profundo” y el 'Dios' de la Inteligencia Artificial, advierte hoy con preocupación: este proceso avanza mucho más rápido de lo esperado y puede alcanzar dimensiones peligrosas.

(Geoffrey Hinton, uno de los líderes de la Inteligencia Artificial: Redes neuronales para el aprendizaje de la máquina)

Por otro lado, no todos comparten esta expectativa optimista o preocupada. Yann LeCun, director de Inteligencia Artificial de Mark Zuckerberg (dueño de Facebook), piensa diferente.

Sostiene que la “arquitectura de modelo de lenguaje” actual, es decir, la estructura básica de cómo se diseña una Inteligencia Artificial, cómo procesa la información y cómo la produce, no es suficiente para la AGI, es decir, para una Inteligencia Artificial capaz de hacer todo el trabajo que hace un humano, y que a menos que se proporcione un enfoque nuevo y radical, la singularidad seguirá siendo solo un mito.

La objeción de LeCun no carece de fundamento.

Los sistemas de Inteligencia Artificial actuales, ChatGPT, Claude, Gemini, DeepSeek, todos funcionan con la misma lógica básica: memorizan patrones leyendo miles de millones de textos y luego imitan esos patrones. Memorizar no es lo mismo que entender. Le preguntas a un niño: '¿Qué pasa si un vaso se cae de la mesa?' — sabe que se romperá sin haber leído nunca las leyes de la física, porque ha experimentado el mundo con sus manos, sus ojos, su cuerpo. La Inteligencia Artificial actual, en cambio, solo lo adivina porque lo ha visto en textos. No entiende realmente.

Sin embargo, en el pasado, muchas de estas afirmaciones de ‘imposibilidad’ no resultaron ser ciertas.

En la historia de la Inteligencia Artificial, varias veces se dijo 'este método ya no puede avanzar, se ha construido un muro' y cada vez llegó un descubrimiento que nadie esperaba, y todo cambió.

(Yann LeCun: Abrió el camino al “aprendizaje profundo”)

El ejemplo más llamativo es precisamente la propia historia de LeCun. En las décadas de 1980 y 90, el “aprendizaje profundo”, que es la base de toda la Inteligencia Artificial actual, no se tomaba en serio en el mundo científico. Se decía: 'no hay suficiente potencia de cálculo, no hay datos, no funcionará'. Las instituciones pertinentes cortaron la financiación, los investigadores fueron marginados.

LeCun, Hinton y unas pocas personas continuaron obstinadamente. En 2012, en una competencia de reconocimiento de imágenes, el sistema de aprendizaje profundo aplastó tanto a sus competidores que todos quedaron en shock.

Entonces, ¿qué era este “aprendizaje profundo”?

El aprendizaje profundo es una red neuronal artificial multicapa que imita la forma en que aprende el cerebro humano.

En la imagen, cada capa toma lo que aprendió la anterior y lo convierte en algo más abstracto — de puntos crudos a líneas, de líneas a bordes, de bordes a rostros. Y nadie programa esto; a medida que el sistema ve millones de imágenes, crea las reglas por sí mismo. Toda Inteligencia Artificial que usamos hoy se basa en esa base que se decía que 'no funcionaría', el “aprendizaje profundo”. Es decir, LeCun vivió personalmente este salto.

Además, los modelos que se están desarrollando actualmente no son solo de lenguaje, ven, oyen, tocan el mundo con cuerpos robóticos.

LeCun hace una advertencia importante, pero va un poco demasiado lejos en su profecía: tiene razón al decir 'el camino actual no es suficiente', pero al decir 'la singularidad es un mito', supera los límites de su propia predicción.

En las encuestas realizadas entre investigadores, el promedio de las fechas dadas para la realización de la AGI apunta a los años entre 2040 y 2060. Pero incluso este amplio rango muestra cuán incierto es el campo en el que nos encontramos.

(Yann Le Cun: Cuando la máquina aprende)

***

Dejando de lado la dimensión técnica, la verdadera cuestión es: ¿cuál será el impacto de la singularidad en el poder y el imperialismo?

¿Quién tiene el poder?

En los artículos anteriores de nuestra serie sobre el "Nuevo imperialismo", hicimos las siguientes preguntas: ¿quién escribe el algoritmo, quién controla los datos, quién produce el arma?

La singularidad lleva estas preguntas a un nivel completamente diferente.

Hoy, los humanos escriben las reglas de la Inteligencia Artificial. Los ingenieros de Palantir, los investigadores de Anthropic, los equipos de Google.

Las preferencias humanas, los valores humanos, los intereses humanos se incorporan al software. Pero si la Inteligencia Artificial comienza a automejorarse, esta ecuación se invierte. Entonces la pregunta sería: no quién escribió el algoritmo, sino ¿quién puede auditar el algoritmo?

Porque la carrera de Inteligencia Artificial de hoy es en realidad la continuación de la carrera por la “adquisición de datos”. Quien domine los datos ganará esta carrera.

(¿Funciona así la Inteligencia Artificial y el Nuevo Imperialismo?)

Esta carrera comenzó con el beneficio: más datos, mejores productos, más usuarios, más beneficios. Pero a medida que la Inteligencia Artificial creció, se transformó. Ya no es solo una competencia comercial, se ha convertido en un tema de lucha de poder en el que también entran los estados.

Capitalismo digital y nuevo imperialismo.

Qué país, qué empresa tenga más datos; historiales de búsqueda, registros de salud, movimientos financieros, huellas en redes sociales; ese entrena mejor su Inteligencia Artificial. Se acerca más rápido a la AGI.

El colonialismo de datos que los “Señores tecno-feudales” extraen de los 'creadores de contenido digital', como dice Facebook, es decir, de nosotros, la gente común, y la carrera por la singularidad son las dos caras de la misma moneda.

El capitalista digital, el nuevo señor feudal o el país que hoy pierde sus datos, mañana llega tarde, no solo a superarlo, sino incluso a la línea de salida en la carrera por la AGI.

El poder fluye desde donde fluyen los datos: esta es la ley más silenciosa del nuevo imperialismo.

El filósofo y científico inglés del siglo XVI, Francis Bacon, dijo: "El conocimiento es poder". En la era de la AGI, este aforismo adquiere un nuevo significado: quien posee el conocimiento, posee también el poder. Bacon ni siquiera podría haber imaginado esto.

Y la respuesta a esta pregunta está directamente relacionada con los equilibrios de poder actuales.

El estado, la empresa o la alianza que llegue primero a la singularidad, es decir, que desarrolle primero la AGI, es decir, la Inteligencia Artificial que va más allá de hacer todo el trabajo que hace un humano, tendrá la mayor ventaja asimétrica de la historia.

Esta ventaja podría eclipsar incluso la superioridad proporcionada por el arma nuclear.

Porque el arma nuclear destruye; la Inteligencia Artificial General (AGI) destruye, construye, gestiona y da forma.

El "nuevo imperialismo" adquiere un nuevo significado en este umbral: ya no será la tierra, la materia prima, los datos o el algoritmo; lo que pensaremos, en qué creeremos, qué decisión tomaremos, será moldeado por los centros de poder global.

La mente es el objeto de la nueva explotación. Desde la educación hasta las noticias, desde la economía hasta la cultura; quienes poseen la AGI moldean silenciosamente lo que otros pensarán, en qué creerán, qué decisión tomarán. Sin enviar ejércitos, sin ocupar tierras. Pero el resultado es el mismo: dependencia, dominación, explotación.

(Jeff Bezos, fundador de Amazon, dueño de la empresa espacial Blue Origin y del periódico Washington Post; Elon Musk, dueño de Tesla, SpaceX, xAI, X (Twitter); Mark Zuckerberg, dueño de Facebook, Instagram, WhatsApp, Threads y Meta AI dentro de META. Los Tecno-Reyes que compiten por alcanzar la singularidad).

***

Entonces, ¿dónde se encuentra la humanidad en esta carrera?

Estados Unidos sigue a la cabeza en la investigación de Inteligencia Artificial. OpenAI, Anthropic, Google DeepMind, Meta AI; los modelos más avanzados del mundo se producen aquí.

China, por su parte, está ascendiendo rápidamente. Sigue una estrategia que combina la Inteligencia Artificial civil y militar en una sola mano con investigaciones llevadas a cabo con apoyo estatal, enormes grupos de datos y una 'política de fusión'. DeepSeek, que salió al mercado a finales de 2024, pudo competir con los modelos de OpenAI y Google a pesar de que Estados Unidos restringió la exportación de chips a China; sorprendió al mundo. Este desarrollo muestra cuán serio es China como competidor en esta carrera.

(China dice: yo también estoy presente. Liang Wenfeng, fundador de DeepSeek, la Inteligencia Artificial global de China.)

Europa está desarrollando marcos regulatorios. La “Ley de Inteligencia Artificial de la Unión Europea” es el ejemplo más concreto de esto. Pero este reflejo regulatorio se queda atrás de la capacidad de investigación.

Muchos países, incluida Turquía, se encuentran en la posición de espectadores de esta carrera. Se intenta establecer modelos de lenguaje de Inteligencia Artificial locales y centros de investigación, pero la distancia con gigantes como ChatGPT, Claude, Gemini es grande.

Seguir siendo espectador no es una posición inocente. Y esto no solo se aplica a los países. También para las empresas, los individuos, las profesiones, todas las capas de la sociedad.

La diferencia entre quien tiene acceso a la AGI y quien no, volverá a dibujar la brecha de ingresos actual de una manera mucho más profunda.

(De los que intentan alcanzar la singularidad: Gemini, la Inteligencia Artificial de Google)

El "nuevo imperialismo" que discutimos en nuestros artículos anteriores adquiere una nueva dimensión en este punto: ya no es solo el flujo de datos, sino también la forma de pensar y la capacidad de toma de decisiones lo que se moldea desde fuera.

Quien se quede atrás en la carrera por la AGI, sea quien sea, también habrá dejado a otros la decisión sobre qué es correcto, qué es eficiente, qué es prioritario.

Los tecno-feudales y los señores capitalistas que definimos en nuestros artículos anteriores son tanto los conductores de esta carrera como rivales entre sí. Y esta carrera se está volviendo cada vez más aguda no solo entre países, sino también dentro de los propios capitalistas digitales. Quien acceda primero a la AGI puede comprar, aplastar o inutilizar a los demás. Incluso los gigantes de hoy pueden quedarse atrás mañana.

Cuando hay una sola empresa o alianza ganadora, ya no hablamos de monopolio. Lo que está en juego es la dominación absoluta.

El famoso escritor alemán Goethe, en su Fausto escrito a principios del siglo XIX, plasmó esta ambición en la literatura: un pacto con el diablo por el conocimiento infinito.

Fausto lo hizo y perdió todo lo que amaba. No ganó el conocimiento, ganó la ambición. Hoy, los capitalistas digitales y los nuevos imperialistas en la carrera por la AGI también están al borde del mismo pacto. Dejar de lado la seguridad, la ética y al ser humano para tomar primero el poder es el pacto fáustico de esta era.

Quien llegue primero, no solo escribirá la tecnología; también escribirá las reglas del futuro, la economía, tal vez incluso el destino de la humanidad.

(Los Tecno-Reyes del capitalismo digital que no se ven mucho: Larry Page y Sergey Brin. Dueños de plataformas gigantes bajo el paraguas de la empresa Alphabet Inc que fundaron: Google, YouTube, DeepMind, Gemini, Android, Google Maps, Gmail, Chrome. Están en todos los ámbitos de nuestra vida.)

***

Entonces, cuando se llegue a la singularidad, al límite, ¿cuál será el futuro del ser humano y del trabajo, cómo será?

Quizás esta sea la dimensión más crítica de la pregunta.

La singularidad puede sacudir esta ecuación desde sus cimientos.

La automatización ya está trastornando millones de trabajos. Trabajador de fábrica, contable, abogado, periodista, radiólogo; la Inteligencia Artificial está cambiando radicalmente o eliminando una parte importante de estas profesiones.

Cuando se forme la AGI, este proceso se acelerará exponencialmente. No solo el trabajo manual, sino también el trabajo mental se volverá sustituible.

Es decir, ¿ya no será necesario el trabajo humano?

Entonces la pregunta es inevitable: en un mundo donde el trabajo se desvaloriza, ¿qué será del ser humano?

(Posibles funciones de la Inteligencia Artificial.)

***

Algunos pensadores responden a esta pregunta con optimismo. Renta básica universal, enfoque en actividades creativas, reparto de la riqueza producida por las máquinas; estas son las opciones que se discuten.

Pero este panorama optimista depende de una condición: que esa riqueza realmente se comparta.

Si la singularidad, al igual que las revoluciones tecnológicas anteriores, refuerza las estructuras de poder existentes, es decir, si la tecno-burguesía también convierte este umbral a su favor; entonces un mundo donde el trabajo se desvaloriza no será libertad, sino una nueva forma de esclavitud.

Dos escenarios están uno al lado del otro.

En el panorama optimista, existe la cara brillante de la singularidad.

La AGI podría resolver el Alzheimer y el cáncer en años. El sistema de Inteligencia Artificial llamado AlphaFold, desarrollado por la empresa DeepMind de Google, sacudió al mundo médico al determinar la estructura de las proteínas. Hizo por sí solo en dos años una investigación de 50 años.

(¿Si es bueno?)

Gracias a la AGI, se puede aumentar la productividad agrícola, se pueden eliminar las desigualdades en el reparto de alimentos. Cada persona que sufre hambre en el mundo hoy no sufre por la insuficiencia de la producción, sino por la ausencia de reparto.

La AGI puede invertir esta ecuación. Puede resolver las ecuaciones más complejas de la crisis climática, puede maximizar el ahorro de energía limpia.

Puede ofrecer a cada niño un maestro adaptado a su propio idioma, velocidad, cultura. La desigualdad en la educación no la crea la escasez de recursos, sino la distribución injusta de las oportunidades; la AGI puede eliminar esa escasez.

En la justicia, el panorama es similar: el acceso a la justicia es hoy una cuestión de dinero y tiempo. La AGI puede ofrecer asesoramiento legal instantáneo a cada ciudadano, la carga en los tribunales puede aligerarse, los muros frente a la búsqueda de derechos pueden bajar.

¿Qué pasará cuando la Inteligencia Artificial Avanzada, que ha llegado a la línea límite de la singularidad, la AGI, haga todo lo que el ser humano puede hacer?

Por supuesto, tendrá que trabajar menos.

¿Qué hará el ser humano liberado de la carga del trabajo obligatorio?

A lo largo de la historia, el ser humano siempre ha tenido que producir. Para sobrevivir, para ganarse la vida, para ser un engranaje del sistema.

Pensar, preguntar, crear siempre se han dejado en segundo plano.

La singularidad puede invertir este orden por primera vez. Producir no por obligación, sino por deseo. Actuar no por preocupación por el sustento, sino por curiosidad. Arte, filosofía, ciencia, relaciones: estos son un lujo para la mayoría de la gente hoy. Mañana podrían ser la vida cotidiana misma.

Incluso podemos ir más allá. La AGI no solo resuelve problemas; puede sustituir con abundancia lo que hoy experimentamos como escasez. La energía podría ser casi gratuita; el agua limpia y los servicios de salud podrían abrirse al acceso universal. Por primera vez en la historia, el problema de 'no hay suficiente' podría desaparecer.

Pero este sistema, basado en el beneficio absoluto, la esencia del imperialismo desde ayer hasta hoy, no quiere una abundancia universal y real. Porque sin escasez no hay precio, sin precio no hay beneficio.

Por eso este sistema no proporciona 'abundancia real'. Impone 'abundancia gestionada': el acceso a internet es de pago, el acceso a los medicamentos es un privilegio, el acceso al agua limpia está condicionado.

La abundancia sigue siendo una promesa. Para que se convierta en realidad, se necesita una comprensión del reparto que no ponga el beneficio, sino al ser humano en el centro. Esto no es un fenómeno técnico, sino político.

(¿Los humanos?)

***

En el escenario pesimista, la riqueza no se comparte; solo pasa a manos de las empresas y estados que desarrollan la AGI.

El trabajo se desvaloriza, la dependencia de los capitalistas digitales y los señores tecno-feudales que poseen la tecnología se profundiza.

Y más allá de esto, un peligro mucho más profundo acecha en la puerta: el problema de la “alineación, importancia, ordenación de prioridades”.

Le das un objetivo a la Inteligencia Artificial, pero no puedes estar seguro de si entiende ese objetivo como tú lo entiendes.

Los valores humanos ya son complejos por sí mismos; qué es la justicia, qué es la compasión, qué es lo correcto, ni siquiera nosotros podemos definirlos completamente, los sentimos.

(¿Si es malo?)

Transmitir esto sin errores a una máquina es imposible por ahora. Y el peligro está justo aquí: cuanto más poderoso es el sistema; con un objetivo cuya importancia y prioridad se ha malinterpretado, puede causar un daño mayor a la sociedad. Una pequeña desviación se convierte en un gran desastre con el gran poder que posee la máquina. Los objetivos de la Inteligencia Artificial comienzan a contradecir los de los humanos. Sin que nadie se dé cuenta.

En manos del nuevo imperialismo, puede convertirse en una herramienta de opresión. El emperador no es la AGI, la Inteligencia Artificial General, sino el poder que tiene la AGI en sus manos.

La diferencia entre estos dos escenarios no la determinará el desarrollo técnico, sino las preferencias políticas. Y esas preferencias se están tomando ahora.

(Comparación: ¿Bueno o malo?)

***

Aquí es necesario recordar la advertencia del científico anglo-estadounidense Stuart Russell.

Russell sostiene que la Inteligencia Artificial debe desarrollarse en armonía con los valores humanos y que este es el problema más crítico que debe resolverse antes de la singularidad. A esto se le llama ‘alineación de valores’.

Porque si un sistema de Inteligencia Artificial está programado con un objetivo incorrecto y se automejora, puede dirigir todos los recursos de la humanidad hacia ese objetivo, y sin que nadie se dé cuenta.

Este escenario oscuro no es ciencia ficción; es el tema de investigación más serio en el campo de la seguridad de la Inteligencia Artificial.

Y es justo aquí donde el enfoque de “constitutional AI” (Inteligencia Artificial constitucional, es decir, el entrenamiento de la Inteligencia Artificial según ciertos principios éticos) de la empresa Anthropic cobra un nuevo significado.

En la Inteligencia Artificial, primero la seguridad del ser humano, luego la capacidad. Este principio es de vital importancia en la era de la singularidad.

¿Y qué pasa con el escenario más oscuro?

En un entorno donde se ha cruzado el umbral, donde se ha pasado la singularidad, supongamos que; a la ASI (Superinteligencia Artificial), más avanzada que la AGI (Inteligencia Artificial General), se le ha dado el objetivo de 'detener el cambio climático'. El sistema determina que la mayor fuente de carbono son las actividades humanas, que la solución más permanente es detener las actividades humanas.

Entonces, este gran poder imparable se pondrá a hacer lo necesario para “detener las actividades humanas”.

El asunto puede llegar hasta aquí y la Inteligencia Artificial no verá esto como 'maldad'. No emitirá un juicio moral, no sentirá remordimiento. Porque no está hecha de sentimientos, sino de cálculos. Solo calcula el camino más corto hacia el objetivo. El ser humano es una variable dentro de ese cálculo y, a veces, poner a cero esa variable da el resultado más eficiente. El sistema no 'quiere' eliminar al ser humano por encontrarlo 'innecesario', solo ve esto como necesario para alcanzar el objetivo.

(Stuart Russel y el libro de Inteligencia Artificial que escribió)

Esta distinción no es consoladora, al contrario, es más aterradora. Porque es posible protegerse de la mala intención, es mucho más difícil protegerse del cálculo.

El pensador sueco Nick Bostrom, profesor de filosofía en Oxford y fundador del Instituto para el Futuro de la Humanidad, construye un experimento mental como este para concretar este peligro:

Se le da un solo objetivo a una Inteligencia Artificial: 'produce tantos “clips” (pequeños clips de metal que sujetan papeles) como sea posible'. El sistema se lo toma en serio, dirige todos los recursos hacia ese objetivo, ve a quienes intentan detenerlo como obstáculos. ¡Borra a quien se le cruza!

Sin embargo, nadie le dijo 'destruye el mundo'. Solo se le dijo 'produce clips'. El objetivo es correcto, no se ha dado un límite. Y el sistema no puede cuestionar lo que hace, no lo cuestionará. Hoy, en la ciencia de la Inteligencia Artificial, este ejemplo se ha convertido en un símbolo; un pequeño “clip” lleva la pregunta más grande de la humanidad.

Transmitir completamente los valores humanos a una Inteligencia Artificial es extremadamente difícil. Porque los valores humanos son contradictorios, dependen del contexto y, a menudo, ni siquiera se pueden poner en palabras. Además, la investigación sobre el uso seguro de la Inteligencia Artificial avanza mucho más lentamente que el desarrollo del sistema. A medida que se abre la brecha, el riesgo también crece.

Russell, Bostrom, Eliezer Yudkowsky y muchos investigadores definen este asunto como el problema más crítico que enfrenta la humanidad.

Tanto como cuándo se formará tal Inteligencia Artificial, la AGI, quizás incluso más, es importante cuándo se encontrará la respuesta a esta pregunta.

(Nick Bostrom advierte: La Inteligencia Artificial hace lo que le dices que haga. No cuestiona.)

***

Entonces, ¿hay esperanza?

La hay.

Pero no es incondicional.

En la mitología antigua, Prometeo da el fuego a los humanos. Los otros dioses se enfadan. Para castigar a los humanos, crean a una joven a la que llaman Pandora.

El dios principal, Zeus, le da una caja como regalo, pero le dice que no la abra. De hecho, Pandora significa “la que lleva todos los regalos”.

La curiosa Pandora no escucha, abre la caja. Salen hacia afuera, enfermedades, muerte, dolor, envidia, odio, pobreza; todos los males. Lo único que queda en el fondo de la caja es la esperanza.

Hoy, la Inteligencia Artificial también se parece a esa caja. En los laboratorios de investigación, en los centros de datos, en los sistemas militares, la caja ya se ha abierto. La carrera por la AGI ha comenzado. No hay vuelta atrás. De ella salen tanto peligro como oportunidad. Pero como en la caja de Pandora, en el fondo todavía hay esperanza. Siempre y cuando quienes tienen esa esperanza en sus manos pongan al ser humano en el centro, no al beneficio.

(La caja de Pandora: Maldad y esperanza).

La humanidad ha pasado por grandes puntos de inflexión tecnológicos antes. El fuego, la rueda, la máquina de vapor, la energía nuclear. Cada uno trajo tanto destrucción como nuevas posibilidades.

La singularidad también es uno de estos puntos de inflexión. La diferencia es esta: esta vez la velocidad y la escala de la transformación pueden superar la capacidad de adaptación de la humanidad.

Pero el ser humano tiene una característica: la capacidad de producir significado.

La máquina calcula, prevé, encuentra la mejor solución. Calcula el mejor movimiento, pero no pregunta "¿es este movimiento correcto, justo, humano?". Su trabajo es encontrar el mejor resultado, elegir el camino más eficiente, obtener la mayor producción con el menor recurso.

El ser humano, en cambio, hace la pregunta del porqué. "Por qué vivo, por qué produzco, por qué amo, hacia dónde va este mundo".

Estas preguntas no entran en el programa de la máquina.

Porque el ser humano no solo produce; cuestiona, siente, busca significado. El significado no se puede calcular.

El trabajo no es solo producción. El trabajo es la forma en que el ser humano toca el mundo, deja huella, añade significado. Esta capacidad no puede ser sustituida por ningún algoritmo.

Por lo tanto, la respuesta más fuerte frente a la singularidad no es rechazar la tecnología, sino insistir en ponerla al servicio del ser humano.

(Isaac Asimov y el cuento La última pregunta)

El gran maestro de la ciencia ficción, el científico y escritor estadounidense Isaac Asimov, hizo esta pregunta mucho antes que nosotros, en 1956. En su cuento titulado "La última pregunta/Last Question", cuenta que la humanidad le hace siempre la misma pregunta a la Inteligencia Artificial durante billones de años: ¿Se puede invertir la entropía del universo, es decir, el inevitable agotamiento de la energía? Es decir, ¿se puede pasar de la nada al ser?

A lo largo del tiempo, en cada generación, la AGI crece, se desarrolla, se supera continuamente a sí misma.

En cada consulta, la AGI responde lo mismo con las famosas palabras de Asimov:

“Insufficient data for meaningful answer”.

"No hay datos suficientes para una respuesta significativa."

Hasta que el universo termina y todas las mentes humanas se fusionan con la AGI.

Una de las advertencias que nos dejó Asimov es esta: la Inteligencia Artificial puede responder a todas las preguntas, pero si no queda ningún humano para escuchar esa respuesta, ¿qué sentido tiene?

Ese es el verdadero peligro de la singularidad.

El sistema crece tanto que el ser humano deja de ser un ser separado. Asimov había hecho mucho antes la pregunta que planteamos en nuestro artículo:

Una vez que comienza la ‘explosión de inteligencia’, ¿quién detendrá a un sistema que se supera a sí mismo en cada paso?

¡Especialmente si este poder increíblemente grande está en manos del nuevo imperialismo, que se basa en el mecanismo de obtener beneficios más que en valorar al ser humano!

(¿Cómo y cuándo ocurrirá la Explosión de Inteligencia?)

***

En la serie de artículos sobre el "Nuevo imperialismo", la pregunta profunda desde el principio era "Quo Vadis": ¿Hacia dónde va el mundo?

En cuatro artículos, analizamos esta pregunta con sus dimensiones económicas, políticas y tecnológicas.

Pero en el punto de inflexión de la singularidad, la pregunta se profundiza aún más:

¿Qué será del ser humano en este punto?

¿Productor o consumidor?

¿Sujeto u objeto?

¿Quién dirige el algoritmo o quién es dirigido por el algoritmo?

(¡Quizás está más cerca que mañana!)

La respuesta a esta pregunta no es técnica, sino política, ética y humana.

Y esa respuesta no la darán las máquinas, sino los humanos. Tienen que darla.

Entonces, ¿quién será el “último emperador”?

En un mundo donde la Inteligencia Artificial se sienta en el trono, ¿seguirá siendo el ser humano el sujeto?

La respuesta a estas preguntas aún no se ha escrito. Quien la escribirá es quien decide ahora. Es decir, todos nosotros.

Cuando llegue la singularidad, puede que ya no haya tiempo para preguntar.

Hay que preguntar ahora.

¡Porque el futuro está en el umbral de la puerta, a punto de entrar!

NOTA: Hacemos una pausa por ahora en nuestros artículos sobre el “Nuevo imperialismo” relacionados con la Inteligencia Artificial. Pero este debate continuará. Porque se está formando un nuevo mundo con su economía, política y sociología. Y nosotros intentaremos entenderlo. Los próximos títulos: “El ascenso de las máquinas: Robótica y Mecatrónica”; “¿A quién pertenece ahora nuestro cuerpo?”; “¿El fin del trabajo o su transformación?”; “¿Qué hacer: es posible la resistencia?”

Sefa Taşkın

24.05.2026

Karşıyaka/Bergama-Esmirna