Jonathan Tennenbaum*
Considere el siguiente escenario: Los sistemas de IA, que operan de acuerdo con el aprendizaje profundo adquieren gradualmente la capacidad de manipular a los seres humanos por medio del condicionamiento científico y de la modificación de la conducta. Dichos sistemas, dado su enorme influencia que tiene sobre la población, podría de hecho controlar la sociedad. Dada la frecuentemente impredecible conducta de los sistemas de aprendizaje profundo, esta situación podría tener consecuencias catastróficas.
No estamos tan lejos de dicho ese escenario como la gente pudiera pensar.
En la variante más simple
El liderato de una nación tendría que desplegar deliberadamente una red de sistemas de IA con capacidad de modificación de conducta en la prensa, en los sistemas educativos y en otros lugares para “optimizar” la sociedad. Este proceso podría funcionar al principio, pero pronto se saldría de control, lo que conduciría al caos y al colapso.
Los acontecimientos que conducirían al dominio de la IA sobre la sociedad pueden surgir independientemente de las intenciones humanas -por medio de la actividad “espontánea” de los sistemas de IA de redes que tangan suficiente acceso a la población, y que posean (o que adquieran gradualmente) capacidad de modificación de conducta.
Como indicaré, muchas aplicaciones de la IA se optimizan explícitamente con la modificación de la conducta humana. Esta lista incluye chatbots que se usan en psicoterapia. En muchos otros casos, como en la educación de niños, las aplicaciones de IA tienen fuertes efectos modificadores de la conducta.
Al igual que con otras técnicas, cada aplicación de IA tiene sus beneficios, así como también sus peligros potenciales. De forma general, la actuación de esos sistemas todavía puede ser supervisada por seres humanos. Una dimensión completamente diferente del riesgo surge cuando se integran a grandes “súper sistemas.”
Para evitar malentendidos
No estoy tratando de imputarle a la IA alguna misteriosa “voluntad” o “deseo” de tomar la sociedad. Estoy sugiriendo tan sólo que un escenario de una sociedad controlada por la IA pudiera explicarse como una consecuencia no intencionada de la creciente integración de esos sistemas y a la optimización de criterios y de los métodos de formación en los que se fincan los sistemas de aprendizaje profundo.
En primer lugar, no se necesita una inteligencia parecida a la humana para manipular a los humanos. Esto se puede hacer con herramientas muy primitivas. Este hecho quedó perfectamente establecido antes de la aparición de la IA, en particular con los experimentos de los psicólogos conductistas.
El progreso de la IA ha abierto una dimensión completamente nueva. Vale la pena leer un artículo reciente sobre este tema aparecido en la revista Forbes del bien conocido experto en IA Lance Eliot, en el que explica con cierto detalle varias formas en las que los chatbots y otras aplicaciones de la IA pueden manipular psicológicamente a las personas aún cuando no intenten hacerlo.
Por otro lado, la modificación mental y conductual deliberada por medio de los sistemas de IA es un campo de rápido crecimiento, con aplicaciones que ya están en marcha en una gran variedad de contextos.
Los ejemplos llegan rápidamente a la mente
Decenas de miles de millones se han vertido en el uso de la IA para publicidad y mercadeo -actividades que por su misma esencia involucran manipulación psicológica y obtención de rasgos de comportamiento.
En otra dirección, la educación de niños y adultos que cuenta con el respaldo de la IA -ejemplificada con los sistemas de aprendizaje basados en IA- se puede ver como una forma de modificación de la conducta. Es cierto, las aplicaciones de la IA en el campo de la educación tienden a fundarse en modelos de aprendizaje humano.
Los sistemas más modernos de enseñanza por IA están diseñados para optimizar la respuesta de los niños y los resultados de su desempeño, obteniendo datos del comportamiento del niño, para afirmar el progreso del niño en tiempo real y adaptando su actividad de acuerdo con esto.
Otro ejemplo es la proliferación de chatbots de IA que pretenden ayudar a las personas a dejar de fumar o a dejar de usar drogas, para comportarse adecuadamente, a adoptar hábitos más saludables.
Al mismo tiempo, los chatbots están encontrando crecientes aplicaciones en el terreno de la psicología. Un ejemplo es la aplicación “Woebot”, diseñada para “ayudarte a trabajar con los altibajos de la vida” -dirigida en particular a personas que sufren de depresión-.
Esta aplicación representa tan sólo las etapas iniciales de una transformación de largo alcance de la psicología clínica y de psicoterapia.
Los efectos potenciales en el pensamiento y la conducta de la población son reforzados enormemente por la fuerte tendencia de la gente a proyectar, inconscientemente, cualidades humanas en sistemas como la GPT-4 de la OpenIA. Este fenómeno de proyección abre las puertas para que sistemas sofisticados de IA se pongan en relación personal con individuos y, en un sentido, para integrarse a la sociedad.
Como indica el rápido reemplazo de los interlocutores humanos por chatbots, no hay virtualmente ningún límite para el número de “personas virtuales” generadas por la IA. Baste decir que esto abre un abanico enorme de modificaciones de la conducta y al condicionamiento de la población humana. Este peligroso involucramiento está subrayado con el trágico suceso de un ciudadano belga que se quitó la vida luego de dialogar seis semanas con el chatbot de IA Chai.
En resumen
La tecnología para la modificación de la conducta de la IA está fuera de la botella, y no hay límites bien definidos para su uso o su abuso. Las personas cuya conducta se va a modificar -hasta donde sabemos- lo aceptan voluntariamente, en la mayoría de los casos. Hay un pequeño paso, sin embargo, en el que las aplicaciones se aplican sin que las persona esté al tanto de ello.
Los filtros o la modificación del contenido de prensa en internet por medio de sistemas de IA e intervenciones manejadas por IA en los medios sociales pueden dar forma a la vida mental y a la conducta de poblaciones enteras. Esto ya está sucediendo en cierta medida, como en la identificación con IA y el retiro de “material ofensivo” de Facebook y de otras redes sociales.
Estamos a sólo pasos de una situación en la que el criterio para juzgar si algo es “dañino,” “objetable,” “verdadero,” o “falso” será establecido por los mismos sistemas de IA.
Cuidado con el ‘supersistema’
Existe la tendencia natural en la sociedad actual de integrar los sistemas de datos en grandes agujeros. Es una práctica rutinaria de la administración de grandes firmas y cadenas de abastecimiento en la “digitalización” de servicios gubernamentales y públicos, motivada en parte para obtener una eficiencia más grande. A pesar de la resistencia, hay una tendencia natural a ampliar el proceso de compartir los datos y la integración de los sistemas de información más allá de los límites de los sectores individuales.
¿A dónde puede conducir esto cuando los sistemas de información correspondientes involucren a la IA en las rutas esenciales? ¿Sería completamente natural, por ejemplo, aplicar la IA para optimizar el desempeño de un empleado, como sostiene un sistema de IA, según su condición psicológica y médica, como sostiene otro sistema de IA?
Por el contrario, la terapia psicológica vía chatbot y la detección de problemas de salud potenciales pueden optimizarse con un sistema de IA a partir de los datos que registra la IA de la conducta laboral y de la actividad en internet.
Otro ejemplo
Utilizar de la IA para optimizar el criterio que usan los sistemas de IA para filtrar las redes sociales, así como para minimizar la probabilidad de malestar social, como afirma un sistema de IA. Asimismo, para optimizar los chatbots que usan los líderes políticos para armar sus declaraciones públicas.
Con estos y otros ejemplos, no se necesita mucha imaginación para comprender el enorme alcance de la integración de los sistemas de IA involucrados en diferentes aspectos de la sociedad en sistemas todavía más grandes.
Todavía más importante es la práctica creciente de la integración de los sistemas de IA dirigidos a “súper sistemas” estructurados jerárquicamente, en los que los sistemas superiores dictan los criterios de optimización (o métricos) así como las bases de datos según las cuales los sistemas inferiores “aprenden” y operan.
Para comprender lo que esto implica, se debe tener en mente que la IA de aprendizaje profundo no es otra cosa que una combinación de sofisticados algoritmos de optimización matemática + grandes computadoras + grandes bancos de datos.
Los programas de computadora correspondientes contienen un gran número de variables numéricas cuyos valores se establecen durante su fase de “entrenamiento,” y que son modificados subsecuentemente en el curso de la interacción del sistema con el mundo exterior, en una optimización interactiva. Al igual que en cualquier otra optimización, esto ocurre de acuerdo con un conjunto de criterios o métricas establecidas.
Si se expresara metafóricamente se diría que esos criterios definen lo que el sistema “quiere” o esta “tratando” de realizar.
En un sistema de IA típico de este tipo en nuestros días
El criterio de optimización y de formación de la base de datos se eligen con sistemas de diseñadores humanos. El número de parámetros internos generados en el “proceso de formación” es muchas veces tan alto que es imposible predecir exactamente e inclusive explicar la conducta del sistema en determinadas circunstancias.
El predecesor del sistema GPT-4, el GPT-3, ya contenía uno 175 mil millones de parámetros. Como la operación del sistema está determinado por la totalidad de parámetros de una forma colectiva, es imposible identificar en general que corregir cuando el sistema se comporta incorrectamente. En el campo de la IA, esta situación se conoce como el “problema de transparencia.”
Existe mucho debate actualmente en el campo de la IA sobre el “problema de alineamiento”: ¿cómo se puede asegurar que los sistemas de IA, que están proliferando y evolucionando constantemente, permanecerá “alineados” a las metas, las preferencias o a los principios de los seres humanos? Yo diría que es virtualmente imposible resolver el problema del “alineamiento” cuando se llega a los súper sistemas estructurados jerárquicamente.
No es difícil ver que la formación de sistemas cada vez presenta más problemas cuando hay subir dentro de la jerarquía. ¿Cómo se pueden determinar respuestas “correcto” contra “incorrecto,” como debe suceder la formación de esos sistemas superiores? ¿Dónde obtenemos una base de datos adecuada? Las consecuencias de una determinada respuesta aparecen sólo por la actividad de los sistemas inferiores, que supervisa el sistema superior. Esto toma tiempo. La tendencia será, por lo tanto, tomar un atajo en la formación -a costa de aumentar la probabilidad de errores, o hasta de decisiones francamente inapropiadas en el nivel superior de la jerarquía.
El lector quizá ya haya notado la analogía con las dificultades y riesgos envueltos en cualquier forma de actividad humana organizada de forma jerárquica -desde un simple negocio hasta la estructura de liderato de una nación entera. Estos temas son anteriores en miles de años a la inteligencia artificial. En la actualidad hay muchos que arguyen que los sistemas de IA se desempeñarán mejor que los humanos en la dirección de empresas, de economía -quizá mejor que toda la sociedad-.
No hay duda de que los sistemas de IA se comportan mejor que los humanos en muchos campos específicos. La IA también mejora constantemente. ¿Pero cuando la actual de expansión e integración de los sistemas de IA llega a nosotros -en particular cuando esto lleva a capacidades todavía más poderosas y amplias para dar forma al pensamiento y a la conducta humana?
En la historia humana
Los intentos de optimizar por completo una sociedad en el modelo de súper sistemas que funcionan con criterios estrictos siempre han llevado al desastre. Las sociedades que se han sostenido siempre se han caracterizado por cierto margen brindado por la toma de decisiones independientes, como las que marchan contra los criterios adoptados por la optimización del sistema. Resulta irónico que proporcionar esos grados de libertad produce, por mucho, resultados mucho mejores.
Siguiendo con la carta abierta mencionada antes, la mayoría de los expertos en el campo de la inteligencia artificial aceptarían que las aplicaciones de la IA deberían estar sometidas siempre a alguna suerte supervisión humana. El progreso y la aplicación de la IA, de forma más general, deben estas gobernadas por la sabiduría humana -si es que eso pudiera definirse-.
He intentado aquí razonar que la proliferación del aprendizaje profundo de la IA en más y más dominios de la actividad humana y que la tendencia de integrar dichos sistemas en sistemas jerárquicos cada vez más grandes representan un enorme peligro para la sociedad.
En verdad, la cuestión debería ponderarse: en caso de que un súper sistema enloquezca, y amenace con consecuencias catastróficas ¿Quién o qué intervendrá para evitarlo?
En la famosa película de ciencia ficción de Stanley Kubrick, 2001: Odisea del espacio, el astronauta sobreviviente interviene en el último momento para apagar el sistema de IA. Pero ¿el astronauta lo hubiera hecho si el sistema de IA lo hubiera antes condicionado para no hacerlo?
No creo que tenga sentido tratar de restringir el progreso de la IA en sí. Eso sería dañino y contra productivo. Pero la sabiduría dicta que los peligros que surgen de la rápida proliferación de los sistemas de IA en cada esfera de la actividad sean refrenados con una apropiada reglamentación y con la supervisión humana. Esto es válido, en especial, para la aparición de súper sistemas de IA que he analizado aquí.
*Artículo publicado en Asia Times el pasado 29 de abril. Su autor, Jonathan Tennenbaum (Doctor en matemáticas) fue director de la revista FUSION y ha escrito sobre una amplia variedad de tópicos de ciencia y tecnología, entre ellos destacan varios libros sobre energía nuclear. Es también un colaborador internacional del Instituto para la Filosofía y la Historia de la Ciencia de la Universidad de Lisboa, dedicado a diferentes formas de abordar la física cuántica.
Fotos: 0fjd125gk87/kalhh