Un ensayo conjunto con Daniel Thilo Schroeder y Jonas R. Kunst, basado en un nuevo artículo sobre enjambres con 22 autores (incluyéndome a mí) que acaba de aparecer en Science. (Hay una versión preimpresa aquíy puedes ver la cobertura de WIRED aquí.)
Los robots automatizados que difunden desinformación han sido un problema desde los primeros días de las redes sociales, y los malos actores se han apresurado a recurrir a los LLM como una forma de automatizar la generación de desinformación. Pero como describimos en el nuevo artículo de Science, predecimos algo peor: enjambre de robots de IA actuando juntos en concierto.
El único peligro de un enjambre es que actúa menos como un megáfono y más como un organismo social coordinado. Las primeras botnets eran ingenuas, en su mayoría simplemente copiaban y pegaban mensajes a gran escala, y en casos bien estudiados (incluida la operación IRA de Rusia en 2016 en Twitter), su efecto persuasivo directo era difícil de detectar. Los enjambres emergentes de hoy pueden coordinar flotas de personajes sintéticos (a veces con identidades persistentes) y moverse de maneras que son difíciles de distinguir de las comunidades reales. Esto no es hipotético: en julio de 2024, el Departamento de Justicia de EE. UU. dijo que había interrumpido una granja de bots mejorada con inteligencia artificial vinculada a Rusia y vinculada a cuentas 968 X que se hacían pasar por estadounidenses. Y los bots ya son una parte mensurable de la conversación pública: un análisis de los principales eventos revisado por pares en 2025 Se estimó que aproximadamente una de cada cinco cuentas/publicaciones en estas conversaciones estaban automatizadas. Los enjambres no sólo transmiten propaganda; pueden infiltrarse en las comunidades imitando la jerga y el tono locales, generar credibilidad con el tiempo y luego adaptarse en tiempo real a las reacciones de la audiencia, probando variaciones a la velocidad de la máquina para descubrir qué convence.
¿Por qué es peligroso para la democracia? Ninguna democracia puede garantizar la verdad perfecta, pero la deliberación democrática depende de algo más frágil: la independencia de los votos. La «sabiduría de las multitudes» sólo funciona si la multitud está formada por diferentes personas. individuos. Cuando un operador puede hablar a través de miles de máscaras, esa independencia colapsa. Nos enfrentamos al auge del consenso sintético: enjambres que siembran narrativas en diferentes nichos y las amplifican para crear la ilusión de un consenso de base. El capital de riesgo ya está ayudando a industrializar el astroturf: Doublespeed, respaldado por Andreessen Horowitz, anuncia una forma de «orquestar acciones en miles de cuentas sociales» e imitar la «interacción natural del usuario» en dispositivos físicos para que la actividad parezca humana. Ya están surgiendo signos concretos de industrialización: el Instituto Vanderbilt de Seguridad Nacional publicó un conjunto de documentos que describen a «GoLaxy» como una máquina de influencia impulsada por IA construida en torno a la recopilación de datos, la elaboración de perfiles y personas de IA para operaciones a gran escala.
Debido a que las personas actualizan sus puntos de vista basándose en parte en evidencia social (observando a sus pares para ver qué es «normal»), los enjambres fabricados pueden hacer que los puntos de vista marginales se parezcan a las opiniones mayoritarias. Si los enjambres inundan la web con contenido duplicado dirigido a rastreadores, pueden realizar una «preparación LLM» que envenena los datos de entrenamiento en los que se basan los futuros modelos de IA (y los ciudadanos). Incluso Los llamados modelos de IA «pensantes» son vulnerables a esto.,
No podemos excluirnos de la amenaza de enjambres generativos de robots de desinformación impulsados por IA, pero podemos cambiar la economía mediante la manipulación. Necesitamos cinco cambios concretos.
En primer lugar, las plataformas de redes sociales deben alejarse del enfoque de «golpear al topo» que utilizan actualmente. En este momento, las empresas dependen de retiros episódicos: esperan hasta que una campaña de desinformación ya se haya vuelto viral y haya causado su daño antes de eliminar miles de cuentas en una sola ola. Esto es demasiado lento. En cambio, necesitamos un seguimiento continuo que busque una coordinación estadísticamente improbable. Debido a que la IA ahora puede generar texto único para cada publicación, la búsqueda de contenido copiado y pegado ya no funciona. En cambio, debemos observar el comportamiento de la red: mil usuarios pueden tuitear cosas diferentes, pero si exhiben correlaciones estadísticamente improbables en sus trayectorias semánticas o propagan narrativas con una eficiencia sincronizada que desafía la difusión humana orgánica.
En segundo lugar, debemos dejar de esperar a que los atacantes inventen nuevas tácticas antes de construir defensas. Una defensa que sólo reacciona a los trucos del ayer está destinada al fracaso. En lugar de ello, deberíamos poner a prueba de forma proactiva nuestras defensas mediante simulaciones basadas en agentes. Piense en esto como un simulacro de incendio digital o un ensayo de vacuna: los investigadores pueden construir una red social «sintética» poblada por agentes de inteligencia artificial y luego liberar sus propios enjambres de prueba en un entorno aislado. Al observar cómo estos robots de prueba intentan manipular el sistema, podemos ver qué medidas de seguridad se están desmoronando y cuáles se están resistiendo, lo que nos permite parchear las vulnerabilidades antes de que los malos actores actúen sobre ellas en el mundo real.
En tercer lugar, debemos hacer que sea costoso ser una persona falsa. Los formuladores de políticas deben fomentar los certificados criptográficos y los estándares de reputación para fortalecer la procedencia. Esto no significa obligar a todos los usuarios a entregar su documento de identidad a un gigante tecnológico; eso sería peligroso para los denunciantes y disidentes que viven bajo regímenes autoritarios. En cambio, necesitamos credenciales «verificadas pero anónimas». Imagina un sello digital que demuestre que eres una persona única sin revelarlo. cual humano eres. Si requerimos este tipo de «prueba humana» para interacciones a gran escala, hacemos que sea matemáticamente difícil y financieramente ruinoso que un operador opere en secreto diez mil cuentas.
En cuarto lugar, necesitamos una transparencia obligatoria mediante el acceso gratuito a los datos para los investigadores. No podemos defender la sociedad si el campo de batalla está escondido detrás de muros de propiedad. Actualmente, las plataformas limitan el acceso a los datos necesarios para detectar estos enjambres, dejando ciegos a los expertos independientes. La legislación debe garantizar a los investigadores académicos aprobados y a los investigadores de la sociedad civil un acceso gratuito y que preserve la privacidad a los datos de la plataforma. Sin un «derecho a estudiar» garantizado, nos vemos obligados a depender de los informes de las mismas empresas que se benefician del compromiso que generan estos enjambres.
Por último, debemos poner fin a la era de la negación plausible con un Observatorio de la Influencia de la IA. Fundamentalmente, éste no puede ser un «Ministerio de la Verdad» dirigido por el gobierno. Más bien, debe ser un ecosistema distribuido de grupos académicos y ONG independientes. Su mandato no es monitorear el contenido o determinar quién tiene razón, sino estrictamente detectar cuándo el «público» es en realidad un enjambre coordinado. Al estandarizar cómo se recopilan las pruebas de las redes tipo bot y publicar informes verificados, esta red de vigilancia independiente evitaría la parálisis del «no podemos probar nada» y establecería un registro fáctico compartido de cuándo se está construyendo nuestro discurso público.
Nada de esto garantiza la seguridad. Pero cambia la economía de la manipulación a gran escala.
La cuestión no es que la IA haga imposible la democracia. La cuestión es que cuando cuesta unos centavos coordinar una turba falsa y momentos falsificar una identidad humana, el espacio público está abierto a ataques. Las democracias no necesitan nombrar una autoridad central para determinar lo que es «verdad». Más bien, deben reconstruir las condiciones en las que la auténtica participación humana sea inequívoca. Necesitamos un entorno donde las voces reales se destaquen claramente del ruido sintético.
Lo más importante es que debemos garantizar que la manipulación encubierta y coordinada sea financieramente costosa y operativamente difícil. En este momento, un mal actor puede lanzar un enjambre masivo de bots de forma económica y segura. Necesitamos revertir esa física. El objetivo es construir un sistema en el que fingir un consenso le cueste una fortuna al atacante, en el que su red colapse como un castillo de naipes en el momento en que se descubre un robot y en el que sea técnicamente imposible hacer crecer una multitud falsa lo suficientemente grande como para engañar a la real sin ser descubierto.
– Daniel Thilo Schroeder, Gary Marcus, Jonas R. Arte
Daniel Thilo Schroeder es investigador del SINTEF. Su trabajo combina datos a gran escala y simulación para estudiar la influencia coordinada y la manipulación habilitada por la IA (danielthiloschroeder.org).
Gary Marcus, profesor emérito de la Universidad de Nueva York, es un científico cognitivo e investigador de inteligencia artificial con un gran interés en combatir la desinformación.
Jonas R. Kunst es profesor de comunicación en BI Business School, donde codirige el Centro para la Democracia y la Integridad de la Información.
