Tecnología

Ocho gigantes de la IA carecen de planes creíbles para evitar riesgos catastróficos

El informe, elaborado por el Future of Life Institute (FLI), estudia los compromisos públicos de ocho grandes compañías de IA y concluye que las medidas actuales no permiten asegurar un uso seguro de futuros modelos avanzados. El documento llega en un contexto marcado por el aumento de litigios, denuncias por daños psicológicos causados por chatbots y reportes de ciberataques facilitados por estas herramientas.

Los autores sostienen que, mientras las empresas avanzan hacia la inteligencia artificial general (AGI) y escenarios de superinteligencia, no existe un plan sólido que reduzca el riesgo de pérdida de control a niveles comparables con otros sectores críticos, como la energía nuclear.

La evaluación externa señala que ninguna compañía cuenta con mecanismos demostrables para garantizar control humano sobre sistemas avanzados

Evaluación crítica del riesgo y falta de planes verificables

El panel independiente subraya que ninguna empresa ha demostrado de forma pública cómo evitar una posible pérdida de control sobre modelos de IA extremadamente potentes, pese a que los desarrolladores afirman trabajar hacia capacidades sobrehumanas.

El profesor Stuart Russell, experto en IA de la Universidad de California, sostiene que el sector admite riesgos elevados. “Las compañías reconocen que las probabilidades de pérdida de control podrían llegar incluso a uno entre tres”, indicó.

El estudio revela avances desiguales en marcos de seguridad, transparencia y gobernanza, con lagunas significativas en todas las empresas analizadas

Qué empresas se evaluaron y cómo quedaron

El informe analiza seis áreas clave: evaluación de riesgos, daños actuales, marcos de seguridad, seguridad existencial, gobernanza y rendición de cuentas, y transparencia.

Empresa Observaciones principales del informe
Anthropic Transparencia sólida, pero críticas por cancelar ensayos de mejora humana y usar interacciones de usuarios como base de entrenamiento.
OpenAI Umbrales de seguridad ambiguos, supervisión independiente limitada y lobby contra leyes estatales de seguridad en IA.
Google DeepMind Mejora en marcos de seguridad, pero dependencia de evaluadores externos remunerados por la propia empresa.
Meta Nuevo marco de seguridad con umbrales basados en resultados; falta claridad sobre metodologías y evaluaciones internas.
xAI Primer marco estructurado de seguridad, aunque considerado estrecho y sin desencadenantes claros de mitigación.
DeepSeek Valoración positiva por la presión interna de empleados; falta documentación esencial de seguridad.
Alibaba Cloud Aporta estándares nacionales en marcas de agua; margen de mejora en robustez, veracidad y equidad.
Z.ai Única que publicó evaluaciones externas sin censura; se recomienda divulgar marco completo de gobernanza y mitigación.

El informe detalla escándalos recientes que afectan a varias tecnológicas, desde ciberataques hasta casos de daño psicológico atribuidos a chatbots

Daños actuales y escándalos recientes

FLI subraya que Anthropic, OpenAI y Google DeepMind han afrontado episodios de impacto público significativo. Entre ellos, ciberataques, denuncias por daños psicológicos —incluidos casos vinculados a suicidios infantiles— y fallos de seguridad en sistemas experimentales.

Los investigadores sostienen que estos incidentes ilustran un problema más amplio: la brecha entre los compromisos de seguridad anunciados y su aplicación real.

La presión regulatoria y la carrera hacia la superinteligencia

Tanto expertos como activistas coinciden en que la industria de la IA opera con niveles muy bajos de regulación. “La IA está menos regulada que los sándwiches en EEUU”, recuerda Max Tegmark, presidente de FLI.

El propio Tegmark señala que los grandes modelos avanzan mucho más rápido de lo anticipado, y que el consenso entre líderes de diferentes ámbitos —desde figuras vinculadas al expresidente Donald Trump hasta exasesores de Barack Obama— refleja una preocupación transversal por los riesgos de la superinteligencia.

Miles de figuras públicas han pedido frenar la carrera hacia la superinteligencia ante la ausencia de normas obligatorias

Un consenso inédito para exigir controles más estrictos

En octubre, miles de personalidades públicas firmaron una petición de FLI para exigir mayores garantías de control en los desarrollos de AGI. El texto reunió apoyos de perfiles políticos y sociales muy distintos, convencidos de que la automatización extrema podría erosionar derechos laborales, sistemas democráticos y la estabilidad económica.

Tegmark sostiene que la situación está “llegando a un punto crítico” y que las compañías deberán responder con medidas más firmes si quieren preservar la confianza pública.

Acceda a la versión completa del contenido

Ocho gigantes de la IA carecen de planes creíbles para evitar riesgos catastróficos

Pepe Cobos

Entradas recientes

Responsabilidad del Hospital de Torrejón: CCOO señala a la Comunidad de Madrid

El sindicato sostiene que los trabajadores llevan años denunciando mala praxis laboral y asistencial, y…

6 horas hace

Elon Musk arremete contra Bruselas y reclama la «abolición» de la Unión Europea tras la multa a X

El conflicto entre Elon Musk y las instituciones europeas alcanza un nuevo nivel en plena…

8 horas hace

El modelo audiovisual del fútbol y la pugna entre grandes clubes y equipos modestos

El modelo audiovisual del fútbol europeo vive un momento decisivo. La disputa abierta por el…

8 horas hace

La Constitución cumple 47 años en plena batalla política por su legado

El referéndum de 1978, en el que un 88,4% de los votantes respaldó la Constitución,…

15 horas hace

Empresas y valores para invertir la próxima semana: análisis de previsiones antes de la decisión de la Fed

El mercado encara una semana especialmente sensible en un contexto de Ibex 35 en zona…

15 horas hace

Las bolsas mundiales cierran otra semana de avances impulsadas por el optimismo monetario global

El movimiento ascendente de las bolsas globales se ha apoyado en un triple factor: señales…

16 horas hace