El informe, elaborado por el Future of Life Institute (FLI), estudia los compromisos públicos de ocho grandes compañías de IA y concluye que las medidas actuales no permiten asegurar un uso seguro de futuros modelos avanzados. El documento llega en un contexto marcado por el aumento de litigios, denuncias por daños psicológicos causados por chatbots y reportes de ciberataques facilitados por estas herramientas.
Los autores sostienen que, mientras las empresas avanzan hacia la inteligencia artificial general (AGI) y escenarios de superinteligencia, no existe un plan sólido que reduzca el riesgo de pérdida de control a niveles comparables con otros sectores críticos, como la energía nuclear.
La evaluación externa señala que ninguna compañía cuenta con mecanismos demostrables para garantizar control humano sobre sistemas avanzados
Evaluación crítica del riesgo y falta de planes verificables
El panel independiente subraya que ninguna empresa ha demostrado de forma pública cómo evitar una posible pérdida de control sobre modelos de IA extremadamente potentes, pese a que los desarrolladores afirman trabajar hacia capacidades sobrehumanas.
El profesor Stuart Russell, experto en IA de la Universidad de California, sostiene que el sector admite riesgos elevados. “Las compañías reconocen que las probabilidades de pérdida de control podrían llegar incluso a uno entre tres”, indicó.
El estudio revela avances desiguales en marcos de seguridad, transparencia y gobernanza, con lagunas significativas en todas las empresas analizadas
Qué empresas se evaluaron y cómo quedaron
El informe analiza seis áreas clave: evaluación de riesgos, daños actuales, marcos de seguridad, seguridad existencial, gobernanza y rendición de cuentas, y transparencia.
| Empresa | Observaciones principales del informe |
|---|---|
| Anthropic | Transparencia sólida, pero críticas por cancelar ensayos de mejora humana y usar interacciones de usuarios como base de entrenamiento. |
| OpenAI | Umbrales de seguridad ambiguos, supervisión independiente limitada y lobby contra leyes estatales de seguridad en IA. |
| Google DeepMind | Mejora en marcos de seguridad, pero dependencia de evaluadores externos remunerados por la propia empresa. |
| Meta | Nuevo marco de seguridad con umbrales basados en resultados; falta claridad sobre metodologías y evaluaciones internas. |
| xAI | Primer marco estructurado de seguridad, aunque considerado estrecho y sin desencadenantes claros de mitigación. |
| DeepSeek | Valoración positiva por la presión interna de empleados; falta documentación esencial de seguridad. |
| Alibaba Cloud | Aporta estándares nacionales en marcas de agua; margen de mejora en robustez, veracidad y equidad. |
| Z.ai | Única que publicó evaluaciones externas sin censura; se recomienda divulgar marco completo de gobernanza y mitigación. |
El informe detalla escándalos recientes que afectan a varias tecnológicas, desde ciberataques hasta casos de daño psicológico atribuidos a chatbots
Daños actuales y escándalos recientes
FLI subraya que Anthropic, OpenAI y Google DeepMind han afrontado episodios de impacto público significativo. Entre ellos, ciberataques, denuncias por daños psicológicos —incluidos casos vinculados a suicidios infantiles— y fallos de seguridad en sistemas experimentales.
Los investigadores sostienen que estos incidentes ilustran un problema más amplio: la brecha entre los compromisos de seguridad anunciados y su aplicación real.
La presión regulatoria y la carrera hacia la superinteligencia
Tanto expertos como activistas coinciden en que la industria de la IA opera con niveles muy bajos de regulación. “La IA está menos regulada que los sándwiches en EEUU”, recuerda Max Tegmark, presidente de FLI.
El propio Tegmark señala que los grandes modelos avanzan mucho más rápido de lo anticipado, y que el consenso entre líderes de diferentes ámbitos —desde figuras vinculadas al expresidente Donald Trump hasta exasesores de Barack Obama— refleja una preocupación transversal por los riesgos de la superinteligencia.
Miles de figuras públicas han pedido frenar la carrera hacia la superinteligencia ante la ausencia de normas obligatorias
Un consenso inédito para exigir controles más estrictos
En octubre, miles de personalidades públicas firmaron una petición de FLI para exigir mayores garantías de control en los desarrollos de AGI. El texto reunió apoyos de perfiles políticos y sociales muy distintos, convencidos de que la automatización extrema podría erosionar derechos laborales, sistemas democráticos y la estabilidad económica.
Tegmark sostiene que la situación está “llegando a un punto crítico” y que las compañías deberán responder con medidas más firmes si quieren preservar la confianza pública.
