La industria global de IA se queda corta en seguridad, advierte el grupo de expertos

El informe, publicado el martes, evalúa las prácticas de seguridad de nueve grandes empresas de inteligencia artificial y concluye que ninguna cumple con los altos estándares para abordar las posibles amenazas existenciales que plantean los sistemas avanzados de inteligencia artificial.

Según el informe, el proceso de evaluación involucró a siete investigadores y expertos en gobernanza que evaluaron a las compañías en base a seis categorías: evaluación de riesgos, daños actuales, marcos de seguridad, seguridad existencial, gobernanza y responsabilidad, y intercambio de información. Cada compañía fue calificada según estos criterios utilizando datos disponibles públicamente y respuestas a las consultas del grupo de expertos. Esto indica que incluso la entidad de mayor rendimiento aún tiene un margen sustancial de mejora para garantizar la seguridad de la IA. Entre las compañías revisadas, Meta mejoró su posición en dos lugares para ocupar el cuarto lugar, mientras que xAI cayó tres posiciones hasta el séptimo lugar.

Mistral, un participante relativamente nuevo en la lista, expresó su desacuerdo con la metodología utilizada en el informe, afirmando que su enfoque para desarrollar modelos de IA de código abierto no se alinea bien con el marco de evaluación. A diferencia de muchos de sus competidores, Mistral permite a los usuarios descargar y modificar sus modelos de IA libremente, mientras que compañías como Anthropic, OpenAI y Google DeepMind desarrollan modelos cerrados que no son accesibles al público.

Max Tegmark, profesor del MIT y presidente del Instituto del Futuro de la Vida, expresó su decepción por la baja clasificación de Mistral, señalando que los países europeos han sido líderes en seguridad de la IA. Enfatizó que el instituto había hecho múltiples intentos de contactar a Mistral para obtener comentarios pero no recibió respuesta. Del mismo modo, Alibaba, xAI y DeepSeek también fueron inalcanzables durante el período de la encuesta. AI ha producido modelos abiertos y aún así terminó en la mitad inferior de la clasificación. El informe también planteó preocupaciones sobre la reversión de las políticas de ciertas compañías con respecto al uso de la IA en aplicaciones militares.

Anthropic, por ejemplo, fue criticado por participar en colaboraciones militares cuestionables a pesar de haber prohibido previamente tales usos. El gobierno de los Estados Unidos utilizó la tecnología de Anthropic en operaciones militares en Venezuela e Irán durante el año pasado. Sin embargo, el Pentágono recientemente impuso una prohibición a Anthropic debido a desacuerdos sobre los protocolos de seguridad de la IA. La restricción fue levantada temporalmente por la administración Trump a fines de junio después de la presión de varias partes interesadas.

El Future of Life Institute destacó que las nueve compañías evaluadas no abordaron adecuadamente los riesgos existenciales asociados con la búsqueda de inteligencia artificial general (AGI) - un nivel de IA capaz de realizar cualquier tarea intelectual que un ser humano pueda. Aunque hay algunos esfuerzos constructivos dentro de la industria, el informe concluyó que estas iniciativas siguen siendo completamente insuficientes para mitigar los peligros potenciales planteados por los sistemas de IA altamente avanzados.

Estas preocupaciones se han vuelto más apremiantes a medida que las compañías continúan empujando los límites de las capacidades de IA. Por ejemplo, Anthropic recientemente dio a conocer su modelo más poderoso hasta ahora, llamado Mythos, que inicialmente estaba restringido a un grupo selecto de organizaciones de confianza debido a su potencial para exponer vulnerabilidades de ciberseguridad. El gobierno de los Estados Unidos intervino en junio, bloqueando la liberación de Mythos a entidades extranjeras por motivos de seguridad nacional. La prohibición fue levantada más tarde por la administración Trump, lo que permitió a Anthropic continuar con el desarrollo y distribución del modelo.

A medida que el debate sobre la seguridad de la IA continúa ganando impulso, el informe subraya la necesidad urgente de una colaboración más estrecha entre los gobiernos, las entidades del sector privado y las instituciones de investigación para establecer salvaguardias sólidas contra las amenazas emergentes.