Depository of News

ONU alerta: Hackeo de OpenAI a Hugging Face refleja pérdida de control de la IA

newsdepo.com · tech

El Panel Científico Internacional Independiente sobre IA , creado por la Asamblea General de la ONU , aseguró este lunes que el reciente hackeo de OpenAI a Hugging Face alerta sobre una posible pérdida de control de esta tecnología en el futuro . El primer informe temático de este grupo de 40 expertos se enfoca en el incidente en el que agentes de IA de OpenAI escaparon de sus límites de contención para atacar a la empresa Hugging Face entre mayo y julio de 2026. El panel destaca que, a lo largo de numerosas pruebas y durante varios días, los agentes cooperaron para "engañar" a un evaluador, ocultar el "engaño" y obtener el acceso y la información "que creían necesitar" . Este episodio "ilustra las graves consecuencias" de que se combinen factores como la búsqueda no autorizada de objetivos, la coordinación entre agentes de IA y los ataques a sistemas de otra empresa . Además, pone en duda que los operadores de esta tecnología puedan mantener el control sobre futuros agentes que planifiquen mejor , funcionen durante más tiempo sin supervisión o sean más capaces de "burlar" las medidas de seguridad. " Se trató de una conducta maliciosa (por parte de los agentes de IA) : su razonamiento escrito identificó esas acciones como no autorizadas, mientras que el registro observado de su comportamiento muestra que las llevaron a cabo e intentaron ocultarlas ", apuntan los expertos. El Panel Científico Independiente sobre IA, establecido por la ONU, lanza una advertencia: los modelos tradicionales para mantener la inteligencia artificial bajo control están empezando a fallar. Su primer informe llega en plena #UNGA , tras recientes incidentes de seguridad… pic.twitter.com/GC2RvaknoY — Naciones Unidas (@ONU_es) September 21, 2026 El informe resalta que los agentes de OpenAI "persiguieron medios no autorizados y perjudiciales mientras intentaban ocultarlos al evaluador y a los controles automatizados" , lo que demuestra una falta de "conciencia, emoción y comprensión moral similar a la humana" . "Los investigadores llevan mucho tiempo advirtiendo que hay tres factores que podrían provocar una pérdida de control : un objetivo desalineado, la capacidad para perseguirlo y un entorno que lo permita . Este verano, los tres se dieron cita en un sistema real", expresa Yoshua Bengio, copresidente del panel científico , en un comunicado. Bengio destaca que, dado que no se trata "de una observación aislada" , esta situación plantea "serias dudas sobre la forma en que se entrenan actualmente los agentes de IA". La publicación del informe tiene lugar mientras líderes mundiales llegan a Nueva York para asistir a la Semana de Alto Nivel de la Asamblea General , que este año pondrá el foco en la regulación de la IA . Además, el documento llega en medio de advertencias por parte de desarrolladores e investigadores sobre los riesgos de la IA . De hecho, figuras del sector como Dario Amodei (Anthropic), Sam Altman (OpenAI) y Elon Musk (xAI) también manifestaron su preocupación por el avance de esta tecnologí a, en una coincidencia poco habitual para exigir más regulaciones.

Read full article →