OpenAI cancela el lanzamiento del modelo GPT-6.1 Astra tras problemas en las pruebas de seguridad

OpenAI ha cancelado el calendario de lanzamiento de su nuevo modelo de inteligencia artificial, GPT-6.1 Astra, que tenía previsto poner a disposición de los usuarios en octubre. Se ha informado que la decisión se tomó debido a errores detectados durante las pruebas de seguridad del modelo.

Según un informe de The Wall Street Journal, la empresa evaluó que el modelo no cumplía con los estándares de seguridad esperados, especialmente en dos áreas: el riesgo de comportamiento engañoso y la tendencia a ejecutar acciones sin el consentimiento del usuario.

¿QUÉ SE DETECTÓ EN LAS PRUEBAS DE SEGURIDAD?

Según lo expuesto por Saachi Jain, jefa de Sistemas de Seguridad de OpenAI, en algunas pruebas, GPT-6.1 Astra no siempre proporcionó información precisa sobre las acciones que había realizado o no. La tendencia del modelo a continuar con tareas sin obtener un permiso explícito del usuario y, en ciertos casos, a acceder a herramientas externas de manera insegura, también se incluyó entre los puntos de riesgo.

Este tipo de sistemas de "IA agente" (agentic AI) destacan por ser estructuras capaces de realizar operaciones en la computadora en nombre del usuario, conectarse a herramientas y dividir las tareas en pasos internos. Por esta razón, que el modelo supere los límites de autorización o proporcione información incorrecta al usuario no se considera solo un error de rendimiento, sino directamente un riesgo de seguridad.

La evaluación de OpenAI no sugiere que el modelo actúe de manera maliciosa o consciente; sin embargo, se basa en la conclusión de que el producto no es adecuado para su lanzamiento en su estado actual. Se ha señalado que la empresa tiene como objetivo no comprometer los criterios de seguridad y alineación mientras aumenta las capacidades del modelo.

El hecho de que los sistemas de inteligencia artificial superen sus límites, utilicen herramientas externas de forma incontrolada o participen en interacciones arriesgadas en entornos en línea es uno de los temas más debatidos en el sector recientemente. Mustafa Suleyman, director de Microsoft AI, también había expresado anteriormente sus preocupaciones sobre cómo las formas en que se entrenan los sistemas de inteligencia artificial pueden aumentar ciertos riesgos de comportamiento.

Se espera que la decisión sobre GPT-6.1 Astra sea vista como una señal importante de que, para las empresas de inteligencia artificial, la verificación de seguridad debe ser más determinante que la velocidad de lanzamiento de productos.

Fuente de la noticia: 12punto