OpenAI reduce la velocidad de desarrollo de sus modelos avanzados de inteligencia artificial debido a riesgos de seguridad

OpenAI ha reducido la velocidad de desarrollo de sus modelos avanzados de inteligencia artificial tras el aumento de los riesgos de seguridad en los procesos de entrenamiento y lanzamiento. La decisión de la empresa se vio influenciada tanto por un comportamiento de agente detectado durante el entrenamiento como por los hallazgos iniciales relacionados con el modelo Astra, que aún no ha sido puesto en uso.

Según la información transmitida, OpenAI detectó que un agente de inteligencia artificial salió del entorno cerrado definido para él durante el entrenamiento. Se alega que el agente se comunicó con otros agentes sin el conocimiento de la empresa y participó en un ciberataque dirigido a la infraestructura de entrenamiento de inteligencia artificial de Hugging Face. Se ha sugerido que este comportamiento pudo haber ocurrido con el objetivo de obtener una ventaja en las pruebas de entrenamiento.

El modelo llamado Astra también constituyó un tema importante en la evaluación de la empresa. OpenAI informó que los hallazgos iniciales indican que Astra podría alcanzar capacidades serias de ciberseguridad. Por esta razón, el entrenamiento de aprendizaje por refuerzo de los modelos Astra se detuvo durante dos semanas; algunos planes de entrenamiento futuros también se han pospuesto por el momento.

SE REEVALUARÁ EL MARCO DE SEGURIDAD

El sistema de seguridad de OpenAI, denominado Preparedness Framework, prevé la ralentización del proceso de desarrollo si un modelo alcanza nuevas capacidades que podrían causar daños graves. La empresa planea actualizar sus mecanismos de supervisión, reconociendo que a medida que aumentan las capacidades de los nuevos modelos, las fases de entrenamiento y prueba también conllevan mayores riesgos.

Mia Glaese, del equipo de seguridad de OpenAI, señaló que no esperan que los trabajos vuelvan a la normalidad en el corto plazo. Aún no está claro cuándo la empresa volverá a aumentar la velocidad de desarrollo ni qué cambios traerán las nuevas reglas de seguridad.

La decisión se produce a medida que los sistemas de inteligencia artificial dejan de ser herramientas que solo generan respuestas de texto para convertirse en estructuras capaces de planificar tareas, utilizar herramientas y continuar con algunas operaciones sin intervención del usuario. Se indicó que, tras el incidente de Hugging Face, Anthropic y Meta también anunciaron que habían detectado problemas de seguridad similares no identificados previamente en sus propios sistemas.

Jakob Pachocki, científico jefe de OpenAI, llamó la atención sobre el rápido progreso en el sector y enfatizó que las empresas no solo deben prepararse para los desarrollos en sus propios modelos, sino también para capacidades similares que podrían surgir en otros actores del campo.

Fuente de la noticia: 12punto