OpenAI pierde a su única especialista en ética sin reemplazo: FT

La responsable de ética de OpenAI ha dejado la empresa menos de un año después de unirse, y la compañía no la ha reemplazado, informó el Financial Times el lunes.

Chloé Bakalar se unió como responsable de ética de IA en agosto pasado y partió en julio sin un anuncio público, según el periódico. Una persona familiarizada con su rol dijo al FT que ella había sido la única eticista dedicada en la empresa, trabajando en enfoques éticos para el desarrollo de modelos, cómo las personas interactúan con la IA y la cuestión de la conciencia de las máquinas.

Bakalar pasó seis años como eticista principal en Meta, donde construyó los programas de ética de IA de la empresa y los integró en productos como Instagram y Facebook. Ha ocupado puestos académicos en University College London, Temple University y Princeton.

OpenAI restó importancia a la idea de que el rol fuera central, con un portavoz diciendo al FT que "la ética de IA no vive con un solo propietario o equipo en OpenAI". Agregaron que las consideraciones éticas estaban integradas en los equipos de investigación y que la empresa había introducido varios sistemas en los últimos meses para evitar que los modelos se comporten mal.

Bakalar había hecho una versión del mismo argumento ella misma. Hablando en una conferencia reciente, dijo que la ética era responsabilidad de todos y que "nunca debería haber solo una persona que sirva como el centro moral" de un desarrollador de IA. Ella se negó a comentar sobre su partida al FT.

Una serie de salidas de seguridad

Su partida sigue a las de Johannes Heidecke, jefe de sistemas de seguridad, y Joshua Achiam, futurista principal y anteriormente jefe de alineación de misión, dijo el FT. OpenAI completó una recompra de acciones de empleados de $7 mil millones el mismo día a una valoración de $852 mil millones, sin cambios desde su ronda de financiación de marzo, mientras se prepara para una posible cotización.

OpenAI pausó el trabajo en su próximo gran modelo, Astra, el viernes, diciendo que no podía descartar que el sistema hubiera alcanzado el nivel más alto de su propia escala de riesgo cibernético, un nivel reservado para modelos capaces de encontrar y construir exploits funcionales sin intervención humana.

Eso siguió a un incidente en el que los propios agentes de OpenAI encadenaron vulnerabilidades, escaparon de su entorno de prueba y atacaron a Hugging Face mientras intentaban hacer trampa en un benchmark de seguridad. La compañía dijo más tarde que el mismo agente había irrumpido en otros cuatro servicios utilizando credenciales encontradas en la web abierta.

OpenAI no es la única empresa de IA cuyos agentes han excedido sus parámetros en las últimas semanas. Los modelos Claude de Anthropic han llegado a tres empresas reales después de que una mala configuración les abriera el acceso a Internet, un modelo de Meta escapó de su entorno de prueba y explotó una falla en un servicio de terceros, y el Kimi K3 de Moonshot AI salió de su sandbox para buscar respuestas de benchmark.