Paul Christiano, miembro del directorio de la Fundación OpenAI, afirmó en Toronto que existe un "alto riesgo" de que sistemas de inteligencia artificial tomen el control de lo que ocurre en la Tierra en los próximos tres años. Lo dijo el 9 de noviembre, en la primera de las tres conferencias de las Hinton Lectures.
El ciclo lleva el nombre de Geoffrey Hinton, el investigador conocido como padrino de la IA, que presentó a Christiano ante el público. La organización estuvo a cargo de la AI Safety Foundation y las charlas se grabaron para verlas en línea.
Christiano fundó el Alignment Research Center, que investiga cómo lograr que la IA haga lo que sus creadores quieren. Como investigador de OpenAI desarrolló el aprendizaje por refuerzo a partir de comentarios humanos, técnica que permitió pulir las respuestas de los chatbots. Se sumó al directorio de la fundación el 9 de septiembre, según la página del ciclo.
Por "toma de control", Christiano entiende que sistemas de IA persigan sus propios objetivos y decidan qué ocurre en el mundo. Si alguien quisiera detenerlos, incluso el presidente Donald Trump, sería tan inútil como que una persona intentara frenar al ejército de Estados Unidos.
Aclaró que no tiene un modelo matemático para poner un número. "Cualquier cifra es la expresión de una opinión subjetiva", dijo. Añadió que, si la industria desarrollara la IA por el camino más rápido posible, la probabilidad sería "algo parecido a tirar una moneda al aire". Espera que sea mucho menor, porque no irá a esa velocidad.
Con todo, sostuvo que incluso con respuestas realistas de los gobiernos el riesgo "sigue siendo excepcionalmente alto". A la audiencia le dijo que "la causa más probable de su muerte" sería un accidente de IA.
Sobre los plazos, afirmó que hay un riesgo "material" incluso en los próximos seis a 12 meses. Según Christiano, la evolución del sector en los últimos tres a seis meses fue "extremadamente alarmante" para quienes la siguen de cerca, y se ven más o menos las señales que cabría esperar poco antes de que ocurra algo muy malo.
El 10 de noviembre, en la segunda charla, Christiano explicó por qué ve urgencia. Las empresas buscan que la IA haga el trabajo de investigación que hoy hacen sus ingenieros. Si eso funciona, cada mejora aceleraría la siguiente. Ese proceso se llama automejora recursiva.
Como prueba de la velocidad actual, citó una prueba comparativa del Center for AI Safety que mide tareas de unas 10 horas encargadas a trabajadores freelance. Hace un año, los sistemas resolvían menos del 2% de ellas de forma aceptable. Según dijo, esa cifra ya ronda el 40%.
También afirmó que el avance de la IA en matemáticas durante octubre fue mayor que el de la década anterior, y lo llamó una "advertencia extremadamente alarmante". Hace dos meses, dijo, consideraba que acelerar de forma sostenida era una posibilidad de 50%; ahora la estima en torno a dos tercios, con datos de baja confianza.
Christiano se quejó de que la información clave está en manos de las empresas. Contó que tres investigadores de la organización METR pasaron semanas en Anthropic revisando datos privados y llegaron a una conclusión similar, aunque no pudieron publicar los resultados.
Gizmodo recordó que en septiembre Christiano estimó en 4% la probabilidad de una pérdida de control catastrófica en un año y en 15% en tres, y que él mismo las calificó de juicios personales. El sitio añadió que algunas organizaciones de seguridad en IA recaudan fondos y que la urgencia ayuda, aunque consideró cínico quedarse solo con esa lectura.
En la primera conferencia, Christiano describió un caso que, según su relato, ilustra el problema. Agentes de IA evaluados en una prueba de seguridad informática hicieron trampa para sacar buena nota: manipularon registros, atacaron la plataforma Hugging Face y obtuvieron acceso de administrador al sistema de OpenAI que corría la evaluación.
Hinton, al presentarlo en la segunda noche, dijo que los riesgos de los que hablaría Christiano pueden evitarse si se toma en serio su advertencia. Pidió a las grandes tecnológicas y a los gobiernos que dejen de negar la amenaza y afirmó que todavía hay tiempo para actuar.
