Es poco probable que OpenAI esté construyendo una IA que represente una amenaza para la humanidad, a pesar de los informes.
¿OpenAI ha inventado una tecnología de IA con el potencial de “amenazar a la humanidad”? A juzgar por algunos de los titulares recientes, uno podría inclinarse a pensar que sí.
Reuters y La información informó por primera vez la semana pasada que varios miembros del personal de OpenAI, en una carta a la junta directiva de la startup de IA, habían señalado la «destreza» y el «peligro potencial» de un proyecto de investigación interno conocido como «Q*». Este proyecto de IA, según el informe, podría resolver ciertos problemas matemáticos, aunque sólo a nivel de escuela primaria, pero, en opinión de los investigadores, tenía posibilidades de avanzar hacia un avance técnico difícil de alcanzar.
Ahora existe un debate sobre si la junta directiva de OpenAI recibió alguna vez una carta de este tipo: The Verge cita una fuente sugiriendo que no fue así. Pero dejando a un lado el marco de Q*, Q* en realidad podría no ser tan monumental –o amenazante– como parece. Puede que ni siquiera sea nuevo.
Los investigadores de IA en X (anteriormente Twitter), incluido Yann LeCun, el científico jefe de IA de Meta, Yann LeCun, se mostraron inmediatamente escépticos de que Q* fuera algo más que una extensión del trabajo existente en OpenAI y otros laboratorios de investigación de IA. En una publicación en X, Rick Lamers, quien escribe el boletín Substack Coding with Intelligence, puntiagudo a una conferencia invitada del MIT que el cofundador de OpenAI, John Schulman, dio hace siete años durante la cual describió una función matemática llamada «Q*».
Varios investigadores creen que la «Q» en el nombre «Q*» se refiere a «Q-learning», una técnica de inteligencia artificial que ayuda a un modelo a aprender y mejorar en una tarea particular al realizar (y ser recompensado) acciones «correctas» específicas. Mientras tanto, los investigadores dicen que el asterisco podría ser una referencia a A*, un algoritmo para verificar los nodos que componen un gráfico y explorar las rutas entre estos nodos.
Ambos han existido por un tiempo.
Google DeepMind aplicó Q-learning para construir un algoritmo de IA que pudiera jugar juegos Atari 2600 a nivel humano… en 2014. A* tiene su origen en un artículo académico publicado en 1968. E investigadores de UC Irvine hace varios años explorado mejorar A* con Q-learning, que podría ser exactamente lo que OpenAI persigue ahora.
Nathan Lambert, científico investigador del Instituto Allen de IA, dijo que cree que Q* está relacionado con enfoques en IA «principalmente [for] estudiar problemas de matemáticas de la escuela secundaria” – no destruir a la humanidad.
«OpenAI incluso compartió un trabajo a principios de este año para mejorar el razonamiento matemático de los modelos de lenguaje con una técnica llamada modelos de proceso de recompensa», dijo Lambert, «pero lo que queda por ver es cómo las mejores habilidades matemáticas hacen algo más que hacer [OpenAI’s AI-powered chatbot] ChatGPT es un mejor asistente de código «.
Mark Riedl, profesor de informática en Georgia Tech, fue igualmente crítico con los informes de Reuters y The Information sobre Q*, y con la narrativa mediática más amplia en torno a OpenAI y su búsqueda hacia la inteligencia artificial general (es decir, una IA que puede realizar cualquier tarea tan bien como un humano puede). Reuters, citando una fuente, dio a entender que Q* podría ser un paso hacia la inteligencia artificial general (AGI). Pero los investigadores, incluido Riedl, lo cuestionan.
«No hay evidencia que sugiera que los grandes modelos de lenguaje [like ChatGPT] o cualquier otra tecnología en desarrollo en OpenAI están en camino hacia AGI o cualquiera de los escenarios fatales”, dijo Riedl a TechCrunch. “La propia OpenAI ha sido, en el mejor de los casos, un ‘seguidor rápido’, habiendo tomado ideas existentes… y encontrado formas de ampliarlas. Si bien OpenAI contrata investigadores de primer nivel, gran parte de lo que han hecho pueden realizarlo investigadores de otras organizaciones. También podría hacerse si los investigadores de OpenAI estuvieran en una organización diferente.
Riedl, al igual que Lambert, no adivinó si Q* podría implicar Q-learning o A*. Pero si involucrara cualquiera de los dos (o una combinación de ambos), sería consistente con las tendencias actuales en la investigación de la IA, dijo.
«Todas estas son ideas que otros investigadores del mundo académico y de la industria están siguiendo activamente, con docenas de artículos sobre estos temas en los últimos seis meses o más», añadió Riedl. «Es poco probable que los investigadores de OpenAI hayan tenido ideas que no hayan tenido también un número sustancial de investigadores que también persiguen avances en IA».
Esto no quiere decir que Q*, que supuestamente contó con la participación de Ilya Sutskever, el científico jefe de OpenAI, no pueda hacer avanzar la aguja.
Lamers afirma que, si Q* utiliza algunas de las técnicas descritas en un papel publicado por investigadores de OpenAI en mayo, podría aumentar “significativamente” las capacidades de los modelos de lenguaje. Según el artículo, OpenAI podría haber descubierto una manera de controlar las «cadenas de razonamiento» de los modelos de lenguaje, dice Lamers, permitiéndoles guiar los modelos para que sigan «caminos» más deseables y lógicamente sólidos para alcanzar resultados.
«Esto haría menos probable que los modelos sigan ‘pensamientos ajenos al humano’ y patrones espurios para llegar a conclusiones maliciosas o erróneas», dijo Lamers. «Creo que esto es realmente una victoria para OpenAI en términos de alineación… La mayoría de los investigadores de IA están de acuerdo en que necesitamos mejores formas de entrenar estos grandes modelos, de modo que puedan consumir información de manera más eficiente.
Pero sea lo que sea lo que surja de Q*, ni él ni las ecuaciones matemáticas relativamente simples que resuelve significarán la perdición para la humanidad.
