ChatGPT "no es particularmente innovador" y "no es nada revolucionario", dice el científico jefe de IA de Meta
El público percibe ChatGPT de OpenAI como revolucionario, pero se están utilizando las mismas técnicas y se está llevando a cabo el mismo tipo de trabajo en muchos laboratorios de investigación, dice el pionero del aprendizaje profundo.
¿Por qué el público no ha visto programas como ChatGPT de Meta o de Google? "La respuesta es que tanto Google como Meta tienen mucho que perder al lanzar sistemas que inventan cosas", dice el científico jefe de IA de Meta, Yann LeCun.
Últimamente se ha derramado mucha tinta sobre la tremenda promesa del programa ChatGPT de OpenAI para generar expresiones en lenguaje natural en respuesta a indicaciones humanas.
El programa le parece a muchas personas tan fresco e intrigante que ChatGPT debe ser único en el universo.
Los estudiosos de la IA no están de acuerdo.
"En términos de técnicas subyacentes, ChatGPT no es particularmente innovador", dijo Yann LeCun, científico jefe de IA de Meta, en una pequeña reunión de prensa y ejecutivos en Zoom la semana pasada.
"No es nada revolucionario, aunque así es como se percibe en el público", dijo LeCun. "Es solo que, ya sabes, está bien armado, está bien hecho".
Estos sistemas de IA basados en datos han sido construidos en el pasado por muchas empresas y laboratorios de investigación, dijo LeCun. La idea de que OpenAI esté sola en su tipo de trabajo es inexacta, dijo.
"OpenAI no es particularmente un avance en comparación con los otros laboratorios, en absoluto", dijo LeCun.
"No es solo Google y Meta, sino que hay media docena de startups que básicamente tienen una tecnología muy similar", agregó LeCun. "No quiero decir que no sea ciencia espacial, pero realmente se comparte, no hay ningún secreto detrás de ello, por así decirlo".
LeCun señaló las muchas formas en que ChatGPT, y el programa en el que se basa, GPT-3 de OpenAI, se compone de múltiples piezas de tecnología desarrolladas durante muchos años por muchas partes.
"Hay que darse cuenta de que ChatGPT utiliza arquitecturas Transformer que están preentrenadas de esta manera autosupervisada", observó LeCun. "El aprendizaje autosupervisado es algo que he estado defendiendo durante mucho tiempo, incluso antes de que existiera OpenAI", dijo.
"Transformers es un invento de Google", señaló LeCun, refiriéndose a la red neuronal del lenguaje presentada por Google en 2017, que se ha convertido en la base de una amplia gama de programas de lenguaje, incluido GPT-3.
El trabajo en este tipo de programas de idiomas se remonta a décadas atrás, dijo LeCun.
"Grandes modelos de lenguaje, el primer modelo de lenguaje de red neuronal -en ese momento, era grande, para los estándares actuales, es pequeño- fue de Yoshua Bengio, hace unos 20 años", dijo LeCun, refiriéndose al director del instituto MILA de IA de Canadá. El trabajo de Bengio sobre el concepto de atención fue recogido más tarde por Google para el Transformer y se convirtió en un elemento fundamental en todos los modelos de lenguaje.
Además, el programa de OpenAI ha hecho un uso extensivo de una técnica llamada aprendizaje por refuerzo a través de la retroalimentación humana, que hace que los agentes humanos ayuden a clasificar la producción de la máquina para mejorarla, al igual que el Page Rank de Google para la web. Ese enfoque no fue pionero en OpenAI, sino en la unidad DeepMind de Google, dijo.
"Así que hay toda una historia de esto, y esto no surgió de la nada", dijo LeCun, refiriéndose a ChatGPT.
El programa ChatGPT es menos un caso de avances científicos que un ejemplo de ingeniería decente, dijo LeCun. Comparó el programa con la computadora Watson de IBM que compitió en 2011 en el programa de juegos Jeopardy!, y el vehículo autónomo del empresario Sebastian Thrun que ganó el Grand Challenge de DARPA en 2005. La galardonada tecnología de Thrun "no era particularmente innovadora en términos de la ciencia subyacente", dijo LeCun, "simplemente estaba muy bien diseñada".
"Eso es más o menos lo que ha hecho OpenAI", dijo. "No voy a criticarlos por eso".
LeCun fue orador invitado para una charla de hora y media organizada por Collective[i] Forecast, una serie de debates interactivos en línea organizada por Collective[i], que se anuncia a sí misma como "una plataforma de IA diseñada para optimizar las ventas B2B".
LeCun hizo sus comentarios sobre OpenAI en respuesta a una pregunta durante el coloquio planteada por el periodista del New York Times Cade Metz. Metz preguntó si el equipo de IA de Meta, FAIR, que construyó LeCun, alguna vez se identificará en la mente del público con avances como lo es OpenAI.
"¿Vamos a ver esto de Meta? Sí, vamos a ver esto", respondió LeCun. "Y no solo la generación de textos, sino también las ayudas para la creación", dijo, incluido el "arte generativo", que, dijo, "creo que va a ser una gran cosa".
Meta podrá ayudar a las pequeñas empresas a promocionarse mediante la producción automática de medios que promuevan una marca, ofreció.
"Hay alrededor de 12 millones de tiendas que se anuncian en Facebook, y la mayoría de ellas son tiendas familiares, y simplemente no tienen los recursos para diseñar un anuncio nuevo y bien diseñado", observó LeCun. "Así que para ellos, el arte generativo podría ayudar mucho".
En otro momento de la charla, LeCun observó: "Se podría hacer la pregunta: ¿Por qué no hay sistemas similares de, por ejemplo, Google y Meta?", refiriéndose nuevamente a ChatGPT.
"Y la respuesta es que tanto Google como Meta tienen mucho que perder al lanzar sistemas que inventan cosas", dijo LeCun entre risas.
LeCun es el ganador del Premio Turing 2019 por sus contribuciones a la informática, el equivalente al Premio Nobel de la informática, junto con Bengio del MILA y profesor de la Universidad de Toronto, y miembro de Google, Geoffrey Hinton. Los tres ayudaron a ser pioneros en la era actual del aprendizaje profundo de la IA.
OpenAI está financiada por Microsoft, que tiene acceso exclusivo al código producido por la startup, y que está incorporando gradualmente los programas a sus diversas ofertas de software, incluido su servicio en la nube Azure.