La IA no está chocando contra una pared, simplemente se está volviendo demasiado inteligente para los puntos de referencia, dice Anthropic
A medida que mejoran su autocorrección y su razonamiento, los últimos LLM encuentran nuevas capacidades a un ritmo que hace que sea más difícil medir todo lo que pueden hacer.
Anurag Rana [izquierda] de Bloomberg conversa con Michael Gerstenhaber [centro] de Anthropic y Vijay Karunamurthy de Scale AI, durante la conferencia de Bloomberg Intelligence sobre "Gen AI: ¿Puede cumplir la promesa de productividad?"
Los grandes modelos de lenguaje y otras formas de inteligencia artificial generativa están mejorando constantemente en términos de "autocorrección", abriendo posibilidades para nuevos tipos de trabajo que pueden realizar, incluida la "IA agente", según el vicepresidente de Anthropic, un proveedor líder. de modelos de IA.
"Se está volviendo muy bueno en autocorrección y autorazonamiento", dijo Michael Gerstenhaber, jefe de tecnologías API en Anthropic, que fabrica la familia Claude de LLM que compiten con GPT de OpenAI.
"Cada dos meses presentamos un nuevo modelo que ha ampliado lo que pueden hacer los LLM", dijo Gerstenhaber durante una entrevista el miércoles en Nueva York con Anurag Rana de Bloomberg Intelligence. "Lo más interesante de esta industria es que con cada revisión de modelo se desbloquean nuevos casos de uso".
Los modelos más recientes incluyen la planificación de tareas, como por ejemplo cómo realizar tareas en una computadora como lo haría una persona; por ejemplo, pedir pizza en línea.
"Planificar pasos intersticiales es algo que ayer no era posible y hoy es posible", dijo Gerstenhaber sobre la realización de esta tarea paso a paso.
La discusión, que también incluyó a Vijay Karunamurthy, tecnólogo jefe de la startup de IA Scale AI, fue parte de una conferencia de un día de duración organizada por Bloomberg Intelligence para explorar el tema "Gen AI: ¿Puede cumplir la promesa de productividad?"
Los comentarios de Gerstenhaber van en contra de los argumentos de los escépticos de la IA de que la generación de IA, y el resto de la IA en general, está "chocando contra una pared", lo que significa que el rendimiento de cada nueva generación de modelos es cada vez menor.
El experto en IA Gary Marcus advirtió en 2022 que simplemente crear modelos de IA con cada vez más parámetros no produciría mejoras equivalentes al aumento de tamaño. Marcus ha seguido reiterando esa advertencia.
Anthropic, dijo Gerstenhaber, ha estado impulsando lo que se puede medir con los puntos de referencia actuales de IA.
"Incluso si parece que está disminuyendo de alguna manera, es porque estamos habilitando clases [de funcionalidad] completamente nuevas, pero hemos saturado los puntos de referencia y la capacidad de realizar tareas más antiguas", dijo Gerstenhaber. En otras palabras, cada vez es más difícil medir lo que pueden hacer los modelos actuales de generación de IA.
Tanto Gerstenhaber como Karunamurthy de Scale AI argumentaron que "escalar" la generación de IA (hacer que los modelos de IA sean más grandes) está ayudando a avanzar en este tipo de redes neuronales autocorrectoras.
"Definitivamente estamos viendo un aumento cada vez mayor de la inteligencia", afirmó Gerstenhaber. "Una de las razones por las que no necesariamente pensamos que estamos chocando contra un muro con la planificación y el razonamiento es que recién estamos aprendiendo en este momento cuáles son las formas en que las tareas de planificación y razonamiento deben estructurarse para que los modelos puedan adaptarse a una amplia variedad de entornos nuevos que no han intentado superar".
"Estamos en los primeros días", afirma Gerstenhaber. "Estamos aprendiendo de los desarrolladores de aplicaciones lo que intentan hacer y lo que [el modelo de lenguaje] hace mal, y podemos integrar eso en el LM".
Parte de ese descubrimiento, dijo Gerstenhaber, tiene que ver con la velocidad de la investigación fundamental en Anthropic. Sin embargo, parte de esto tiene que ver con aprender escuchando "lo que la industria nos dice que necesitan de nosotros y nuestra capacidad para adaptarnos a eso; estamos aprendiendo mucho en tiempo real".
Los clientes tienden a comenzar con modelos grandes y luego, a veces, reducen el tamaño a modelos de IA más simples para adaptarse a un propósito, dijo Karunamurthy de Scale AI. "Está muy claro que primero piensan si una IA es lo suficientemente inteligente como para realizar una prueba bien, luego, si es lo suficientemente rápida para satisfacer sus necesidades en la aplicación y luego lo más barata posible".