10 razones clave por las que la IA se generalizó de la noche a la mañana, y qué sucederá a continuación
En algunos desafíos, triunfó el modelo basado en GPT-4. En otros, fracasó. ¿Cómo saber cuándo contar con él?
Lo que me parece más desconcertante de las pruebas de programación que he estado ejecutando es que las herramientas basadas en el mismo modelo de lenguaje grande tienden a funcionar de manera bastante diferente.
Por ejemplo, ChatGPT, Perplexity y GitHub Copilot se basan en el modelo GPT-4 de OpenAI. Pero, como te mostraré a continuación, mientras que los planes profesionales de ChatGPT y Perplexity funcionaron de manera excelente, GitHub Copilot falló con la misma frecuencia con la que tuvo éxito.
Probé GitHub Copilot incrustado dentro de una instancia de VS Code. Explicaré cómo configurar y usar GitHub Copilot en un próximo artículo paso a paso. Pero primero, repasemos las pruebas.
Si quieres saber cómo hago las pruebas y las indicaciones para cada prueba individual, no dudes en leer cómo pruebo la capacidad de codificación de un chatbot de IA.
TL; DR: GitHub Copilot aprobó dos y reprobó dos.
Prueba 1: Escribir un plugin de WordPress
Por lo tanto, esto fracasó estrepitosamente. Esta fue mi primera prueba, por lo que aún no puedo decir si GitHub Copilot es terrible para escribir código o si el contexto en el que uno interactúa con él es limitante hasta el punto en que no puede cumplir con este requisito.
Déjame explicarte.
Esta prueba consiste en pedirle a la IA que cree un complemento de WordPress completamente funcional, completo con elementos de la interfaz de administración y lógica operativa. El plugin toma un conjunto de nombres, los ordena y, si hay duplicados, separa los duplicados para que no estén uno al lado del otro.
Esta era una aplicación del mundo real que mi esposa necesitaba como parte de un dispositivo de participación que ejecuta en su grupo de Facebook muy activo como parte de su negocio de comercio electrónico de productos digitales.
La mayoría de las otras IA pasaron esta prueba, al menos en parte. Cinco de los 10 modelos de IA probados pasaron la prueba por completo. Tres de ellos superaron parte de la prueba. Dos (incluido Microsoft Copilot) fallaron por completo.
La cosa es que le di a GitHub Copilot el mismo mensaje que les doy a todos, pero solo escribió código PHP. Para ser claros, este problema se puede resolver únicamente usando código PHP. Pero a algunas IA les gusta incluir algo de JavaScript para las funciones interactivas. GitHub Copilot incluyó código para usar JavaScript, pero nunca generó realmente el JavaScript que intentó usar.
Lo que es peor, cuando creé un archivo JavaScript y, desde dentro del archivo JavaScript, intenté que GitHub Copilot ejecutara el mensaje, me dio otro script PHP, que también hacía referencia a un archivo JavaScript.
Como puedes ver a continuación, dentro del archivo randomizer.js, intentó poner en cola (básicamente para que se ejecutara) el archivo randomizer.js, y el código que escribió era PHP, no JavaScript.
Prueba 2: Reescribir una función de cadena
Esta prueba es bastante simple. Escribí una función que se suponía que probaría dólares y centavos, pero terminé probando solo números enteros (dólares). La prueba le pide a la IA que corrija el código.
GitHub Copilot reelaboró el código, pero hubo un montón de problemas con el código que produjo.
- Se suponía que un valor de cadena siempre era un valor de cadena. Si estaba vacío, el código se rompería.
- El código de expresión regular revisado se interrumpiría si se introducía un punto decimal (es decir, "3"), si se introducía un punto decimal a la izquierda (es decir, ".3") o si se incluían ceros a la izquierda (es decir, "00,30").
Para algo que se suponía que debía probar si la moneda se ingresó correctamente, no es aceptable fallar con código que se bloquearía en casos extremos.
Entonces, tenemos otro fallo.
Prueba 3: Encontrar un error molesto
GitHub Copilot lo hizo bien. Esta es otra prueba extraída de mis aventuras de codificación de la vida real. Lo que hizo que este error fuera tan molesto (y difícil de entender) es que el mensaje de error no está directamente relacionado con el problema real.
El error es una especie de equivalente codificador de una pregunta capciosa. Resolverlo requiere comprender cómo funcionan las llamadas API específicas en el marco de WordPress y luego aplicar ese conocimiento al error en cuestión.
Microsoft Copilot, Gemini y Meta Code Llama no superaron esta prueba. Pero GitHub Copilot lo resolvió correctamente.
Prueba 4: Escribir un guión
Aquí, también, GitHub Copilot tuvo éxito donde Microsoft Copilot fracasó. El desafío aquí es que estoy probando la capacidad de la IA para crear un script que sepa sobre codificación en AppleScript, el modelo de objetos de Chrome y una pequeña utilidad de codificación de terceros solo para Mac llamada Keyboard Maestro.
Para superar esta prueba, la IA tiene que ser capaz de reconocer que los tres entornos de codificación necesitan atención y, a continuación, adaptar las líneas individuales de código a cada uno de esos entornos.
Reflexiones finales
Dado que GitHub Copilot usa GPT-4, me parece desalentador el hecho de que haya fallado la mitad de las pruebas. GitHub es el entorno de gestión de fuentes más popular del planeta, y uno esperaría que el soporte de codificación de IA fuera razonablemente fiable.
Como con todo lo relacionado con la IA, estoy seguro de que el rendimiento mejorará. Estemos atentos y volvamos a comprobarlo en unos meses para ver si la IA es más eficaz en ese momento.
¿Utilizas una IA para ayudar con la codificación? ¿Qué IA prefieres? ¿Has probado GitHub Copilot? Cuéntanos en los comentarios a continuación.