Chatbots son incapaces de comprender las respuestas que emiten
Los científicos analizaron el desempeño de Llama-3.3, Claude-3.5, GPT-4o, Gemini, DeepSeek-V3, DeepSeek-R1 y Qwen2-VL en tareas que requerían la aplicación de conceptos en ejercicios de clasificación, generación de contenido y edición. El experimento se centró en tres áreas clave: técnicas literarias, teoría de juegos y sesgos psicológicos.
En consecuencia, los chatbots fallaron en el 55% de los casos, cuando se les solicitó clasificar ejemplos relacionados con esos conceptos. De igual manera, cometieron errores en el 40% de las pruebas al generar ejemplos o editar instancias. Los autores denominaron este fenómeno como “comprensión potemkin”, en alusión a las aldeas ficticias que Grigory Potemkin supuestamente construyó para impresionar a la emperatriz Catalina II en su paso por el río Dniéper.
La comprensión potemkin no debe confundirse con las conocidas “alucinaciones”, que son errores fácticos o respuestas incorrectas generadas por la IA. «Los potemkins son al conocimiento conceptual lo que las alucinaciones son al conocimiento fáctico: las alucinaciones fabrican hechos falsos; los ‘potemkins’ crean una falsa coherencia conceptual», explican los investigadores en una versión preliminar del estudio colgada en arXiv.
La investigación proporciona casos concretos para ilustrar esta limitación. Por ejemplo, aunque los modelos explicaron con precisión qué es la estructura de rima ABAB, fueron incapaces de escribir un poema que siguiera ese patrón. Asimismo, pudieron identificar y describir técnicas literarias presentes en un soneto de Shakespeare, pero fallaron en casi el 50% de los intentos al tratar de detectar, reproducir o modificar un soneto similar.
Según los autores, la presencia generalizada de “comprensión potemkin” en los modelos de IA cuestiona la validez de las pruebas de referencia —o benchmarks— utilizadas comúnmente para evaluar sus capacidades. Así, plantean que estas métricas podrían ofrecer una ilusión de competencia y no identificar una comprensión auténtica por parte de las IA.
“Estas pruebas solo son válidas si los LLM malinterpretan los conceptos del mismo modo que lo haría una persona. De lo contrario, su éxito en estas pruebas refleja únicamente una comprensión potemkin, una apariencia engañosa de entendimiento basada en respuestas que ninguna persona interpretaría como correctas”, advierten los autores.
Fuente: Wired
VTV/DC/CP
