Estudio revela que las IA pueden resolver sudoku sin explicar cómo lo hacen

En un estudio reciente, un equipo de científicos de la Universidad de Colorado Boulder utilizó más de 2.000 sudokus para evaluar distintos sistemas de Inteligencia Artificial. Lo que encontraron fue sorprendente: algunos modelos eran capaces de completar correctamente el puzzle, pero casi ninguno podía explicar con claridad los pasos que había seguido para llegar a la solución.

Esta diferencia entre hacer y explicar plantea una cuestión crítica en el desarrollo de herramientas confiables basadas en IA, sobre todo cuando estas se destinan a tareas sensibles como diagnósticos médicos, asesoría financiera o toma de decisiones legales.

Sudokus para estudiar la lógica de las máquinas

Los sudokus elegidos para este experimento no eran los clásicos de nueve por nueve casillas, sino una versión más sencilla de seis por seis. Esta variante permite mantener cierta complejidad lógica sin exigir habilidades matemáticas avanzadas.

Según el paper original, “Sudoku proporciona un entorno controlado para estudiar las capacidades de los modelos de lenguaje en la resolución de problemas por pasos”, una afirmación que resalta la utilidad de estos juegos como banco de pruebas.

Los investigadores diseñaron un conjunto de 2.293 sudokus de dificultad variable, asegurando que cada uno tuviera una solución única y bien definida. La generación de estos rompecabezas se realizó con un sistema lógico formal conocido como Z3, que garantizaba que cada puzzle fuera resoluble y que no admitiera múltiples respuestas válidas.

Este diseño cuidadoso permite aislar los errores de la IA sin ambigüedades. Si el modelo se equivoca, se sabe con certeza que no hay más de una solución ni margen para interpretaciones. Así, se obtiene una medición clara de qué tan bien el sistema comprende las reglas del juego.

Lo hacen… pero no saben explicar cómo

De todos los modelos evaluados, solo el modelo «o1-preview» de OpenAI —una versión avanzada lanzada en 2023— fue capaz de resolver correctamente alrededor del 65 % de los sudokus. En contraste, los modelos de código abierto como Llama o Mistral apenas alcanzaron cifras simbólicas, muy por debajo del 1 % de éxito completo. Pero incluso el modelo más preciso falló rotundamente al intentar justificar sus respuestas.

Cuando se le pidió que explicara sus soluciones, el rendimiento de la IA se desplomó. Solo un 5 % de las explicaciones proporcionadas por o1-preview fueron valoradas como justificadas por evaluadores humanos. En términos de claridad, apenas un 7,5 % recibió una valoración positiva, y la capacidad educativa de las respuestas fue aún peor: solo un 2,5 % fue considerada útil para aprender estrategias de resolución.

Los autores del estudio lo resumen con una frase clara: “si bien estas herramientas muestran potencial […] todavía enfrentan desafíos importantes a la hora de exponer los pasos de razonamiento de manera fiel y comprensible”. Esta brecha entre resultado y razonamiento revela una de las principales limitaciones actuales de los modelos de lenguaje: pueden imitar soluciones correctas, pero no saben contar cómo llegaron a ellas.