Alarmante pronóstico: La IA podría salirse de control y abandonar el lenguaje humano
Los desarrolladores de inteligencia artificial temen que podrían dejar de entender la IA si no se toman precauciones con sus cadenas de razonamiento, según un estudio conjunto de empleados de OpenAI, Google y Meta.
En el artículo, los autores reflexionan sobre cómo, con la aparición de los modelos de razonamiento, los usuarios han podido comprender mejor el proceso de razonamiento de los chatbots. Sin embargo, tras realizar pruebas, identificaron una serie de desviaciones en este modelo.
La IA puede manipular para obtener recompensas
Se resalta que el proceso de razonamiento de las redes neuronales a menudo se mantiene incompleto. El estudio destaca que los modelos pueden ocultar deliberadamente sus verdaderos procedimientos, conscientes de que son leídos. Además, la inteligencia artificial puede manipular datos intencionalmente para obtener alguna recompensa.
La IA podría perder el incentivo para razonar
Según la investigación, anteriormente los desarrolladores entrenaban a las redes neuronales basándose en datos verificados por humanos. Sin embargo, los chatbots con capacidad de razonamiento están más enfocados en obtener el resultado deseado, sin preocuparse por los métodos utilizados.
Se indica que, al escalarse, un modelo entrenado de esa manera podría perder la motivación para realizar razonamientos claros e incluso dejar de usar un lenguaje comprensible para los humanos, lo que dificultaría el proceso de supervisión.
Los autores advierten que no hay garantías de que se mantenga el nivel actual de transparencia en el razonamiento de los modelos. Por ello, en las conclusiones de su investigación, recomiendan implementar un «sistema de monitoreo multicapa» del razonamiento de la inteligencia artificial y explorar formas adicionales de mantener el control sobre sus procesos cognitivos.
Fuente: RT
VTV/RIRV/DS/DB/
