Las alucinaciones de la IA: un desafío matemático inevitable según OpenAI

Un estudio reciente de OpenAI ha revelado que las alucinaciones generadas por los modelos de lenguaje grande son inevitables debido a limitaciones matemáticas fundamentales, independientemente de la mejora de la ingeniería. Este hallazgo ha sido una admisión importante por parte de OpenAI, ya que sus propios modelos, incluido ChatGPT, muestran la tendencia de generar respuestas plausibles pero incorrectas. A pesar de entrenarse con datos perfectos, estos modelos siguen cometiendo errores. Los investigadores han identificado tres factores matemáticos clave que contribuyen a este fenómeno: la incertidumbre epistémica (cuando la información es poco frecuente en los datos de entrenamiento), las limitaciones del modelo (cuando las tareas superan la capacidad de representación del sistema) y la computación inabordable (donde incluso los sistemas superinteligentes no pueden resolver ciertos problemas). Este estudio pone de manifiesto la necesidad de cambiar las metodologías de evaluación de IA y replantear las estrategias de gobernanza y gestión de riesgos en las empresas, ya que las alucinaciones no se eliminarán por completo. Los expertos sugieren que, para mitigar el riesgo, las organizaciones deben incorporar procesos de supervisión humana y establecer un marco de evaluación dinámico y transparente.