La observabilidad como clave para mantener el criterio en el desarrollo de software con IA
El texto advierte sobre el riesgo de la ‘rendición cognitiva’, un fenómeno en el que los desarrolladores aceptan sin cuestionar las soluciones propuestas por la IA, lo que incrementa su dependencia de estos sistemas y reduce su capacidad para entender y mejorarlos. La observabilidad, definida como la capacidad de conocer el estado de un sistema sin interrumpir su funcionamiento, debe ampliarse para incluir no solo el rendimiento del software, sino también el valor que aporta a los usuarios. Por ejemplo, en una aplicación de devoluciones de moda, es tan importante medir el tiempo de respuesta de la base de datos como verificar cuántas devoluciones se completan correctamente.
El artículo destaca la importancia de observar tanto el comportamiento del software generado por IA como las interacciones con ella, para poder cuestionar y corregir errores. Un caso práctico mencionado es el de Pablo Rodríguez, quien aplicó observabilidad a la IA para identificar problemas como un editor interactivo de Git que bloqueaba ejecuciones o instrucciones ambiguas que cerraban tests. La observabilidad no solo ayuda a resolver errores, sino también a aprender de ellos, permitiendo que los nuevos desarrolladores adquieran el criterio necesario para evaluar y mejorar el software en el futuro.
El texto concluye que la observabilidad debe ser considerada como una ‘última línea de defensa’ para mantener la responsabilidad y el criterio de los desarrolladores, evitando que la dependencia de la IA suprima la capacidad humana de entender y mejorar los sistemas. La derrota vendría cuando la única prueba de que una máquina ha hecho bien su trabajo sea que la máquina misma lo asegure, renunciando a la capacidad de entender lo que ocurre dentro de la ‘caja negra’.
