Wikipedia ofrece sus datos en Kaggle para aliviar la carga provocada por los bots de IA

Wikipedia ha decidido ofrecer su contenido en formato estructurado a través de la plataforma Kaggle, como respuesta al incremento del 50% en su tráfico debido a bots de inteligencia artificial. Estos bots acceden masivamente a sus páginas para recopilar información con fines de entrenamiento de modelos de IA, lo cual ha puesto en peligro su infraestructura. Como proyecto sin ánimo de lucro, Wikipedia depende de donaciones y no tiene publicidad, por lo que el aumento de peticiones masivas afecta gravemente su sostenibilidad técnica y financiera. El problema radica en que los bots no distinguen entre contenido popular o reciente y simplemente descargan todo el sitio, provocando una sobrecarga en los servidores principales. Para mitigar este impacto, la Fundación Wikimedia ha preparado un conjunto de datos optimizado para su uso en IA y lo ha publicado en Kaggle. Esta solución permite a los desarrolladores acceder a los datos sin saturar los servidores de Wikipedia. Aunque la organización no se opone al uso de sus contenidos por la IA, sí critica la forma agresiva en que los bots los obtienen. La medida busca proteger tanto la experiencia de los usuarios humanos como la continuidad del proyecto.