Empresas de inteligencia artificial, como OpenAI y Anthropic, están utilizando bots para recopilar datos de sitios web, lo que genera una presión significativa en los servidores de estos sitios. Esta práctica, conocida como “web scraping”, implica que los bots accedan repetidamente a las páginas para recolectar grandes cantidades de información, lo que puede aumentar los costos operativos de los sitios web al incrementar el tráfico y el uso de recursos.
Al igual que una plaga de langostas que devora cultivos, estos bots representan un desafío para los administradores de sitios web, quienes deben lidiar con el aumento de la demanda en sus servidores, lo que genera costos adicionales y problemas de rendimiento. Además, el bloqueo de estos bots es complicado, ya que muchas veces se disfrazan como tráfico legítimo. Las empresas afectadas están comenzando a tomar medidas para mitigar el impacto, pero la situación sigue siendo problemática.
Existen soluciones de pago como Amazon WAF para impedir que estos bots arrasen con tu web haciéndola más lenta o incluso inaccesible y aparte incrementen tu factura de hosting cloud.
Si no te puedes permitir un servicio como Amazon WAF puedes usar la capa gratuita de Cloudflare y desde el menú Seguridad -> Bots activar estas dos opciones:
De esta forma Cloudflare va a intentar parar todo el tráfico de bots de IA que quieran rastrear indiscriminadamente tu sitio web.
Esto va a ir a más porque no paran de salir IAs que pillan cualquier información invadiendo incluso la privacidad. Hay que poner pie en pared con esto pero al final los estados están vendidos a las grandes empresas. Nos espera un futuro como en películas como Gattaca.
Totalmente. Como no paremos esto al final la “teoría del internet muerto” va a tener razón.