Falló la gestión de DNS en DynamoDB y provocó una interrupción masiva de AWS

Un fallo crítico en el sistema automatizado de gestión de DNS de DynamoDB provocó una cascada de interrupciones que afectó a múltiples servicios de AWS y a sitios web de diversas marcas durante más de un día. El incidente empezó cerca de la medianoche en la región US-EAST-1 de Virginia, cuando aumentaron los errores de API de DynamoDB. El origen fue una condición de carrera entre dos componentes del sistema de DNS: un DNS Planner y un DNS Enactor, gestionados por Route 53. Un Enactor experimentó retrasos inusuales mientras Planner generaba nuevos planes; al aplicar estos planes, un segundo Enactor realizó una limpieza que eliminó planes antiguos y dejó sin direcciones IP al punto final regional, provocando que no se pudieran realizar actualizaciones automáticas posteriores. Esto desencadenó fallos de DNS que afectaron tanto al tráfico de clientes como a servicios internos de AWS, impactando el lanzamiento de instancias EC2 y la configuración de red. A partir de ahí, el estado de DWFM (DropletWorkflow Manager), que gestiona arrendamientos de servidores físicos para EC2, dejó de poder establecer cambios de estado, lo que retrasó operaciones de una flota entera de droplets. Tras la recuperación de DynamoDB, el proceso de reestablecer arrendamientos fue tan extenso que la red de AWS entró en un estado de congestión y requirió intervención manual hasta bien entrada la madrugada. Posteriormente, la propagación de configuraciones de red acumuladas retrasó la puesta en marcha de nuevas instancias EC2 y afectó servicios dependientes como Lambda, ECS, EKS y Fargate. AWS deshabilitó de forma mundial la automatización de DNS Planner y Enactor hasta implementar salvaguardas que eviten que vuelva a ocurrir. Las autoridades de la compañía señalaron que continuarán trabajando en soluciones para reducir el tiempo de recuperación y mitigar impactos en futuros incidentes. El fallo se extendió a servicios gubernamentales y provocó una estimación de daños potenciales en cientos de miles de millones de dólares.