Les utilisateurs d’Azure qui utilisent des ressources dans la région ouest des États-Unis de Microsoft ont vécu une journée inconfortable après que le géant de la technologie a coupé l’accès à son avant-poste cloud californien.
Comme Microsoft l’explique dans son examen préliminaire post-incident, à 14h44 UTC le 23 juillet.rd (07h44, heure du Pacifique), la société a lancé la « maintenance de routine des appareils ».
Cet effort a immédiatement généré des problèmes.
AD ENREGISTREMENT
« Plusieurs services Azure ont commencé à détecter et à corréler la dégradation des services », indique l’analyse de Microsoft.
AD ENREGISTREMENT
Une minute plus tard, Microsoft affirme que des membres de ses équipes de réseaux et de services, ainsi que des personnes qu’il décrit comme des « intervenants en cas d’incident », ont commencé à « examiner les anomalies de trafic, le comportement de routage, les signaux de perte de paquets et les changements récents ».
Microsoft affirme que ce type de travail de maintenance nécessite d’isoler des chemins réseau spécifiques et qu’il utilise un processus qui « convertit ces requêtes en requêtes lisibles par le système et vérifie qu’au moins un des deux chemins redondants reste sain ». On nous dit que l’entreprise effectue « des contrôles de sécurité pour confirmer que les travaux n’auront aucun impact ».
Le simple fait que vous lisiez cette histoire montre que ce processus a plutôt eu un impact involontaire.
« Dans ce cas, un bug dans le système de conversion des requêtes a incorrectement marqué des appareils supplémentaires comme faisant partie de l’événement de maintenance et a provoqué la suppression d’un ensemble de routes IP sur plus d’appareils que prévu », a avoué Microsoft. « Les routes ont été supprimées entre notre centre de données et notre réseau étendu, ce qui a eu un impact sur le trafic entrant ou sortant de la région. »
Le rapport d’incident de Microsoft indique que le problème « s’est initialement présenté comme une perte de route à grande échelle dans notre réseau étendu » et que ses enquêtes « ont révélé plus tard que la suppression de la route provenait d’un centre de données dans la région de l’ouest des États-Unis ».
Entre 16h00 UTC et 17h45 UTC, Microsoft a identifié « une activité récente de maintenance de la fibre, que nous avons corrélée au comportement de routage identifié ».
À 17h45, l’entreprise a commencé à annuler les modifications et à 18h26, le WAN de Microsoft était revenu à son meilleur niveau.
À 19 h 41 UTC, tous les services concernés étaient entièrement rétablis – et Microsoft a rejoint AWS et Google pour offrir des exemples récents de la façon dont les nuages peuvent être bien plus fragiles qu’annoncé. ®
