Facebook se démène pour réparer une panne massive

UNE panne globale prolongée des applications de Facebook ont ​​envoyé les ingénieurs de l’entreprise se démener pour résoudre le problème dans l’un de ses centres de données en Californie, selon deux personnes familières avec la situation.

La panne, qui a commencé vers 11 h 40 HE lundi, a entraîné la fermeture de toutes les applications de Facebook, y compris Instagram et WhatsApp, dans le monde, affectant des milliards d’utilisateurs et des millions d’annonceurs. À l’intérieur de Facebook, la panne a également cassé presque tous les systèmes internes que les employés utilisent pour communiquer et travailler. À partir de 18 h HE, il semble que la plupart des services sont de retour en ligne.

Plusieurs employés ont dit Le bord ils ont eu recours à leurs comptes de messagerie Outlook fournis par le travail, car Facebook fonctionne principalement sur une version interne du réseau social qui n’est actuellement pas accessible. Alors que les employés pouvaient s’envoyer des e-mails, ils ne pouvaient ni envoyer ni recevoir d’e-mails à partir d’adresses externes.

Étant donné que Facebook exige que les employés se connectent avec leurs comptes professionnels pour accéder à des outils tels que Google Docs et Zoom, ces services ne fonctionnaient pas non plus, ce qui a conduit certains employés à utiliser des services alternatifs comme FaceTime et Discord d’Apple. Les employés qui étaient déjà authentifiés avec des outils non Facebook comme Google Docs avant le début de la panne y avaient toujours accès.

Les ingénieurs de Facebook ont ​​été envoyés dans l’un de ses principaux centres de données américains en Californie pour restaurer le service, ce qui signifie que le correctif ne pouvait pas être effectué à distance. Pour compliquer encore les choses, la panne a temporairement empêché certains employés d’accéder aux bâtiments de l’entreprise et aux salles de conférence avec leurs badges, selon Le New York Times, qui a d’abord signalé que des ingénieurs avaient été envoyés au centre de données.

Dans un e-mail aux employés envoyé peu de temps après la restauration du service, le directeur technique Mike Schroepfer a déclaré que le problème «affectait notre réseau fédérateur qui connecte tous nos centres de données entre eux.. « 

« Si vous ne travaillez pas activement sur la récupération, soyez patient et ne vous précipitez pas pour tout recharger pour éviter de ralentir la mise en place » du réseau, a-t-il averti dans le mémo qui a été vu par Le bord.

Facebook n’a pas fourni d’explication détaillée de la panne, bien que des experts externes disent qu’elle était due à un problème avec la technologie de mise en réseau BGP, ou Border Gateway Protocol.

Lundi dernier, le vice-président de l’infrastructure de Facebook, Santosh Janardhan, publié un article de blog d’entreprise affirmant que la panne était le résultat d’un « changement de configuration défectueux », ajoutant que la société n’avait « aucune preuve que les données des utilisateurs aient été compromises à la suite de ce temps d’arrêt ».

« Nos équipes d’ingénierie ont appris que les changements de configuration sur les routeurs principaux qui coordonnent le trafic réseau entre nos centres de données ont causé des problèmes qui ont interrompu cette communication » Janardhan a écrit. « Cette interruption du trafic réseau a eu un effet en cascade sur la façon dont nos centres de données communiquent, arrêtant nos services. »

Mise à jour du 4 octobre à 18 h 33 HE : A noté que la panne se termine alors que Facebook et ses autres services reviennent en ligne.

Mise à jour du 4 octobre à 20 h 05 HE : Ajout de plus d’informations sur la panne qui ont été partagées avec les employés de Facebook.

Mise à jour du 4 octobre à 21 h 06 HE : Ajout du rapport confirmé selon lequel une meuleuse d’angle a été utilisée pour accéder aux cages des serveurs.

Correction le 4 octobre, 21 h 25 HE : Une version précédente de cette histoire incluait un rapport confirmé selon lequel Facebook utilisait une meuleuse d’angle pour accéder aux cages des serveurs. Le déclarant a depuis retiré la confirmation et nous avons supprimé l’allégation de cette histoire.

Mise à jour du 4 octobre à 22 h 29 HE : Ajout de plus de détails de Facebook sur la panne.