Prečo nefungoval Facebook, WhatsApp a Instagram

Facebook a jeho aplikácie Instagram, WhatsApp a Messenger zasiahol rozsiahly výpadok po celom svete.

Podľa CNBC ide o najhorší od roku 2008, keď sa problém nedarilo vyriešiť celý deň. Vtedy však jeho služby využívalo len 80 miliónov užívateľov. V druhom štvrťroku mal Facebook 2,9 miliardy aktívnych užívateľov mesačne.

Problémy s dostupnosťou sa začali pred pol šiestou. Facebook ubezpečil, že na oprave pracuje. Podarilo sa to tesne pred polnocou.

Nad ránom Facebook oznámil, že jeho služby sú znovu prístupné on-line a zamestnanci pracujú na postupnom návrate k bežnej prevádzke. Firma sa domnieva, že počas výpadku neunikli údaje užívateľov, píše Reuters.

Spoločnosť sa domnieva, že výpadok spôsobilo chybné nastavenie jej vnútorného systému. To potom viedlo k prerušeniu výmeny informácií medzi servermi a dátovými centrami, čo malo negatívny lavínový efekt na jej aplikácie a siete.

Čo sa v stručnosti dnes na internete stalo? Prestal existovať Facebook. Stalo sa niečo, čo by sa dalo prirovnať k zrušeniu poštových smerovacích čísiel pre celé Slovensko. Ak by teda Slovensko bolo Facebook.

Sieťové zariadenia patriace Facebooku na celom svete zrejme v dôsledku konfiguračnej chyby oznámili, že Facebook už nie je pripojený do internetu.

Takže keď chcete navštíviť facebook.com, instagram.com alebo napísať niekomu cez WhatsApp, váš telefón alebo prehliadač nenájde na internete partnera, s ktorým by o týchto vašich potrebách vedel komunikovať.

Krátko o DNS

Služba DNS slúži na to, aby ste si nemuseli pamätať tzv. IP adresy serverov, na ktoré sa v Internete pripájate. Keď napríklad napíšete do prehliadača „www.facebook.com“, prvé, čo váš prehliadač urobí, je, že zistí, na akú IP adresu sa má pripojiť.

Keď sa v tejto chvíli pokúsi váš prehliadač zistiť, na akú IP adresu sa má pripojiť, keď chcete otvoriť Facebook, dostane pravdepodobne takúto odpoveď:
Host www.facebook.com not found: 2(SERVFAIL)

Krátko o BGP

Na protokole BGP stojí, a ako práve vidíme, aj padá celý internet. Pomocou tohto protokolu si operátori medzi sebou vymieňajú informácie o tom, aké IP adresy sú cez ktorého operátora dostupné.

Porovnateľný koncept sú poštové smerovacie čísla, s tým rozdielom, že tie sú väčšinu času nemenné. Internet je však veľmi dynamické prostredie a operátori si informácie o sieťach, ktoré sú cez nich dostupné, vymieňajú neustále, pomocou tzv. BGP updates. Či už sú to adresy vašich domácich routerov, alebo serverov, na ktorých beží Facebook, Instagram, WhatsApp alebo Denník N.

Facebook dnes všetkým svojim partnerom, cez ktorých má pripojené datacentrá, oznámil, že žiadna z jeho sietí nie je dostupná.

Viac info tu: https://en.wikipedia.org/wiki/Peering

Čo sa asi stalo

Podľa tejto insider informácie z Facebooku došlo po aplikovaní konfiguračnej zmeny pravdepodobne k problému s oznamovaním IP adries, ktoré Facebook používa pre svoje DNS servery a zrejme aj ďalšie služby v datacentrách.

https://www.reddit.com/r/sysadmin/comments/q181fv/looks_like_facebook_is_down/hfd4dyv/?context=3

„I believe the original change was ‚automatic‘ (as in configuration done via a web interface). However, now that connection to the outside world is down, remote access to those tools don’t exist anymore, so the emergency procedure is to gain physical access to the peering routers and do all the configuration locally.“

Potvrdzujú to aj informácie z BGP, na ktoré upozornili napríklad tieto Twitter accounty:

Tweet od CTO Cloudflare
https://twitter.com/jgrahamc/status/1445068309288951820

Tweet od náhodného sieťara:https://twitter.com/atoonk/status/1445073687154073608

Potvrdzuje to aj stav BGP tabuľky v našej sieti, kde väčšinu sietí patriacich Facebooku nevidíme, najmä tie, na ktorých Facebook prevádzkuje službu DNS.

Na komentári z redditu je zaujímavé aj to, že zrejme pri riešení tohto problému nastala situácia, keď ľudia, ktorí zariadenia konfigurujú, k týmto zariadeniam nemajú fyzický prístup a tí, ktorí fyzický prístup majú, zasa nemajú možnosť zariadenie konfigurovať, ani sa naň prihlásiť.

Toto „delenie moci“ sa zvykne zavádzať ako bezpečnostný prvok, ktorý však v takejto situácii môže pôsobiť kontraproduktívne.

Ďalším zaujímavým momentom v tejto nepotvrdenej insider informácii je, že ľudia s prístupom a oprávnením konfigurovať zariadenia zrejme nemajú možnosť prístupu k týmto zariadeniam mimo primárnej konektivity, ktorú si zrejme odrezali konfiguračnou zmenou.

Čiže ak sú odkázaní na zásah na mieste, je veľmi pravdepodobné, že nemajú zriadený záložný prístup k dotknutým zariadeniam, tzv. out of band management.

viac info tu: https://en.wikipedia.org/wiki/Out-of-band_management

Instagram: Samotný web Instagramu prakticky od začiatku výpadku vracia chybu 503, čo by mohlo znamenať, že sú nedostupné adresy, na ktorých bežia API endpointy pre Instagram, prípadne, že Instagram nevie vyresolvovať DNS záznamy svojich vlastných serverov.

DNS problémy u internetových operátorov

Okrem toho záplava dotazov na nefunkčné domény – napríklad všetky mobilné telefóny chcú dostať správy z Whatsappu, pozrieť Instagram alebo otvoriť Messenger, dáva zabrať tzv. rekurzívnym DNS serverom u operátorov.

Keď váš prehliadač chce preložiť doménové meno na IP adresu, je veľmi pravdepodobné, že sa pýta tzv. rekurzívneho DNS resolveru, ktorý prevádzkuje váš operátor. Keďže všetky zariadenia, ktoré operátori obsluhujú, nedostávajú odpovede, tak sa tieto zariadenia pýtajú stále znova.

Napríklad DNS servery jedného z najväčších lokálnych operátorov – SWAN vykazujú až 50-percentnú stratovosť, čo má vplyv na funkčnosť mnohých domén a klientov.

— auth1.ns.swan.sk ping statistics —
100 packets transmitted, 56 received, 44% packet loss, time 99760ms
rtt min/avg/max/mdev = 316.871/387.823/477.997/42.154 ms

Na priloženom grafe je vidieť, ako zahltenie DNS serverov ovplyvnilo ich dostupnosť. Podobné problémy riešia teraz mnohí poskytovatelia po celom svete.