Petteri Pyyny
16. elokuuta, 2024 10:23
Sivustomme kärsi eilen historiansa toiseksi pisimmästä käyttökatkosta ja pisimmästä katkostaan lähes 20 vuoteen. Häiriö alkoi noin klo 13:00 Suomen aikaa, jolloin lähes kaikki sivustomme lakkasivat toimimasta ja palauttivat sinistä sivua 503-virhekoodin kera.
Huomasimme ongelman lähes välittömästi ja paikallistimme ongelmaksi ns. master -tietokantamme. Tietokanta ei vastannut lainkaan kutsuihin ja myöskään konsoliyhteyttä tietokantaan ei saatu lainkaan. Laitoimme hetken selvittelyn jälkeen palvelimelle pakotetun uudelleenkäynnistyksen käskyn. Mutta tietokantapalvelimen instanssi ei lähtenyt käynnistymään lainkaan.
Tämän jälkeen otimme yhteyttä palveluntarjoajamme tukeen, joka vastasikin alle minuutin vasteajalla ja kertoi ongelman syyn: koko palvelinkeskus, jossa järjestelmämme pääosin toimivat, oli kohdannut suuren mittaluokan teknisen ongelman. Tuo tekninen ongelma heijastui osaan kyseisen palvelinkeskuksen toiminnoista - ja juuri sivustojemme käyttämä master-tietokanta sattui olemaan yksi näistä, joihin häiriö osui.
Kaikki muut palvelininstanssimme toimivat edelleen kuten pitikin, joten odotimme hetken ajan, josko tilanne ratkeaisi nopeasti palveluntarjoajan korjaamana. Mutta koska korjaus tuntui venyvän ja tilaviestit palveluntarjoajan ongelman vakavuudesta alkoivat kuulostaa aina vain huolestuttavammilta, aloimme ratkomaan ongelmaa omalta osaltamme niin hyvin kuin voimme.
Ryhdyimme pala kerrallaan siirtämään palveluita tukeutumaan puhtaasti ns. slave -tietokantoihimme. Eli kaikki ne sivuston osiot, jotka pystyivät toimimaan ilman kirjoitusoikeutta tietokantaan, siirrettiin käyttämään sellaista tietokantaa, joka ei salli kirjoituksia - mutta toimi edelleen. Saimme mm. uutiskeräimemme HIGH.FI'n toimintaan alle tunnin sisään käyttökatkon alkamisesta. Samoin muut kuin suomenkieliset versiot AfterDawnin pääsivustosta saatiin pitkälti toimimaan samoihin aikoihin. Tokikaan uutisten kommentointi, sisäänkirjautuminen ja sen sellaiset toiminnot eivät toimineet - koska niitä tukeva tietokanta oli pois pelistä.
Suomenkieliset pääsivustomme eli AfterDawn ja Puhelinvertailu, saatiin osittain palautettua toimimaan noin klo 17 aikoihin ja viimeiset sivustojen alisivut (ml. AfterDawnin etusivu) saatiin palautettua toimintaan noin klo 19 maissa.
Palveluntarjoajamme sai tallennusjärjestelmänsä palautettua käyttökuntoon Suomen aikaan noin 21:45, jolloin myös master-tietokantamme saatiin takaisin langalle - ehjänä ja kunnossa. Tuon jälkeen kaikki loputkin palvelumme, mm. keskustelualueemme ja sisäänkirjautuminen palautuivat takaisin käyttöön.
Päätietokannan kaaduttua emme voineet myöskään lisätä sivuille lainkaan uutisia, joten tiedottaminen omien uutistemme muodossa ongelmasta oli mahdotonta.
Luonnollisesti olemme harmissamme kotimaisen palveluntarjoajamme ongelmista. Mutta olemme olleet jo vuosien ajan enemmän kuin tyytyväisiä heidän toimintaansa - ja uskomme, että yhtiö ottaa opiksi tilanteesta, joka oli ilmeisesti useamman epäonnisen yhteensattuman lopputulosta. Samalla myös vahvistimme omien palveluidemme vikasietoisuutta siten, että tietokannan käyttökatko ei jatkossa kaada koko järjestelmäämme, kuten tällä kertaa valitettavasti kävi.
Sivustomme on sen 25 vuoden toimintansa aikana ollut yhteenlaskettuna "nurin" alle vuorokauden ajan, joskin tällä kertaa kohdalle osunut lähes 9 tunnin ongelmavyyhti puri pahasti toimintavarmuutemme prosentteihin. Josko seuraavaa isoa, suunnittelematonta käyttökatkoa ei nähtäisi ainakaan 20 vuoteen.
Tiedotimme käyttökatkosta sosiaalisen median kanavissamme, jotka suosittelemmekin ottamaan seurantaan:
Pahoittelut ja kiitoksia kärsivällisyydestänne.
-Petteri Pyyny, webmaster
AfterDawn