Datacenter outage post-mortem

Op 6 november is er een grote storing geweest in ons datacenter.
Dit heeft er voor gezorgd dat onze diensten tijdelijk niet goed bereikbaar waren.

Met dit document geven wij inzicht in de tijdlijn, wat er fout is gegaan en wat we er van geleerd hebben.

Post-mortem

Datum

6 november 2018

Auteurs

Jeffrey
Sjaak
Corné

Status

✔️ Storing verholpen

Samenvatting

Er is een storing opgetreden in één van de redundante coreswitches waardoor er problemen in de netwerkverbinding zijn ontstaan.
Hierdoor waren bepaalde Hybrid SaaS diensten niet bereikbaar.

Duur

De eerste melding bereikte ons rond 06:30, rond 9:20 zijn de netwerkverbinden hersteld en functioneerde de diensten weer normaal.
Totale duur: 2 uur en 50 minuten.

Impact

Hybrid SaaS productie omgevingen niet bereikbaar
Maatwerk applicaties niet bereikbaar
SMTP (mail) servers niet bereikbaar

Oorzaak

Het probleem is ontstaan in een core netwerkswitch bij onze internetprovider.
Vooralsnog is de oorzaak nog niet bekend gemaakt.

Oplossing

Aangezien de oorzaak van de storing bij onze leverancier ligt, hebben wij direct melding gemaakt bij de supportafdeling van onze provider.
Deze hebben het probleem direct opgepakt en zijn begonnen aan een herstel.

Wat hebben we geleerd?

Wat er goed ging

Direct actie ondernomen na eerste meldingen
Direct communicatie gestart via www.hybridsaas.com
Op verzoek kopie-omgevingen van Hybrid SaaS beschikbaar gesteld aan onze klanten

Wat er niet goed ging

Ons support mail was niet bereikbaar
Ons ticketsysteem was niet bereikbaar

Waar we geluk mee hebben gehad

Directe communicatie via directe e-mail adressen was mogelijk

Wat gaan we nu doen?

E-mail servers aanpassen
Aangezien onze support e-mail niet bereikbaar was tijdens deze storing, gaan we verbeteringen aanbrengen in de redundantie en disaster-recovery waar nodig.
Omgevingen migratie
Wij hebben geen migratie omgevingen naar alternatieve locaties uitgevoerd. Wij vinden dat we de downtime zo kort mogelijk moeten houden, echter hebben wij geen interne richtlijnen wanneer wij overgaan tot het verhuizen tussen datacenters bij massive outage. Hier moeten we beleid voor ontwikkelen, zodat we hier de volgende keer op voorbereid zijn.
Cross datacenter standby
Aangezien een geheel cluster in het datacenter niet bereikbaar was, stonden wij gereed om omgevingen te migreren naar een alternatieve locatie. De omvang van sommige Hybrid SaaS omgevingen kunnen op lopen tot vele tientallen GB's. Het restoren van zulke omgevingen kan daardoor veel tijd in beslag nemen. Wij gaan de backups van de data dichter bij de fallback omgevingen plaatsen om zo de restore tijd te kunnen verkorten.

Tijdlijn

Probleem verholpen

9:20

Alle services zijn weer bereikbaar.
Beschikbaarheid kopie omgevingen

8:30

Op telefonisch verzoek is het mogelijk om toegang krijgen tot kopie omgevingen.
Update vanuit onze provider

8:27

Ondanks dat onze engineers hard aan het werk zijn hebben zij het probleem nog niet kunnen oplossen. Wij zetten alles op alles om dit probleem zo snel mogelijk te verhelpen.
Update vanuit onze provider

7:29

Sinds 05:32:17 uur is jouw colocatie verminderd bereikbaar door een netwerk connectiviteit issue. Ons systeem gaf een melding dat de switch die hier verantwoordelijk voor is stopte met werken. Onze systeembeheerders zijn hard aan de slag om de aanleiding hiervan te vinden en dit voor je te verhelpen.
Storing escalatie

7:00

Storing krijgt grotere impact. Alle services zijn onbereikbaar binnen locatie Amsterdam
Melding ontvangen

6:30

Eerste melding ontvangen dat bepaalde services niet bereikbaar zijn.