Verstoring oneCentral DNS
Incident Report for oneCentral
Resolved
De oorzaak van de verstoring lag in een hardwarematige fout in de netwerk storage van het VMware platform op AM7. De klanten die gebruikmaakte van de hosting op AM7 hebben hier tussen 1/6/2020 22:55 t/m 2/6/2020 1:39 hinder van ondervonden. Enkele klanten hadden ook nog problemen met de hosting tot 2/6/2020 09:00, dit kwam doordat niet alle VMs correct waren opgestart nadat de problemen met de netwerk storage waren verholpen. De VMs van deze klanten hebben een extra herstart gekregen vanuit het VMWare platform en zijn vervolgens gecheckt op een actieve SIP registratie (indien deze aanwezig is).

De hardware in AM7 zal uitvoerig gemonitord en getest worden om herhaling te voorkomen. Ook hebben wij extra maatregelen genomen om klant systemen die getroffen worden door een verstoring te checken nadat een algemene storing is opgelost.

Wij betreuren de eventuele downtime en de overlast die u heeft ervaren. Mocht u een RFO met uitgebreidere details willen ontvangen dan kunt u hiervoor bij support@onecentral.nl een verzoek indienen.
Posted Jun 02, 2020 - 12:44 CEST
Update
Sommige hosted Mikrotik routers zijn niet goed opgekomen na het issue van vannacht. Deze mikrotiks hebben een extra herstart nodig. Wij zullen deze mikrotiks zoveel mogelijk herstarten, mocht er een mikrotik down zijn dan horen wij dit uiteraard graag.
Posted Jun 02, 2020 - 08:33 CEST
Monitoring
We hebben een probleem gevonden met de netwerk storage van het VMware platform om AM7. Hierdoor zijn niet alleen bepaalde oneCentral diensten uitgevallen, maar ook een aantal virtuele machines van klanten die gehost worden op AM7. Deze problemen zijn ontstaan rond 22:55. De oorzaak wordt hiervan nog onderzocht.

De verstoring lijkt inmiddels verholpen door een herstart van het network storage cluster.
Voor nu monitoren wij de omgeving nauwlettend.
Posted Jun 02, 2020 - 01:39 CEST
Investigating
Er is een verstoring gaande met de DNS domeinen van oneCentral. Een onderzoek is gestart om de oorzaak te achterhalen.
Posted Jun 02, 2020 - 00:34 CEST
This incident affected: Hosting Services (VMware Hosts, Storage).