Netwerk

[4:30] Melding ontvangen dat 1 hosting server (hs1.biz2web.eu) en 1 mailserver (email.biz2web.nl) niet naar behoren werken. Onderzoek leert dat er (om 4:20 uur) een grote stroomstoring is opgetreden in de regio Amsterdam en ons datacenter ook is getroffen. Hoe het kan zijn dat de failover niet (of maar 10 minuten) heeft gewerkt is onduidelijk. Hier zullen we later meer over horen.

Momenteel is men druk bezig met het verhelpen van deze storing.

[6:15] De​ stroomvoorziening in het datacenter is hersteld en diensten worden weer opgestart. Onze servers zijn nog niet online. Verder is er iets meer duidelijk waarom de noodgenerator niet heeft gewerkt. Schijnbaar was er een component die dit had moeten regelen niet goed. Meer info volgt zodra bekend.

[7:00] Onze hosting- en mailserver zijn nog niet online. Inmiddels hebben we een aparte vraag uitgezet omtrent het feit dat dit zo lang lijkt te duren nadat de stroom is hersteld.​

[7:10] De diensten worden geleidelijk aan weer opgestart om er voor te zorgen dat alles naar behoren werkt en de enorme piekbelasting er niet voor zorgt dat alles er weer uit knalt.​

[8:00] Navraag bij de leverancier leert dat het opstarten van de servers nog wat langer duurt omdat ze alles goed willen laten verlopen en controleren.

[9:15]​ De servers zijn allen weer online en bereikbaar. We gaan bekijken in hoeverre er nog diensten zijn die zich abnormaal gedragen en wat er mogelijk nog niet goed is hersteld.

[9:30] Alle websites op de getroffen server zijn gecontroleerd en werken voor zover wij kunnen zien naar behoren. De e-mailserver heeft niet-ontvangen e-mail inmiddels alsnog ontvangen en afgeleverd. Alles lijkt weer naar behoren te functioneren.​ We houden deze melding nog aan voor monitoring en anders kan het vanmiddag als opgelost worden beschouwd.

[12:00] We zien geen abnormale activiteiten meer en zijn van mening dat alles zonder verdere gevolgen is hersteld. Inmiddels is duidelijk dat de uitval mede door het niet goed functioneren van een noodstroomvoorziening langer dan we zijn gewend heeft geduurd. De precieze toedracht hiervan zal door de leverancier nog nader worden toegelicht en natuurlijk vullen we deze melding dan aan. Vooralsnog zullen we de storing hier nu als opgelost afmelden.

Onze partnerpartij heeft n.a.v. een security advisory van hun leverancier de hardware van deze machine geüpgrade. De update nam ongeveer 30 minuten in beslag. Na een reboot (die iets langer duurde dan normaal) werkt de server weer naar behoren. Eventuele uitgestelde mails zullen alsnog worden ontvangen door de server. Gezien de aard van de security advisory was eerder melden helaas niet mogelijk.

Na een update van verschillende onderdelen op mailserver email.biz2web.nl bleek dat deze updates de contactpersonen en handtekeningen in de webmail hadden "kwijtgemaakt". Omdat de mailserver verder naar behoren werkte was het lastig om te bepalen hoe dit incident was ontstaan. Na onderzoek is gebleken dat de update bepaalde standaard instellingen had aangepast naar de originele waarde waardoor de webmail de desbetreffende informatie niet meer bij de hand had. Na het herstellen van de juiste waarden werkt nu alles weer naar behoren.

Bekijk voor meer details ons uitgebreide artikel.​