Storing core-netwerk NXTcom

NummerSRV/19/INC/MAJ/00481
Referentie
Datum15-05-2019 08:27
TypeIncident: Major
Tags
ISO: Beschikbaarheid
CORE
Status
Afgerond

Reason For Outage (RFO)
@ 21-08-2019 14:47

Omschrijving
Ongeidientifceerde CPU-spikes veroorzaakten een toename in CPU verbruik en reboot van de Junipers.

Scope
Junipers RT en AMS; DSL, fiber, PIN-verkeer en hosting over het NXTcom netwerk.

Impact
De Juniper routers werden herstart, dit proces duurt ongeveer 15 minuten.

Root Cause Analyse (RCA)
Er is ongeidentificeerd IPSEC verkeer gezien vanuit een 213 IP-adres van i3d (extern). Dit verkeer kwam via de management router door het management VLAN op de management poort van de Juniper. Dit veroorzaakte door onbekende redenen een (decicated management) CPU overload op de poort waardoor de router ging herstarten.

Herstel van incident
Het management VLAN is van de Juniper management poort afgehaald. Hierdoor kan er geen extern verkeer meer op uitkomen.

Preventieve maatregelen
Het netwerk zal onder de loep worden genomen om een risicoloos management netwerk te hebben.


Diensten weer online
@ 15-05-2019 08:45

Na een kwartier zijn alle NXTcom diensten weer online. Het kan zijn dat sommige routers en telefoontoestellen langer nodig hebben om weer online te komen. Er wordt nog steeds gewerkt aan een Root Cause Analysis (RCA) om tot de oorzaak van het incident te komen.


Aanmelding
@ 15-05-2019 08:30

Er zijn meerdere storingen gemeld door klanten dat er niet kan worden gebeld en dat de internetverbindingen down zijn. De servicedesk was niet bereikbaar rond 8:30 op 15 mei 2019.


Hoe tevreden bent u over deze afhandeling?