Audio problemen veroorzaakt door een transit provider
Incident Report for oneCentral
Resolved
Er zijn na 10:45 vanochtend geen nieuwe meldingen meer aangemeld door klanten. We beschouwen hiermee het incident als opgelost en hebben de transit provider gevraagd om een RFO te sturen. Wanneer wij deze ontvangen hebben zullen we deze RFO delen met degene die dit kenbaar maken via support@onecentral.nl
Posted May 06, 2021 - 16:37 CEST
Update
Gisteravond is er een gezamenlijk onderzoek gestart met Vodafone om de problemen met eenzijdige audio te onderzoeken die veroorzaakt worden door de tussenliggende transit provider. Hieruit is naar voren gekomen dat de audio wel door de bellende provider gestuurd werd naar deze transit provider maar vervolgens niet doorgezet werd richting het oneCentral platform. Dit resulteerde in een probleem dat de oneCentral klant de beller niet hoorde. De oorzaak leek te zitten in netwerktechnische routeringen binnen het domein van de transit provider en is gisteravond kenbaar gemaakt bij hen.

Vanochtend is er een escalatie gesprek geweest met de betrokken partijen en daarbij heeft de transit provider aangegeven dat de problemen inderdaad werden veroorzaakt door foutieve netwerk routeringen veroorzaakt door meerdere core routers. Deze core routers zijn door de transit provider buiten werking gezet en hierna zijn er meerdere test calls geweest die succesvol bleken.

We hebben de maatregelen aan onze kant en aan de kant van Vodafone gedeactiveerd sinds 10:45. Uiteraard blijven wij de situatie nauwlettend in de gaten houden.
Posted May 06, 2021 - 11:06 CEST
Update
Het issue met de eenzijdige audio is nog in volle onderzoek. De oorzaak ligt zoals eerder aangegeven niet bij Vodafone of oneCentral maar bij een transit provider die gebruikt wordt door meerdere Nederlandse en Europese providers. Vodafone heeft er in ieder geval voor gezorgd dat verkeer vanuit Vodafone richting oneCentral een andere route volgt. Voor uitgaande oneCentral gesprekken hebben we deze transit provider ook uitgesloten en gekozen voor andere routes.

Het is helaas niet mogelijk om elke externe provider te vragen om geen verkeer te sturen bestemd voor oneCentral over deze transit provider die de problemen veroorzaakt. Het kan dus nog voorkomen dat inkomende gesprekken nog eenzijdige audio vertonen. We blijven deze transit provider pushen voor een snelle en goede oplossing via meerdere wegen.

De titel van dit issue is aangepast omdat het geen Vodafone specifieke transit provider betreft.
Posted May 05, 2021 - 13:06 CEST
Monitoring
Gisteren hebben wij diverse meldingen ontvangen over audio problemen inkomend en uitgaand. We hebben deze storing aan de hand van voorbeelden onderzocht en de oorzaak zit buiten het domein van oneCentral. Hierna zijn er meerdere tickets gemaakt bij transit partijen en Vodafone.

Sinds gisteravond zien wij minder verkeer vanuit Vodafone via de gebruikelijke route. Vodafone heeft vanochtend het volgende aangegeven:
"Het issue is onderzocht en het issue lijkt in een Vodafone interconnect te zitten. Voor nu is er een omroutering van het Vodafone verkeer gedaan. Vandaag neemt de Vodafone support afdeling contact op met de betreffende interconnect om het verder te onderzoeken. De issues met eenzijdige audio moeten nu in ieder geval niet meer voorkomen."

Helaas hebben wij geen invloed op routeringen buiten ons domein en zijn we afhankelijk van de snelheid van Vodafone en haar interconnect. We zullen Vodafone regelmatig vragen om een status update en een oplossing.
Posted May 05, 2021 - 08:47 CEST
This incident affected: Interconnects (Core Telephony Network).