Op 18 november legde een configuratiefout bij Cloudflare grote webdiensten plat. Lees de tijdlijn van de storing, de oorzaak en hoe engineers het verholpen.
© Pepelac News
Op 18 november bleek een grootschalige internetstoring terug te voeren op één onjuist samengesteld bestand op de servers van Cloudflare. Toen de omvang onverwacht verdubbelde, zette dat een keten aan technische fouten in gang en gingen verschillende grote webdiensten plat, waaronder X, OpenAI en zelfs enkele divisies van McDonald’s. Cloudflare bood formeel zijn excuses aan. Medeoprichter Matthew Prince liet in een blogpost weten dat engineers aanvankelijk dachten aan een cyberaanval — temeer daar Microsoft diezelfde dag een grote DDoS-aanval meldde — maar later bleek de oorzaak een configuratiefout. Dat één bestand zoveel ontwrichting kon veroorzaken, onderstreept hoe strak gekoppeld de moderne infrastructuur is.
Prince benadrukte dat het incident niet direct of indirect werd veroorzaakt door een cyberaanval of andere kwaadaardige activiteit. Het ontstond door een wijziging in toegangsrechten in een van de databasesystemen van het bedrijf, waardoor de database meerdere vermeldingen wegschreef naar het zogeheten functions-bestand dat wordt gebruikt door Cloudflares systeem voor botbeheer. Dat bestand verdubbelde daardoor in omvang en werd vervolgens naar alle machines in het netwerk uitgerold.
Het bestand werd om 11.05 uur UTC geüpload, maar de eerste storingen doken pas 23 minuten later op. Naarmate het zich verder verspreidde, sloeg de fout door het netwerk en bereikte rond 13.00 uur een piek. Ingenieurs lokaliseerden en verholpen het probleem om 14.30 uur; om 17.06 uur UTC waren de diensten weer normaal. Die tijdlijn laat zien hoe configuratiewijzigingen razendsnel kunnen uitwaaieren, maar uren vergen om volledig terug te draaien.