Crowdstrike geeft een kleine maand na de monsterpanne een eindanalyse over wat er foutliep op 19 juli. De oorzaak ligt niet bij een bug maar bij een template die meer velden had dan nodig.
De content configuration update die het bedrijf op 19 juli uitstuurde voor de Falcon sensor op Windows zorgde er voor dat toestellen onderuit gingen met een blauw crashscherm. Dat veroorzaakte op zijn beurt een hoop problemen bij bedrijven. Onder meer de NMBS en verschillende luchtvaartmaatschappijen ondervonden storingen. Wereldwijd werden 8,5 miljoen toestellen getroffen, één procent van de Windows-pc’s.
Crowdstrike excuseerde zich uitgebreid en dankt klanten en partners voor het vele werk dat ze moesten ondernemen om elk toestel weer operationeel te krijgen. Tegelijk komt het met een uitgebreid rapport waarin het uitlegt wat er fout liep.
Eerder wees het bedrijf naar een bug, maar nu blijkt dat het om een fout gaat bij een template die werd gebruikt om de Falcon sensor van nieuwe informatie te voorzien. De sensor verwachtte daarbij 20 inputvelden, maar de template bevatte 21 velden.
Die mismatch zorgde voor een out-of-bound memory read, waardoor het systeem crashte. Crowdstrike zegt dat dit zowel hun conclusie is, als die van een derde partij. De fout is ook niet te misbruiken door cybercriminelen.
Eerder getest zonder problemen
Die bewuste template was relatief nieuw, maar werkte eerder wel correct. Crowdstrike wijst hiervoor naar een nieuwe sensormogelijkheid die het in februari introduceerde. Die bevat een reeks vooraf gedefinieerde velden voor zogenaamde Rapid Response Content om data te verzamelen.
Die methode werd op voorhand getest en werkte zoals verwacht. Op 5 maart voerde Crowdstrike ook een stresstest uit, gevolgd door drie Rapid Response updates die geen problemen gaven. Pas bij de Rapid Response Content update van 19 juli liep het mis bij een deel van de Windows-toestellen omdat er één veld te veel was voorzien in de update.
Het securitybedrijf zegt dat een dergelijke fout vandaag niet meer kan gebeuren en dat het de ervaring meeneemt om haar systemen en de gebruikte stappen strakker op te volgen. Voortaan wordt het Template Type development ook aangepast getest en komen er geautomatiseerde testen voor bestaande Template Types. Tot slot worden ook twee externe softwaresecurityspelers ingeschakeld om de code van de Falcon Sensor in detail te bekijken, net zoals het releaseproces.
Het volledige Root Cause Analysis rapport van Crowdstrike kan je hier nalezen.
Fout opgemerkt of meer nieuws? Meld het hier