Dataverlies in storage-systemen “onvermijdelijk”

In tegenstelling tot wat storage-verkopers ons willen doen geloven, bestaat er geen honderd procent zekere bescherming tegen dataverlies in opslagsystemen. Wel kunnen we de kans op dataverlies met slimme technieken enorm verkleinen, zegt Caringo cto Paul Carpentier.

Er bestaat geen honderd procent zekere bescherming tegen dataverlies, wat storagebedrijven ons ook wijsmaken, schrijft Paul Carpentier, chief technology officer van de Texaanse storagespecialist Caringo, in een interessant whitepaper getiteld ” Replication and Erasure Coding Explained“. Wel kunnen we de kans op dataverlies en de omvang ervan wanneer het toch voorkomt, verkleinen. “Unlike what most storage vendors will try to make you believe, data loss in storage systems is unavoidable. It’s right up there with death and taxes in that respect,” schrijft Carpentier, die als mede-oprichter van Gnosis, WaveResearch, FilePool, Hypertrust en Caringo een oudgediende is van de Belgische ICT-markt.

Carpentier maakt zijn punt in een vlot leesbaar, maar met interessante statistieken en grafieken gekruid essay. In het verleden werden allerlei technieken ontwikkeld om dataverlies te voorkomen. Denk aan duplicatie van bestanden of objecten en pariteitsgebaseerde beschermingsschema’s zoals “raid” voor schijfopslag of “erasure coding” (ook wel Reed-Solomon codering genoemd) voor objectgebaseerde opslag.

Bij pariteitsgebaseerde databeschermingssystemen wordt altijd een afweging gemaakt tussen het niveau van de bescherming en de extra capaciteit die nodig is om de pariteitsinformatie te bewaren. In een systeem waar er twee kopieën bestaan van elk dataobject zullen gegevens verloren gaan als twee schijven tegelijk uitvallen. Als één volume uitvalt tijdens de recoverycyclus zullen er eveneens gegevens verloren gaan. Het is dus zeer belangrijk dat de recovery zo snel mogelijk wordt uitgevoerd. “Performance of the code equals robustness of the storage solution,” schrijft Carpentier.

Hoeveel gegevens er potentieel verloren kunnen gaan, is een functie van het gekozen beschermingsschema. Als we bijvoorbeeld in een raidsysteem extra schijven toevoegen, verhogen we ook de kans op schijfuitval. Tegelijk groeit de potentiële omvang van het dataverlies. Een ‘brute-force’ benadering van databescherming heeft duidelijk meer beperkingen dan de kosten alleen.

Maar hoe berekenen we dan de betrouwbaarheid van opslagsystemen, die steeds ingewikkelder en omvangrijker worden? De industrie ontwikkelde hiervoor een statistische formule die de “durability” (levensduur) van een “object cloud” (dataverzameling) uitdrukt in “nines of durability”: hoeveel 9’s er achter de komma staan van het getal dat de statistische kans op gegevensbehoud uitdrukt.

Stel dat onze berekeningen ons vertellen dat dataverlies in een bepaald opslagsysteem slechts om de 17 jaar zal optreden. We kunnen dan de datafractie berekenen die daarbij verloren kan gaan en komen uit op een klein nummer, bijvoorbeeld 0,0000000000001. Dat betekent natuurlijk dat bij een calamiteit 0,9999999999999 of 99.99999999999% van onze gegevens nog in orde zullen zijn. “Een eenvoudigere manier om dat uit te drukken is ’13 negens van durability’,” schrijft Carpentier. Hoe hoger het ‘9s of durability’ getal, hoe kleiner de kans op data-uitval. Fabrikanten gebruiken dit getal in toenemende mate om de betrouwbaarheid van hun opslagsystemen uit te drukken.

Paul Carpentier schreef zijn whitepaper natuurlijk niet zomaar. Caringo, dat met zijn product CAstor wereldleider is in de markt voor massieve opslag van ongestructureerde data, ontwikkelde een “Data Durability Calculator” waarmee klanten hun opslagbehoeftes kunnen berekenen gebaseerd op de gewenste opslagefficiëntie en verwachte levensduur van de opgeslagen dataobjecten.

Update 15/2/2013 9:00: Paul Carpentier geeft op 6 maart 2013 om 20 uur een webinar over dit onderwerp. Info en registratie: http://goo.gl/wtpJj.