IBM Business Continuity heeft lesje geleerd

De gebeurtenissen van 11 september hebben al vaker aanleiding gegeven tot wijze lessen van ?recovery goeroes?, maar slechts weinigen waren zo tot over hun oren betrokken bij de ICT-hulpacties als Todd Gordon.

Todd Gordon is vice-president en general manager van IBMs Business Continuity and Recovery Services (BCRS). Op 11 september was het overigens de eerste keer dat er op dergelijke schaal plots zoveel nood was aan de Continuity en Recovery Services die niet het gevolg van een natuurramp was. De kans op en de gevolgen van een aardbeving, een overstroming, een windhoos of een tropische storm kan men bovendien min of meer inschatten op basis van vroegere ervaringen.Anderzijds bleek het probleem in ICT-opzicht een minder grote ramp dan gevreesd. Door de huizenhoge huurprijzen zijn in Manhattan maar weinig datacenters gevestigd. Gevolg, het waren overwegend eindpunten die verloren zijn gegaan. Ca. 70K tot zelfs 125K werkschermen….Hallo? Hallo?in eerste instantie ontstond een schrijnende nood aan communicatiefaciliteiten voice, data, mobiel… Hieraan was onvoldoende aandacht besteed in de recoveryplannen en indien dat toch het geval was, had men het aanbod onvoldoende gecontroleerd. Zo bleken op 11 september een aantal bedrijven bij veschillende telcos BU-connecties te hebben voorzien, maar hingen die providers voor hun diensten allemaal af van een zelfde centrale. Kortom, het bleek een valse back-up van de dienstverlening.Een andere les was dat heel wat bedrijven onvoldoende voorzieningen hadden om met de klant contact te houden. Dat kon gaan van onvoldoende kantoorruimte (een heikele zaak in de buurt van Manhattan waar op 11 september in een klap meer dan 1 miljoen vierkante meter kantoorruimte verdween) tot ontbrekend materiaal (werkschermen, telefoon, Lan…).Het bewees dat heel wat klanten wel aandacht besteden aan het recoveren van de grote systeemelementen, maar haast niemand een volledig end to end bedrijfscontinuteitsplan had! Een dergelijk plan moet de hele weg afdekken van eindgebruiker binnen het bedrijf doorheen de bedrijfsinfrastructuur tot zijn of haar gesprekspartners in andere bedrijven.Belangrijk bij dat alles is dat naast een duidelijk plan ook een duidelijke verantwoordelijke voor het hele plan moet aanwezig zijn, die op zijn beurt een link heeft met de business line-verantwoordelijken en het top management. En voorkom de chaos die op 11 september vaak heerste door kopies van de crisismaatregelen ook off site te bewaren zodat ze niet in dezelfde ramp verdwijnen…Oefenen, oefenen,…Oefenen… Heel wat problemen en lacunes hadden ook kunnen worden vermeden als de BCRS klanten vaker en meer intensief hadden geoefend. Zo leed een bedrijf vertraging omdat het ontdekte maar over n kopie van de BU-tapes te beschikken en het een week duurde vooraleer de apparatuur voor het maken van een bijkomende kopie werd gevonden…Bij andere bedrijven bleek dan weer de informatie over het ICT-park, de topologie en dies meer achterhaald – helaas een eeuwige klassieker. Bovendien zorgde het BCRS plan wel goed voor het centrale systeem, maar waren er een hoop lacunes inzake werkschermen met onder meer onvoldoende BUs van data, e-mail et tutti quanti. Voorts werd ook zelden voldoende aandacht besteed aan allerhande periferie, zoals printers en dies meer.Mag men op die punten geen hogere verwachtingen stellen aan een BCRS-activiteit geleverd door IBM? IBM biedt een volledige analyse- en risicomodellering-service aan, stelt Todd Gordon, maar minder dan 20% van alle klanten maken van het volledige dienstenpakket gebruik. Er is dan ook niet zelden nog een discrepantie tussen het ICT-recovery-plan en de rele ondersteuning van de bedrijfsnoden en -processen op korte termijn. Cru gesteld, wat de ICT-ers belangrijk achten, blijkt niet altijd overeen te komen met de onmiddellijke bedrijfsbehoeften.Gordon geeft toe dat het hele gebeuren moeilijk en complex is en ook IBM zelf doet het niet zo goed als we zouden moeten doen. Het bedrijf gaat momenteel door een complete refresh en voortaan worden alle systemen getracked als ze ergens in de IBM ICT-infrastructuur worden ingeplugd, terwijl ook nog wordt gewerkt aan een optimale ondersteuning op business niveau.Moraal van het verhaal is evenwel bepaal wat het belangrijkste is om te doen na een specifieke ramp en doe het dan! Een waarheid als een koe? Zoals er blijkbaar op 11 september nog te weinig rondliepen… Overigens zijn wel een aantal bedrijven zich na de ramp gaan afvragen of ze wel in Manhattan moeten zijn, en dan gecentraliseerd op n plek. Dat laatste lijkt in te druisen tegen de tendens naar consolidering en centralisering, maar door een oordeelkundig gebruik van SAN en WAN kan men de data toch zo dicht mogelijk bij de gebruikers brengen in het kader van grid computing, meent Gordon. Zeg maar een virtual consolidation met voldoende redundantie.Bedenk!Belangrijk is dat het BCRS-plan zo breed mogelijk wordt opgezet. Business aspecten en ICT-noden moeten worden verzoend in een zelfde plan. Een optimale oplossing zal dan ook vermoedelijk meerdere iteraties vergen. Weet wat je echt moet doen, klinkt het bij Gordon, doe een business impact analyse, gevolgd door een kosten/baten analyse en stel alles geregeld bij. En voorts hou ook de hele verwerkingsketen in de gaten. Immers, er kunnen delen tussenzitten die je niet helemaal zelf in handen hebt. Doe aan continu process management en maak gebruik van consultancy voor brede kijk en niet met oogkleppen gefixeerd op ICT. En bedenk bij dat alles, bescherm de bedrijfsdata, zet Todd Gordon n van zijn hot buttons nog even dik in de verf.Het tekenen van een BCRS-contract en het in huis uitwerken van procedures en plannen is overigens niet voldoende. Men moet ook de leverancier van BCRS grondig doorlichten. Die moet een realistische verhouding recovery capaciteit/recovery klanten voorleggen en beschikken over een waakdienst die mogelijke probleemtoestanden in de gaten houdt (kwestie van optimalisering van het gebruik van de recovery capaciteit).Check ook de fail-over afspraken tussen de centra van de BCRS-leverancier, inclusief aspecten als op welke afstand die zich bevinden. Het kan voor een klant een probleem zijn als het fall-over centrum zich bijvoorbeeld in Denver, Colorado bevindt… Voorts ervaren de BCRS-bedrijven een steeds grotere druk om de outage-tijd tot een absoluut minimum te beperken, wat de werkdruk bij de BCRS leveranciers nog verhoogt. En dan is er nog de overheid die post-11 september ook in de USA begint te denken aan verplichtingen terzake voor bedrijven.Kortom, een goede BCRS is geen onmogelijke opdracht.Mensenlief!Een belangrijk element dat vaak over het hoofd wordt gezien, is het verlies van medewerkers en hun expertise. Toegegeven, niemand is onmisbaar, maar het bruuske verdwijnen van een of meerdere werknemers kan de normale werking van een bedrijf korte of langere tijd grondig verstoren. In het geval van het WTC betrof het grote groepen na een zware ramp, maar eigenlijk loopt elk bedrijf elk ogenblik het risico plots sleutelpersonen te verliezen (ziekte, ongeluk,…).Wanneer heeft uw bedrijf voor het laatst intern een overzicht gemaakt van dergelijke figuren (en wees daarbij eerlijk en kijk niet alleen naar titels of de bedrijfsleider)? Respectievelijk een noodplan terzake opgesteld? En wordt er opgevolgd of die personen cruciale gegevens wel voldoende vaak invoeren of back-uppen?Going the extra mileDat IBMs Business Continuity and Recovery Services op 11 september meteen werden overstelpt met honderden aanvragen tot hulp, laat zich licht raden. Het Emergency Operations Center [(EOC)] ging over op Red Alert-status binnen de 15 minuten na de inslag op de Noordertoren [van het WTC], aldus Todd Gordon, en dat was geen overdreven luxe want binnen een straal van enkele huizenblokken rond het WTC telde IBM meer dan 1200 klanten, waarvan er honderden om bijstand vroegen.IBM stelt uitdrukkelijk dat alle BCRS-klanten zonder beperkingen werden geholpen.Het oorspronkelijke EOC was overigens al op Yellow alert wegens een broedende tropische storm, zodat er al een basisploeg aanwezig was en onder meer alle nieuwszenders werden gevolgd.Meer nog, dezelfde dag werd nog een tweede EOC opgestart, ook al omdat werd besloten IBM klanten zonder BCRS-contract eveneens te helpen!