Soms lopen datavolumes zo erg uit de hand, dat bedrijven het zich eenvoudigweg niet kunnen veroorloven alles bij te houden. Maar zo lopen ze ook kansen mis. Met een streaming data lake van Hydrolix hoeven ze die moeilijke keuze niet meer te maken.
Hydrolix is gevestigd in Portland, in de Amerikaanse staat Oregon. Data News ontmoette CEO Marty Kagan in het kader van de IT Press Tour. Hydrolix heeft zich gespecialiseerd in dienstverlening rond observability en streaming data lakes. “Soms gaat het over zodanig grote datavolumes, dat het gewoon niet meer lukt om alle data op te slaan”, vertelt Marty Kagan. “Het resultaat is dan dat bedrijven grote hoeveelheden data gewoon weggooien.”
Streaming data lake
Hydrolix lost dat op met een streaming data lake. Dat heeft alle kenmerken van een ‘gewoon’ data lake waarin bedrijven hun ruwe data opslaan, maar dan specifiek aangepast voor de toevloed van logstreams of van grote datahoeveelheden – tot honderden terabytes per dag. Het gaat dan onder meer om datastromen die afkomstig zijn van sociale media. “Dat soort streams samenbrengen op Azure? Daarvoor is het platform niet snel genoeg schaalbaar.”
Hydrolix bouwde een oplossing op Kubernetes die toelaat om die grote datavolumes sterk te comprimeren (met factor twintig tot vijftig), in de cloud op te slaan, maar tegelijk beschikbaar en doorzoekbaar te houden. Het uitgangspunt was daarbij de focus op observability, waarbij allerlei monitoringtoepassingen een onophoudelijke stroom van logs spuwen. “We werken onder andere voor mediabedrijven”, zegt Marty Kagan. “Tijdens de Olympische Spelen bleef dankzij onze oplossing voor observability geen enkele issue voor die bedrijven verborgen of onopgelost.”
Ook ruwe data bewaren
Hoewel Hydrolix dus uit de wereld van de observability afkomstig is, bleek de aanpak ook toepasbaar op de opslag van andere, grote datahoeveelheden. Hydrolix laat toe ruwe data lang te bewaren. Voor heel wat sectoren, met name in de media, is dat vandaag vaak een uitdaging. “Bedrijven werken met hun ruwe data. Maar als je daarbij die ruwe data zelf niet spaart, dan verlies je op de duur veel context. Bovendien kun je dan niet meer naar die ruwe data terugkeren.”
Alleen de samenvatting van een streaming event op sociale media blijft dan bewaard, bijvoorbeeld, maar niet de ruwe beelden. Terwijl dat net de kern is. “Neem een advertentiecampagne op sociale media. Bedrijven willen ook de ruwe data daarover lang bewaren, niet alleen geaggregeerde informatie”, aldus Marty Kagan. “Want soms is het echt shockerend om te zien: grote merken die de data van hun live streaming events niet capteren, gewoon omdat het technisch niet haalbaar blijkt – of simpelweg veel te duur.”
Goed voor compliance
Hydrolix biedt de mogelijkheid dat wel te doen en zo geen opportuniteiten mis te lopen. Tegelijk is het een oplossing om makkelijker aan wetgeving te voldoen. “Veel organisaties zijn wettelijk verplicht om hun ruwe data lang te bewaren. Denk maar aan bedrijven uit de telecom of de financiële sector.” Het verschil in prijszetting dat Hydrolix daarbij aanbiedt, is behoorlijk groot. “Voor het budget dat een bedrijf betaalt om een datavolume drie dagen te bewaren, kun je bij ons dan bijvoorbeeld vijftien maanden terecht.”
Fout opgemerkt of meer nieuws? Meld het hier