Inzicht uit ongebruikte data

Aan oplossingen voor monitoring is er geen tekort, maar kan u ook nuttige informatie halen uit de eindeloze datastromen die u normaliter niet gebruikt? Observe belooft dat het kan.

Naarmate een bedrijf digitaler draait, genereert elke service, elk toestel en elke gebruiker data. Observe analyseert die data uit apps, storage arrays, servers en andere bronnen om een probleem snel te lokaliseren. Dat is vandaag ook meer nodig dan vroeger. “Toen gebeurde een grote update één keer per jaar, nu krijgen producten continu updates en kan het zijn dat iets op verschillende locaties draait. Dat is goed, maar het maakt ook dat als er iets fout loopt, de oorzaak op veel plaatsen kan liggen,” zegt CEO Jeremy Burton aan Data News.

“Begrijpen waarom een applicatie niet werkt is vaak een data-kwestie. Als we die data kunnen organiseren en met context naar de gebruiker brengen, dan geeft dat vaak een antwoord op hun vraag.” Als voorbeeld wijst hij naar hoe Google vandaag resultaten toont. Vroeger zou je bij de zoekterm ‘Schwarzenegger’ een paar honderd resultaten krijgen. Vandaag toont het bedrijf naast die reeks links ook een kader met een foto, zijn geboortedatum, een korte bio en enkele van zijn bekendste films. “De kans is groot dat wat je zoekt, in dat vak al werd beantwoord,” zegt Burton.

Maar wat is het verschil met monitoring? “Dat is een deel van wat we doen, want je moet gewaarschuwd worden bij een probleem. Maar vaak zitten aanwijzingen in logs, in andere statistieken of in tijdsgebonden data. Dan heb je 3-4 tools nodig en iemand die de data kan correleren. Wij willen dat samenbrengen zodat een probleem sneller op te lossen is.”

Om dat werkend te krijgen, moet uiteraard alle data in één silo zitten. Observe doet dat op basis van Snowflake ( data warehousing). Een andere optie was om zelf een database te ontwikkelen “maar we wilden niet dat de helft van onze mensen daarmee bezig zouden zijn. Dat was ook een lastige beslissing destijds omdat we niet wisten of we wel op hun technologie konden bouwen,” geeft Burton toe.

“Eens je een data warehouse hebt, wil je je belangrijkste datasets catalogeren, zoals je financiële data, wat wij daar aan toevoegen zijn alle logs rond telemetry data die anders niet worden meegenomen. Die ongestructureerde ‘uitstoot’ tijdens het proces van een draaiende app, daar kijkt niemand naar behalve als er fouten in opduiken. Dat is ons werkdomein.” Burton wil niet beweren dat zijn bedrijf alles kan oplossen “maar het geeft wel een basiswaarheid waarom het fout loopt.”

“In de kern is het een relationeel datamodel, met linken naar andere datasets waardoor je kan navigeren. Je volgt verschillende relaties tussen data, gebruikers, op welke servers ze zitten en zo kan je problemen oplossen,” vult Jacob Leverich, oprichter en vicepresident engineering, aan.

Als het om zoveel datapunten gaat, dan komt de vraag in welke mate kunstmatige intelligentie daarbij helpt om alles vlot te verwerken. Daarop is het antwoord verrassend nuchter: “Vandaag hebben we geen machine learning. We merken dat veel spelers die dat doen in praktijk veel ruis en valse positieven genereren,” zegt Leverich. “Vaak is het ook niet meer dan een algoritme om uitzonderingen op te merken, en wordt dat omschreven als machine learning.”