Rekenkracht in de cloud heeft ook optimalisatie nodig, of de kosten lopen snel op. Dat meent althans Sync Computing: een start-up die net daarop inzet.
Het cliché wil dat start-ups vanuit een garage of kelder de wereld veroveren, gedreven door het idee van jonge ondernemers die hun opleiding niet afmaakten. Nochtans is het ook vaak net andersom en bouwen start-ups verder op een idee dat in de academische wereld vorm kreeg. Een mooi voorbeeld is dat van Sync Computing, dat het gebruik van rekenkracht in de cloud helpt optimaliseren.
“We zijn een spin-out van MIT in Cambridge, bij Boston”, zegt Jeff Chou, de oprichter en CEO van Sync Computing. Data News leerde het bedrijf kennen in het kader van de IT Press Tour. Sync Computing bestaat intussen vijf jaar en richt zich op een heel specifieke uitdaging: het probleem van resource allocation in het Databricks-ecosysteem – en dan met name de optimalisering daarvan.
Databricks is een cloudplatform voor het werken met data en AI, ontwikkeld door de oorspronkelijke bedenkers van Apache Spark. “Als je op dat platform iets wil opstarten, moet je duidelijk specifiëren welke resources je wil”, legt Jeff Chou uit, “waarna het platform een oplossing formuleert. Bijvoorbeeld: je krijgt een uur lang de gevaagde rekenkracht met een latency van 300 milliseconden. Daarvoor betaal je 100 dollar.”
Declaratieve computing
Die manier van werken vindt Sync Computing niet optimaal. “Rekenkracht in de cloud is duur”, zegt Jeff Chou. “Als je op grote schaal iets wil bijstellen, lukt dat vaak niet zomaar.” Maar vaak is het gewoon ook nodig om iets aan je cloudinfrastructuur te veranderen. Tegelijk kun je het als bedrijf niet veroorloven om een SLA-deadline te missen. “Een bank, bijvoorbeeld, kan ’s nachts aanpassingen doorvoeren, maar om zes uur ’s morgens moet alles klaar zijn en moeten alle apps normaal werken, anders is er een groot probleem.”
Om die uitdaging aan te pakken, draait Sync Computing de redenering om. “In plaats van aan te geven welke rekenkracht je wil, zeg je wat je wil doen. Bijvoorbeeld: ik wil een uur lang rekenkracht met 100 milliseconden latency, tegen de laagst mogelijke prijs.” Vervolgens berekent Gradient – de oplossing van Sync Computing – wat er mogelijk is. “Zie het als een vorm van declaratieve computing”, stelt Jeff Chou, “naar analogie met declaratief programmeren.”
Feedback
Achter de schermen zorgt een feedbacklus voor het automatisch bijstellen van de cloudinfrastructuur. “Zo kom je tot het juiste evenwicht, bijvoorbeeld wanneer je aangeeft dat de runtime ook langer dan een uur mag zijn, op voorwaarde dat de prijs daalt.” Het maakt de oplossing heel wat fijner dan het klassieke principe van auto-scaling dat in infrastructuurbeheer gangbaar is. “Autoscaling gaat uit van ‘als dan’: zoals ‘voeg capaciteit toe wanneer je aan 80% komt, of neem compute weg wanneer het gebruik onder 20% zakt. Onze oplossing doet meer dan dat. We bekijken echt wat je nodig hebt.”
Het systeem leert bovendien uit elke nieuwe bijsturing, waardoor het in staat is om de omgeving almaar verder te optimaliseren. “Daar gaat het uiteindelijk om. Nu zien we dat het inschatten van resources voor veel mensen vaak nattevingerwerk is. Maar met een concrete berekening, kun je veel beter de juiste beslissing nemen. De kostenreductie die daar vaak uit voortvloeit, is eigenlijk maar een bijproduct.”
Uitbreiding
Met de oplossing richt Sync Computing zich in de eerste plaats op bedrijven die op jaarbasis minstens een miljoen dollar uitgeven aan Databricks. “Of we deze manier van werken straks ook kunnen toepassen bij andere platformen? Die vraag krijgen we voortdurend”, lacht Jeff Chou. “In principe is het zeker mogelijk, met name voor alles wat typische batchopdrachten zijn, denk aan Snowflake, AWS of Kubernetes.”
Fout opgemerkt of meer nieuws? Meld het hier