Wat als je LLM’s toegankelijker zou maken voor meer mensen? Niet alleen zij die geen supercomputer in hun kelder hebben staan, maar ook mensen zonder een uitgebreid diploma computerwetenschappen? Dat is het idee achter InstructLab, een van de projecten waar Red Hat (samen met onder meer IBM) aan werkt.
Technologie ‘democratiseren’ is al langer een van de doelen van openbron software, en dat is met generatieve AI niet anders. We spreken in Brussel met Mo Duffy, senior interaction designer bij Red Hat, om de plannen om AI-modellen aanpasbaar te maken voor, en door, meer gebruikers en organisaties.
Wat moet ik me bij InstructLab voor Red Hat voorstellen?
MO DUFFY: InstructLab is een set van openbron tools. We hebben er een gemeenschap rond gebouwd die AI wil democratiseren door iedereen toe te laten zelf modellen aan te passen. Ze kunnen hun eigen data gebruiken om de modellen te ‘tunen’. Het idee achter die gemeenschap is dat je geen toegang nodig hebt tot zware GPU’s. Wij zorgen daar voor. Wat de mensen zelf kunnen toevoegen is hun kennis. We hebben bijvoorbeeld mensen die Taylor Swift trivia aan het model toevoegen, of weetjes over Ierse archeologie. De basismodellen waar we mee werken zijn getraind op heel algemene data, maar misschien wil je meer gespecialiseerde gegevens in het model. We gebruiken een YAML-bestand om mensen toe te laten kennis toe te voegen aan de training. Dat is in platte tekst en is redelijk laagdrempelig. Je dient zo’n bestand in bij de community en wij gaan er dan op gezette tijden door. We cureren de inzendingen en bouwen dan een nieuwe versie van het gemeenschapsmodel.
Het idee is om iedereen de kans te geven om te leren deze technologie te gebruiken, want die heeft nu al een grote impact op ons leven. Dan moeten mensen de mogelijkheid krijgen om zo’n technologie te bestuderen en er aan bij te dragen.
Daarnaast maken we met Red Hat Enterprise Linux AI een product dat dezelfde technieken gebruikt als die community. Je hebt mensen die kennis indienen en bedrijven en organisaties kunnen hun eigen data gebruiken om een interne private versie van zo’n AI-model te trainen op kleinere schaal. Op die manier kan je het on-prem houden. Je wil niet dat de interne data van je bedrijf op straat komt te liggen omdat ze door een groot openbaar model worden gebruikt. Deze kleinere modellen zijn meer performant omdat ze volledig gefinetuned zijn op je eigen data. En ondertussen hoeft je organisatie zich geen zorgen te maken dat het buiten de eigen infrastructuur draait.
Draait het dan bijvoorbeeld ook in de edge?
DUFFY: Dat is het doel, ja. Red Hat heeft een open hybrid cloud filosofie, en we proberen dat ook toe te passen op AI. Je wilt je AI-model namelijk draaien dicht bij waar de data is. En de data zitten misschien op de edge. Of on-prem, of in je hybride cloud. En je wil die modellen kunnen verhuizen als dat nodig is, liefst zonder dat het te veel kost. Dus ze mogen niet te groot zijn, want hoe groter het model, hoe duurder het is om er aan te sleutelen. Ik denk dat het beter is om een groep kleine, gespecialiseerde modellen te hebben dan één gigantisch model dat duur is om te hosten en misschien niet efficiënt is voor het doel waarvoor jij het wil gebruiken.
Grote enterprises hebben verschillende departementen, die gebruiken verschillende apps. Hoeveel programma’s draait een bedrijf niet? In dezelfde geest kan je verschillende AI-modellen hebben in de toekomst. Een hoop modellen en een hoop apps die interageren om je bedrijf te helpen runnen. Maar er is niet één app die het hele bedrijf in de lucht houdt. Zo zal er ook geen één model zijn. Dat is te ingewikkeld en te duur.
Je ziet dat veel bedrijven ondertussen wat aan het experimenteren zijn met verschillende modellen. Hoe past jullie product daarin?
DUFFY: Wij werken bovenop de basismodellen maar doen niet zelf de training. We zijn agnostisch wat het basismodel betreft. Veel van onze klanten zijn al aan het experimenteren met modellen. Je hebt een aantal bedrijven die die modellen openbron maken waardoor organisaties en gebruikers ermee kunnen spelen onder voorwaarden.
Dat is ook het idee van openbron. De code is er, je kan ze downloaden, dus kan je er ook mee spelen. En zo kan je zien of een Llama, of een Mistral, of een Qwen het beste werkt voor jouw noden. Je moet die keuze kunnen maken. Onze tools laten je zelf het basismodel kiezen waarmee je wilt werken, en dan kan je het met die tools verder aanpassen. We doen dus vooral de finetuning. Wanneer je al een model gekozen hebt, kunnen wij dat aanpassen voor je organisatie. Neem bijvoorbeeld Llama. Je gebruikt dat al even en dat werkt goed voor je bedrijf, maar je wilt een tool maken die gebruikers informeert over interne policies van je bedrijf. Een voorbeeld zou zijn dat medewerkers een notificatie krijgen als ze dure vluchten boeken op kosten van het bedrijf. Dan zou de AI melden dat die buiten de richtlijnen vallen. Het ‘off the shelf’ model kent de interne richtlijnen van je bedrijf niet, en daar komt InstructLab op de proppen. Je geeft bijvoorbeeld je pdf-documenten in en creëert een YAML-bestand en dan gaan we dat in het proces van InstructLab ingeven. Het gebruikt synthetische datageneratie, omdat we niet willen dat mensen daar heel veel tijd in moeten steken. Want hoe meer tijd je in de voorbereiding moet stoppen, hoe duurder. We gebruiken die synthetische datageneratie om de paar samples die mensen gemaakt hebben meer slagkracht te geven. En die dataset van door mensen geproduceerde en synthetische data gaan we dan verwerken. Dat wordt gebruikt om het model verder te trainen. En dan heb je een model dat bijvoorbeeld Llama is, maar het kent de reisrichtlijnen van je bedrijf.
Wat is synthetische datageneratie?
DUFFY: Dat klinkt niet goed, ik weet het. We zijn aan het denken om het te hernoemen. ‘Synthetic data generation’ komt van de wetenschappelijke papers waar het idee uit komt. Maar het is misschien beter om het ‘document derived data’ te noemen, data die uit documenten is afgeleid. Voor het proces geef je documenten in, en maak je een template. Neem bijvoorbeeld eentje die we recent deden, die draaide rond de richtlijnen voor een bedrijf rond telewerk. Je neemt het document dat je gaat ingeven en gaat als gebruiker vragen opstellen. Van waar kan ik pendelen, van hoe ver, wanneer kan ik thuiswerken? Hoeveel dagen per week kan ik thuiswerken, enzovoort. En gebaseerd op die vragen en de antwoorden die je daarop geeft uit het document, leidt het proces af hoe ik vragen stel en hoe die antwoorden er uit moeten zien. En het systeem gaat dan meer vragen stellen op basis van wat er in het document staat, en antwoorden formuleren die mee in de training komen. En we vertellen dat model ‘kijk naar de vragen en antwoorden die de menselijke gebruiker ingaf, en formuleer meer vragen en antwoorden in die zin, gebaseerd op de data in het document’. Dus het analyseert het document en gaat dan meer vragen en antwoorden genereren.
Ik denk dat het beter is om een groep kleine, gespecialiseerde modellen te hebben dan één gigantisch model dat duur is om te hosten
Is dat betrouwbaar? Gaat u dan geen model trainen op mogelijk gehallucineerde data?
DUFFY: Het neemt de data die een mens schreef op basis van het document. Alleen de vragen en antwoorden worden gegenereerd. In sommige gevallen kan dat model slechte vragen genereren maar we hebben wel een filterproces om die er uit te halen. We filteren naar kwaliteit. Het is vooral een handige manier om wat je zelf hebt geschreven te boosten. Als je een tekst van drie paragrafen hebt geschreven en je vraagt een AI-model om voor jou een conclusie te maken, dan krijg je vaak goede output. Je kan die nog tweaken maar de output is redelijk.
Maar we kijken wel nog naar meer tools, misschien waarbij je naar de gegenereerde vragen en antwoorden kijkt en ze dan scoort naar relevantie om het systeem te verrijken. We zijn hier nog maar een paar maanden mee bezig, het is absoluut nog onder actieve ontwikkeling.
Dat klinkt een beetje als een democratisering van AI, in de stijl van wat de pc deed voor computers in de jaren negentig. Dat ineens iedereen er mee aan de slag kan.
DUFFY: Voor het upstream gemeenschapsproject is dat wel zo. Daar kijken we naar M-series Mac profielen. Iedereen met zo’n computer zou de volledige workflow van InstructLab kunnen draaien. Het gaat wel niet zo accuraat zijn, maar het is goed genoeg om mee te beginnen spelen, om ermee te experimenteren. We proberen om die drempel naar beneden te halen. Want dat is het grootste probleem dat we gezien hebben in deze sector. Dat houdt innovatie tegen.
U bent hier voor de Open Source Policy Summit van de EU. Wat is de voetafdruk van Red Hat in Europa?
DUFFY: Het grootste wereldwijde engineering center van Red Hat is in Brno, in Tsjechië. We hebben ook veel ingenieurs in Waterford, in Ierland en in enkele kleinere satellietkantoren in Europa. Veel van die ingenieurs werken op verschillende AI-projecten. Vooral in het Waterford Engineering Center. Er is daar veel lokaal talent en we werken met de Ierse overheid samen om meer opportuniteiten te creëren in de techindustrie.
Op geopolitiek vlak zijn er momenteel trends richting protectionistische ideeën, waarbij men liever niet te veel invloed heeft van andere landen. Heeft dat een impact op de openbron gemeenschap?
DUFFY: Vanuit het perspectief van iemand die al jaren in de openbrongemeenschap werkt, is het alvast een interessante tijd. Want er zijn zeker protectionistische gevoelens die nu in meerdere regio’s van de wereld spelen. En als je kijkt naar de Europese Unie en de conversaties die je daar ziet in verschillende sectorfederaties in verschillende landen, dan is er vaak een vraag naar digitale soevereiniteit, naar AI-soevereiniteit. En ik begrijp dat perspectief want als we een technologie gebruiken die zoveel invloed kan hebben op onze toekomst, dan heeft die liefst de waardesystemen die in je stad of in je land of in de Europese Unie leven. Ik begrijp dat.
Laten we niet gewoon het wiel heruitvinden om er ons eigen merk op te plakken
Ik geloof sterk in de kracht van openbron software om een gezamenlijke reeks nuttige dingen te maken, waartoe iedereen toegang heeft. Ik denk dat openbron dingen kan opbouwen die iedereen verder helpen en problemen kan oplossen. Dus ik vind het wel eng als we praten over openbron software die moet worden ontwikkeld door mensen in een bepaald land, of als we een Europese open source stack nodig hebben. Dat is het wiel heruitvinden om je beter te voelen over de technologie die je gebruikt.
Ik denk dat het verspillend is. Veel van die software stacks bestaan al lang, ze zijn getest en ze werken. Als je dan een aparte regionale stack moet maken, denk ik niet dat dat een goed gebruik is van je middelen.
Ik denk ook dat het een echte tragedie zou zijn als geopolitieke veranderingen en politieke veranderingen die jaren van vertrouwen zouden breken die we over grenzen en geloofssystemen en tijdzones en talen hebben gebouwd met openbron software. Maar over het algemeen, laten we niet gewoon het wiel heruitvinden om er ons eigen merk op te plakken. Je ziet dat soms met de manier waarop Linux wordt uitgerold. ‘Laat me deze Linux nemen en er mijn eigen merk op plakken’. Voegt dat waarde toe? Ik denk het niet.
Fout opgemerkt of meer nieuws? Meld het hier