Onderzoekers van Microsoft hebben een machine learing-technologie ontwikkeld die eigen afbeeldingen kan genereren op basis van geschreven tekst. Volgens Microsoft kan de software op termijn gebruikt worden als assistent voor onder meer schilders en designers.
‘Drawing bot’, dat is de simplistische naam die onderzoekers van Microsoft gaven aan hun nieuwe machine learning software. Op basis van geschreven tekst genereert het programma unieke beelden. Het werkt volgens een systeem dat onderzoekers het Generative Adversarial Network (GAN) noemen. Microsoft legt de technologie uit in een paper.
GAN gebruikt twee modellen van machine learning die samenwerken. Het eerste model genereert beelden op basis van tekst, en het andere beoordeelt de kwaliteit van de gegeneerde afbeelding. Samen creëren beide modellen pixel voor pixel een uniek beeld dat relevant is in combinatie met de ingevoerde tekst. Bovendien draagt elk nieuwe resultaat dat de software genereert, bij aan de kwaliteit van alle volgende beelden.
Assistent
De onderzoekers stellen in de paper vast dat hun drawing bot soms extra elementen genereert die niet expliciet in de ingevoerde tekst vermeld werden. Microsoft geeft het voorbeeld aan van een gele vogel. Ook als je niet expliciet in de invoer van de software: “een gele vogel op een tak”, intypt, is de kans toch groot dat drawing bot een afbeelding van een vogel op een tak genereert. Veel voorbeeldafbeeldingen die de software beoordeelt, zullen namelijk een vogel op een tak tonen.
Volgens Microsoft staat de nieuwe software nog niet volledig op punt, omdat complexere zaken die aan drawing bot worden voorgelegd, niet altijd relevante afbeeldingen opleveren. Toch denken de onderzoekers dat de technologie op termijn zou kunnen worden gebruikt in de vorm van assistentiesoftware voor schilders en designers.
Eerder ontwikkelde het bedrijf uit Redmond een technologie genaamd ‘CaptionBot’. Die deed precies het omgekeerde: relevante tekst genereren op basis van beelden.
