Data News Awards: AI was de kunstenaar van dienst

Ook gezien of geprobeerd op de Data News Awards? ML6 zorgde voor een opstelling waarbij je aan de hand van enkele zoekwoorden je eigen schilderij kon laten tekenen of verven door neurale netwerken en algoritmes.

Kunstmatige intelligentie is ook in de kunst doorgedrongen. Hoewel de technologie nog in zijn kinderschoenen staat, lijken de mogelijkheden eindeloos. ‘We zijn vooral gelimiteerd door onze eigen verbeelding’, klinkt het.

De voorbije jaren doken verschillende voorbeelden op van schilderwerken, literatuur en muziek waarbij artificiële intelligentie, machine learning of algoritmes gebruikt werden. Zo was in 2016 ‘Daddy’s Car’ het eerste nummer dat door een AI werd gecomponeerd in de stijl van The Beatles. ‘The Next Rembrandt’ werd in hetzelfde jaar via AI gemaakt door de stijl van de Nederlandse kunstschilder te kopiëren. De favoriete tools van het Franse collectief Obvious zijn geen penselen of verf, maar neurale netwerken en algoritmes. De kunstenaars maakten in 2018 een serie van elf portretten van een fictieve familie. Het schilderij ‘Edmond de Belamy’ werd geveild bij Christie’s voor 432.000 dolllar.

“Het gebruik van artificiële intelligentie in de kunst is breed”, zegt Lucas Desard, machine learning engineer bij ML6. Het Gentse bedrijf helpt klanten met strategisch en managementadvies op het gebied van artificiële intelligentie, data en machine learning. “Een van de toepassingen is het verbeteren ( enhance) van kunst, denk bijvoorbeeld aan het inkleuren van oude foto’s of zwart-witkunstwerken. Daarnaast zijn er algoritmes die diepte-inschattingen maken en aan de hand van een dieptemap een soort animatie creëren. Dat geeft de illusie dat het kunstwerk in 3D gemaakt is. In een museum is het bijvoorbeeld interessant om hoofden in foto’s of kunstwerken te animeren en een verhaal te laten vertellen. Daarbij aansluitend kan je ook special effects genereren, denk bijvoorbeeld aan de deepfakes.”

Tekstinstructies

Naast het versterken, is het ook mogelijk om met AI kunst te genereren. Desard ziet twee grote ontwikkelingen. Een eerste is het CLIP-model, dat tekst omzet naar een wiskundige representatie en afbeeldingen. “Op basis van een tekstinstructie ( prompt) wordt een afbeelding gecreëerd die overeenstemt met wat je getypt hebt. Het model leert welke tekst overeenkomt met welke soort afbeeldingen.”

Hoe het werkt, kan u zien op de demosite van Open.Ai, dat recent Dall-E 2 lanceerde. “Een leuk speeltje dat originele, realistische beelden en kunst maakt van een tekstbeschrijving”, zegt Desard. Hij staat versteld van de vooruitgang die er in zo’n korte tijd geboekt is. Een andere toepassing is het toevoegen of verwijderen van elementen in bestaande beelden, op basis van een bijschrift in natuurlijke taal. Het houdt hierbij rekening met schaduwen, reflecties en texturen. Hij demonstreert het op de website met een corgi in het museum. Afhankelijk van waar de hond geplaatst wordt – als achtergrond op het schilderij of op de museumvloer – ziet hij er telkens anders uit. Het model heeft met andere woorden door wanneer de corgi een kunstwerk is of een echte hond.

Daarnaast is er het generatieve model, dat twee verschillende algoritmes combineert. Het ene leert uit een grote dataset, bijvoorbeeld foto’s van appelsienen, hoe de vrucht eruitziet. Het andere netwerk genereert output waardoor het eerste denkt dat het tot de originele dataset behoort. Met andere woorden, door de wisselwerking ontstaan nieuwe beelden die variaties zijn op de bestaande dataset. Een voorbeeld hiervan is het eerder genoemde schilderij ‘Edmond de Belamy’ van het collectief Obvious.

Iedereen kunstenaar?

“Door een goed generatief model te trainen heeft het algoritme door hoe de wereld eruitziet en genereert het afbeeldingen”, zegt Lucas Desard. “Daar komen vaak kunstzinnige zaken uit.” Met andere woorden, u moet geen kunstenaar meer zijn om knappe kunst te maken, maar u moet het wel goed kunnen uitleggen of verwoorden. “Prompt engineering is een kunst op zich”, legt hij uit. “Je gebruikt uitgebreide termen die op het internet toegepast worden om kwalitatieve afbeeldingen te beschrijven.”

De technologie staat nog in zijn kinderschoenen, maar de mogelijkheden zijn eindeloos. “Het CLIP-model is baanbrekend. Ik vermoed dat de grafische designwereld op zijn kop gezet zal worden. Voorlopig dient het vooral als bron van inspiratie. Als de kunstenaar niet goed weet waarmee hij moet beginnen, kan hij een paar voorbeelden genereren. Of misschien kleine onderdelen knippen en plakken om in het eigen kunstwerk toe te passen.”

Betekent dit een bedreiging voor de traditionele kunstenaar als het gemakkelijker wordt om zelf kunst te genereren door te beschrijven wat je wil zien? “Op lange termijn wel, denk ik”, zegt Desard. “Het wordt voor de leek gemakkelijker om hoogkwalitatieve kunst of logo’s, verpakkingen, advertenties, kledingontwerpen of gamingobjecten te maken. Maar natuurlijk moet iemand het nog altijd maken. Die prompt engineering is vrij complex. Er zullen nog altijd kunstenaars nodig zijn. Ik vermoed wel dat de inhoud lichtjes zal veranderen. In plaats van alles zelf gedetailleerd te tekenen, zal je bijvoorbeeld een ruwe schets van een oog maken en de details laten invullen door de computer.”

Beperkingen

Maar zo’n vaart loopt het voorlopig niet. Het duurt nog altijd lang om een afbeelding te genereren. “Afhankelijk van hoe sterk je computer is, varieert dat van vijf minuten tot een uur. Hyperrealistische afbeeldingen zijn op dit moment nog een beperking. Het is eveneens moeilijk om de coherentie doorheen een afbeelding bewaren. Soms genereren deze modellen afbeeldingen die er realistisch uitzien als je je op individuele secties focust, maar uit de gehele afbeelding kan je wel afleiden dat het om een valse afbeelding gaat. Bij het genereren van een gezicht, bijvoorbeeld, verschillen het linker- en rechteroor van vorm en zijn de oorbellen niet dezelfde. Dat is iets waar je weinig controle over hebt.”

Desard verwacht wel dat de kwaliteit zal verbeteren en de snelheid zal toenemen. De technologie wordt ook toegankelijker, voegt hij er nog aan toe: “Het is moeilijk om ver vooruit te kijken hoe dit verder zal evolueren. Ik denk dat we vooral gelimiteerd zullen zijn door onze eigen verbeelding. Zolang je het nauwkeurig kan omschrijven, zal het wel lukken.”

Hoe u dergelijke kunstprojecten moet commercialiseren, is nog een andere moeilijkheid, vindt Lucas Desard. “Voor dergelijke projecten is het niet gemakkelijk om subsidies te krijgen. Mensen zijn meestal geïnteresseerd in het eindresultaat, maar niet per se in de tool of de applicatie. Of er businesswaarde zit in artificiële intelligentie voor kunst, is voorlopig nog een vraagteken.”

Halzheimer

Ook in ons land laten kunstenaars en artiesten zich beïnvloeden door artificiële intelligentie en algoritmes. De Belgische kunstenaar Frederik De Wilde integreerde de voorbije jaren neurale netwerken en artificële intelligentie in zijn werken. In Halzheimer (samentrekking van HAL 9000, een fictieve computer uit de Space Odyssey-reeks, en Alzheimer) worden gezichten door algoritmes samengesteld. Het gezicht in het kunstwerk lijkt snel te verouderen: er verschijnen lijnen onder de ogen en aan de randen van het gezicht en het haar wordt dunner en lichter. De kleuren worden door elkaar gemixt en de kenmerken van het gezicht beginnen te smelten. “In dit werk boots ik het aftakelen van geheugen na en toon ik de (visuele) gevolgen daarvan”, zegt De Wilde. “Misschien zijn mens en machine toch niet zo verschillend? Op het einde wordt het werk een minimalistisch vlak, bijna een Rothko. Dat opent speculatieve vragen: bestaat er zoiets als digital aging? Moet alles er voor altijd zijn?”

In ‘The Face of your Voice’ bouwt De Wilde dan weer op basis van korte geluidsopnames een gezicht op. “Soms is het verbazend hoe weinig informatie je nodig hebt om een beeld te reconstrueren”, zegt hij. “Dan kun je je de vraag stellen hoever je kunt gaan in profiling door middel van artificiële intelligentie? Wanneer is er een inbreuk op de privacywetgeving?”

Toegevoegde waarde

AI is voor De Wilde een tool die hij in zijn artistieke proces integreert. “Het is niet zo dat ik op een knop blijf drukken en dat er dan een kunstwerk uitkomt. Ik laat niet een mooi beeld genereren door AI om te zeggen dat het kunst is. Zo werkt het niet. Ik wil er iets mee zeggen aan de mens en de maatschappij.” Hij gelooft niet dat artificiële intelligentie alles en iedereen zal vervangen, inclusief kunst. De Wilde ziet het evenmin als een bedreiging, nu of in de nabije toekomst. “Het zal eerder aan de mensen liggen, want zij trainen de algoritmes. Daar kan bias in kruipen.”

Volgens De Wilde is AI niet alleen technologie voor automatisering en repetitieve taken, maar kan het veel meer zijn. “Het levert een bijdrage om onze realiteit te verbeteren en toegevoegde waarde te bieden. Ik integreer AI in mijn artistieke processen als een soort co-auteur. Het is een proces waarop ik probeer in te grijpen, door mijn eigen modellen te maken of eigen ruwe data samen te stellen.”

AI biedt, net zoals elke technologie, veel mogelijkheden, maar heeft ook zijn beperkingen. “Behalve de verbeelding. Door met die technologie te werken, merk ik dat ik vaak zelf nooit op bepaalde zaken zou zijn gekomen. AI inspireert mij om anders te kijken of iets anders te doen. Dat is de essentie.”

Deepfake

België is ook gekend voor zijn deepfakes. “Chris Umé is zowat de pionier”, zegt Lucas Desard. “Hij is de man achter de deepfake van Tom Cruise. Van in het begin heeft hij de kracht van de deepfakes goed ingeschat.”

Zelf deed ML6 een deepfakeproject voor een documentaire over prostitutie in Amsterdam voor de Evangelische Omroep (EO). “De makers wilden een paar gevoelige getuigenissen anonimiseren. Omdat we deepfake gebruikten, hoefden we het gezicht niet te blurren of in silhouet te filmen, waardoor de emotionele impact van het verhaal niet verloren ging.” Ook voor de Data News Award 2022 maakten ze een klein project. “Tijdens het event op 2 juni kiezen de bezoekers het kunstwerk dat hen het meest aanspreekt en kunnen ze zichzelf in het kunstwerk deepfaken.”

De deepfakes tonen alvast ook het ethische aspect van de technologie. Recent was er nog een deepfakevideo van de Oekraïense president Zelensky die de bewoners opriep om zich over te geven aan Rusland. “Het kan ook voor minder goede doelen gebruikt worden”, besluit Desard. We kunnen niet meer vertrouwen op wat we zien. Dat was al het geval met foto’s toen Photoshop ontstond en hetzelfde gebeurt nu met video’s. We zullen eenzelfde transitie doormaken.”