Een nieuwe toepassing van NVIDIA kan op een slimme manier ontbrekende pixels in foto’s opvullen. De tool maakt gebruik van deep learning AI om te bepalen op welke manier een afbeelding op een plausibele manier kan worden herstelde.
NVIDIA stelt zijn ‘gatenopvuller’ voor in een bericht op zijn website. De toepassing moet een verbetering zijn ten opzichte van bestaande oplossingen. In Photoshop bijvoorbeeld, worden ontbrekende pixels opgevuld op basis van de informatie uit omliggende pixels. Maar voor grotere plekjes van ontbrekende data is die benadering niet optimaal.
Gaten vullen
“Ons model kan gaten opvullen van elke grootte, los van de plaats op de afbeelding of de afstand tot de rand”, zegt NVIDIA in zijn persbericht. “Voordien focusten deep learning-benaderingen vooral op vierkantige gaten in het midden van een afbeelding. Er was ook veel meer tijd nodig om de opvulling te verwerken.”
In voorbeelden die NVIDIA laat zien van herstelde afbeeldingen, zien we hoe de ‘gatenopvuller’ een volledig beklad gezicht omvormt tot een normale foto. Daarnaast kan de toepassing ook natuurelementen, zoals een foto van een waterval, herstellen.
Neurale netwerken trainen
De GPU-fabrikant legt uit hoe de tool tot stand is gebracht. De onderzoekers hebben de neurale netwerken van de software getraind aan de hand van 55.000 verschillende maskers met willekeurige gaten die vervolgens op afbeeldingen werden gebruikt. De ontwikkelaars deelden de maskers uiteindelijk in verschillende categorieën in op basis van de grootte van de gaten, waardoor de nauwkeurigheid van de opvullingen toenam.
NVIDIA is niet het enige bedrijf dat deep learning-toepassingen ontwikkelt waarmee op een slimme manier afbeeldingen worden verwerkt. Drawing bot is een tool die onderzoekers van Microsoft onlangs voorstelden. Met die software konden algoritmes een volledig en uniek beeld creëren vanuit het niets.
Voorlopig is NVIDIA’s ‘gatenopvuller’ geen afgewerkte software-toepassing, maar het bedrijf stelt wel dat de tool geïmplementeerd zou kunnen worden in bestaande fotobewerkingssoftware.
