Longread: Hoe Netflix je meer beeld met minder bits geeft

Netflix investeert in eigen films en series, maar een aanzienlijk deel van het budget gaat naar eigen innovatie. Die moet er voor zorgen dat u niet enkel in uw luie zetel kan kijken, maar dat u ook op een gammel 3G-netwerk ergens ten velde een HD-ervaring krijgt.

Laten we er geen doekjes om winden. Ons ‘interview’ met Todd Yellin, het hoofd Innovatie van Netflix is vooral een goed gerepeteerde monoloog waar bij vertelt hoe Netflix op technisch vlak zichzelf blijft heruitvinden. Momenteel legt het bedrijf een zware focus op mobile. Dat heeft een reden:

“Sinds januari zijn we wereldwijd beschikbaar, behalve in China, en in sommige markten zien we dat er een veel grotere focus is op mobiel kijken. Globaal kijken onze klanten twee derde van de content op tv. In de VS en de meeste Europese landen wordt ook hoofdzakelijk op een tv-scherm gekeken. Maar dat wil niet zeggen dat mobiel er minder belangrijk is want je wil een multi-device ecosysteem en in praktijk kijk je wel degelijk op verschillende toestellen. Dat maakt dat mobile ontzettend belangrijk is voor ons om aan de belofte van internet-tv te voldoen.”

Maar Europa en de VS zijn de rest van de wereld niet. “In drie landen, India, Zuid-Korea en Japan zien we dat er meer uren op tablets en smarpthones worden gekeken dan op het grote scherm.”

Graag een bakje Netflix?

Videostreams vertrekken vaak vanuit een groot datacenter over honderden kilometers, maar die afstand brengt ook vertraging en meer kans op technische problemen mee. Bovendien is het zowel voor Netflix als voor lokale internetproviders bijzonder belastend om tienduizenden streams door elkaar af te leveren. Om dat te counteren deelt Netflix zijn catalogus fysiek met de providers.

“Het zijn open connected appliances. Op maat gemaakte hardware met zelf ontwikkelde software die we gratis aan ISP’s geven. Afhankelijk van het model zijn ze 64 tot 288 terabyte groot en ze bevatten nagenoeg onze hele catalogus.” Aldus Yellin. Data News kreeg helaas geen server mee naar huis maar ze worden wel gratis aangeboden aan lokale spelers als Proximus of Telenet. “Op die manier nemen we een groot gewicht van het internet en moet een serie enkel de laatste kilometers overbruggen. Maar we doen dat natuurlijk ook om egoïstische redenen. We zijn een abonneedienst, dus mensen moeten een reden hebben om ons te willen en dat doe je door betere content en een betere kijkervaring. Eens de content van Netflix fysiek dichter bij onze abonnee zit, geraakt die sneller op het scherm met minder haperingen en dus met een betere ervaring.”

Yellin legt uit dat een wereldwijde videodienst runnen ook betekent dat je zowel in 4K moet streamen als in veel lagere formaten. “We zien ook markten waar de snelheid zeer hoog ligt, maar je moet opletten voor je (mobiele) datalimiet. Daarom hebben we variabele bitsnelheden. We encoderen elke uitzending meerdere keren: de ene keer met enorm veel bits zodat je de best mogelijke beeldkwaliteit hebt. Maar ook in lagere en veel lagere kwaliteit tot je amper nog bits hebt en ook de beeldkwaliteit een beetje twijfelachtig wordt. Maar op die manier ga je geen bufferingsproblemen krijgen. We detecteren constant hoeveel bandbreedte je hebt zodat wanneer de verbinding plots mindert, het beeld niet hapert want dat irriteert. Zeker vlak voor ze Pablo Escobar neerschieten.”

Netflix biedt al een tijdje content in 4K aan. Maar hoe zit dat aan de andere kant van het spectrum? “De laagste stream die we vandaag aanbieden is 100 Kbps, audio niet meegerekend. De hoogste loopt ergens in de 10 tot 20 Mbps. Maar de exacte bitrates hangen af van de content zelf.”

De streamingdienst past sinds een dik jaar nieuwe technieken toe om zuiniger om te gaan met HD-video. “Voor HD heb je een bepaald aantal bits nodig om de kwaliteit te handhaven. Maar eigenlijk is het niet logisch om dat voor alle titels op dezelfde manier te doen. Neem nu Bojack Horseman (een animatiereeks op Netflix, nvdr). Het is de wijsheid van een paard met een alcoholprobleem. Complex in dialogen, maar visueel zijn het bijzonder eenvoudige animaties. Zeker als je het vergelijkt met Daredevil of The Crown waar je veel details, grote shots en een hoge visuele complexiteit hebt. Om nog maar te zwijgen van explosies en kogels die worden afgevuurd.

Dat maakt dat je veel minder bits nodig hebt om Bojack Horseman in HD te krijgen, dan om hetzelfde te bereiken met een actiereeks. Het verschilt volledig per titel. Daarom zijn we sinds een jaar per titel andere coderingen aan het toepassen.” Zelfs het uitkiezen welke reeksen visueel complex of eenvoudig zijn is geen mensenwerk, de agoritmes doen het werk. “Uiteindelijk komt er het hierop neer: We geven mensen betere beelden voor minder bits.”

Yellin toont ons enkele demos van Netflix op een smartphone. De ene toont ons een wazige stream aan 200 Kbps waarbij je amper scherpe hoeken of gezichten kan herkennen. Het andere toestel kan dat wel en streamt slechts aan 100 Kbps. We moeten Yellin daarbij op zijn woord geloven maar de laatste stream lijkt in elk geval een pak kwaliteitsvoller.

“We hebben de technologie nog niet uitgerold maar dit is wat we de komende maanden plannen. Alles wordt momenteel gefinaliseerd en al onze titels worden momenteel geëncodeerd naar dit formaat.”

Dat nieuwe formaat gebruikt de open source codec VP9 die de beeldkwaliteit bij een lage bitstream enorm verbetert. “Maar nu we al per titel optimaliseren, is het tijd voor iets anders: Barbie!”

Yellin gaat ons gelukkig geen reeks aanprijzen over het misvormde meisjessymbool, maar haalt de animatiereeks wel aan als de volgende stap. “In principe is Barbie even ‘makkelijk’ te encoderen als Bojack Horseman want het is animatie. Maar het is nu eenmaal Barbie dus zit er op het einde een scene met bijzonder veel glitter, glamour en andere complexe beelden in. Dat betekende dat we door die ene scene een encodering hadden die even zwaar was als bij Daredevil, terwijl de rest van de reeks eigenlijk visueel vrij eenvoudig is.”

U hoort Yellin al aankomen: “We zien het vaak in films: scenes met een man op een witten achtergrond, maar iets lager in een felle achtervolgingsscene. Dus we zijn gaan nadenken over hoe we per shot een andere bitrate kunnen hanteren. Is het heftig dan verbruik je veel, wordt het beeld rustiger dan kan dat met minder bandbreedte. Het idee is om bits te besparen door zo veel mogelijk te optimaliseren.”

Binnen enkele maanden kan je dus al goede mobiele kwaliteit streamen aan de helft van het aantal bits per seconden. Dat zijn meteen enkele uren extra die je kan streamen aan een bepaalde kwaliteit. Maar we zijn nog lang niet klaar. Dit moet nog verder verbeteren.”

Geluid

Tijdens onze rondleiding doorheen de demotoestellen merken we op dat los van de videostream de audio altijd op 56 Kbps blijft. “We verwachten dat dit ook zal dalen. Maar bij audio kan je op een bepaald moment niet lager. 40 Kbps zou bijvoorbeeld haalbaar zijn. Maar ik zie ons niet naar 4-5 Kbps gaan. Anders klinkt het al snel alsof je naar een telefoon luistert in plaats van naar CD- of DVD-kwaliteit.” Netflix gelooft dat je met audio minder rek hebt in de kwaliteit vooraleer je het als gebruiker als storend ervaart;”

Zelflerende beeldkwaliteit

De beelden zodanig encoderen maakt ook dat het bijzonder moeilijk wordt om objectief af te wegen wanneer een beeld slechter lijkt. “Net omdat het zo subjectief is, hebben we samengewerkt met de universiteiten van Californië (VS) en Nantes (Frankrijk). Zij hebben willekeurige mensen beelden laten beoordelen en hen een score van 1 tot 5 gegeven. Die kennis van de massa hebben we nadien gekoppeld aan machine learning waarbij onze systemen zelf leerden onderscheiden wat een beeld nu precies beter maakt, volgens die menselijke beoordelaars.”

Op het Mobile World Congress kondigde LG met zijn G6 een HDR smartphone aan die ook Netflix in HDR kan streamen. Iets wat ook de nieuwe Samsung Tab 3 tablet kan. Dat betekent weliswaar opnieuw een hogere bandbreedte, zo’n 10-15 procent volgens het bedrijf, maar ook hier wil het bedrijf gebruik van maken om beelden levendiger op een mobiel toestel te krijgen.

VR: cool, maar niet overtuigd

Netflix zegt dat het alle mogelijke formaten en concepten bekijkt. Al wil dat niet zeggen dat het alles meteen doet. Zo was Data News nieuwsgierig naar de interesse van Netflix in VR en misschien zelfs shows waar je zelf zou in plaatsnemen. Maar de filmgigant kijkt de kat uit de boom:

“Het klinkt ontzettend cool. Maar wat voegt het toe aan een verhaal? Zo’n productie bestaat uit close-ups, wide shots en andere beelden die worden geregissseerd. Je zou dus de hele taal van het verhaal moeten veranderen. Je zou het kunnen doen bij Toy Story, maar dan ben je naar Slinky aan het kijken terwijl Woody net iets interessants doet.”

Yellin wil virtual reality echter niet afschrijven. “Er zijn veel creatieve ideeën voor een goed VR-verhaal, maar we zijn nog niet overtuigd. We geloven dat er een redelijke kans is voor de technologie, maar op dit moment zijn we nog niet overtuigd om er voor te gaan. We kijken vanop de zijlijn.”