Sjoemelsoftware is toch zo oud als de benchmarks zelf?

Wordt ‘sjoemelsoftware’ het woord van het jaar? Of wordt het ‘dieselgate’? Feit is dat we eerst een dieselgate nodig hadden, vooraleer het woord sjoemelsoftware het levenslicht zag. Collectief was en is nog steeds de verbazing dat een autofabrikant jarenlang de hele wereld opzettelijk bedroog door testresultaten ‘bij te sturen’. Terechte verontwaardiging. Een uitdrukking als ‘de schaamte voorbij’ is hier zeker op zijn plaats.

Maar wanneer we het vanuit de it-kant bekijken, mogen we niet verrast zijn. Stukjes code die testresultaten om de tuin leiden? Zo’n sjoemelsoftware is toch zo oud als de benchmarks zelf?

Begin jaren ’90 kwamen verschillende fabrikanten van grafische kaarten zoals S3 in opspraak. In hun ‘stuurbestanden’ kwamen bepaalde ‘text strings’ terug die ook terug te vinden waren in het op dat moment meest gebruikte benchmark-programma voor grafische kaarten. Wat op z’n zachtst uitgedrukt wel heel sterk doet vermoeden dat de fabrikanten op die manier detecteerden of hun hardware op de testbank lag.

Wat later – toen 3D-games à la Quake razendpopulair waren – moest ATI schuld bekennen in het manipuleren van de Quake III benchmarktest, en in 2003 kwam concurrent nVidia ook al in opspraak. In de meest populaire benchmark 3DMark2003 speelde de GeForce FX alle concurrerende grafische kaarten van de tabellen. Tot testers ontdekten dat er nauwelijks prestatiewinsten waren wanneer ze een andere benchmark inzetten. nVidia maakte er zich toen van af met de dooddoener dat het een bug was en geen gesjoemel.

Ook Apple werd in diezelfde periode beschuldigd van het manipuleren van testresultaten. Apple wou in 2003 aantonen dat de Power Mac G5 met z’n 2 GHz processor de vergelijking kon doorstaan met een Dell Precision 650 die een 3,06 GHz Intel Xeon CPU aan boord had. Apple bestelde een studie bij het onafhankelijke testbureau VeriTest, maar wat bleek achteraf? Dat VeriTest van Apple een stukje software kreeg waarmee het de G5-processor op al z’n kwaliteiten kon beoordelen. De onafhankelijke tester die voor z’n test beroep doet op een gesloten stukje software aangereikt door de fabrikant in kwestie? Dat doet pas echt de wenkbrauwen fronsen. Testresultaten waar wijlen Steve Jobs nota bene wél graag mee uitpakte.

De autosector hinkt op it- en softwarevlak altijd enkele jaren achterop op de it-industrie zelf. Een optimist die denkt dat het plan voor de sjoemelsoftware van Volkswagen wel in diezelfde tijdsgeest ontstaan is en dat zo’n flagrant gesjoemel ondertussen niet meer aan de orde is. Maar een realist die de recente geschiedenis bekijkt, weet dat die stelling niet klopt.

De opkomst van smartphones en mobiele devices bijvoorbeeld. Samsung werd vorig jaar nog betrapt. Het bedrijf had in zijn Note 3 en Galaxy S4 toestellen een ‘whitelist’ van benchmarksoftware als SunSpider of Browsermark geprogrammeerd. Wanneer de toestellen die software detecteerden, werkte de processor automatisch aan de volle 100%. De impact op de batterij is in zo’n geval dramatisch, de prestatiescore onnatuurlijk hoog vergeleken met het ‘echte’ gebruik. Veel groter kan een parallel met Volkswagen toch moeilijk zijn?

HTC werd ook betrapt. HTC deed zelfs geen poging om te ontkennen dat de prestaties van hun One M8 opgekrikt worden in benchmarkprogramma’s. Sterker nog, HTC heeft het over een automatische ‘high performance mode’ die je nu ook zelf kan uitzetten, diep verstopt in de instellingen van het toestel. Het is geen bedrog, het is een feature. ‘De schaamte voorbij’ is hier ook wel op z’n plaats.

Samsung besloot trouwens om te stoppen met het testgesjoemel, maar werd pas nog opnieuw beschuldigd. Sommige van hun tv’s zouden in labotesten opvallend minder energie gebruiken. Wordt ongetwijfeld vervolgd.

‘Software is eating the world’, schreef internetpionier Marc Andreessen in 2011 in een opiniestuk. Hij heeft gelijk gekregen. Software schuift op naar zowat alle mogelijke industrieën. De maatschappij is in grote mate afhankelijk geworden van software en dat brengt risico’s met zich mee. Met software kan je veel aansturen, maar ook bijsturen.

Sjoemelsoftware mag dan misschien wel het woord van het jaar worden: de it-sector had er decennia geleden al een patent op kunnen nemen. En nee, daar kunnen we onmogelijk fier op zijn. Misschien kunnen we ‘benchmarkbedrog’ alsnog claimen?