We moeten het eens hebben over deepfakes (en nee, dit is niet Tom Cruise)

'Tom Cruise een bril laten opzetten is iets waar je al snel een halve dag werk aan hebt. Hoe meer van zulke details, hoe overtuigender de deepfake wordt.'
Geert Zagers
Geert Zagers Journalist bij Knack Focus

Hij ging viraal met Game of Thrones, werkte met Trevor Noah en Arjen Lubach, ging vast in dienst bij de makers van South Park en zei nee tegen Kanye, maar het is pas met zijn laatste deepfake dat hij de monden echt deed openvallen. Het is niet alleen Tom Cruise: heel Hollywood weet sinds twee weken wie Chris Umé uit Paal, Beringen is.

CNN, The New York Times, The Guardian, The Verge, Fortune, The Times, Chinese zenders, Japanse zenders, allemaal gingen ze tien dagen geleden in het rijtje staan om een Belg te kunnen interviewen. Al een week verschenen er toen vreemde filmpjes van Tom Cruise op TikTok. Tom Cruise die golft. Tom Cruise die een lolly eet en verbaasd is dat er een kauwgum in zit. Tom Cruise die een munt wegtovert. Voor het eerst sinds hij bij Oprah Winfrey op de sofa sprong, was Tom Cruise nog eens viraal gegaan. Alleen: het was niet de echte Tom Cruise: het was een deepfakeversie die hard op hem leek. Akelig hard: zelfs gespecialiseerde detectietools herkenden de video niet als een deepfake. Een week lang werd op het internet gespeculeerd over wie er achter de video’s zat en wat de bedoeling was. Tot Chris Umé, een 31-jarige zelfgeschoolde AI-artiest uit Paal, Beringen, de video’s claimde en een making-of op zijn YouTube-kanaal zette. Het moet van Stromae geleden zijn dat er nog zo veel internationale aandacht voor een Belg was.

Ik heb niet de doos van Pandora geopend, zoals iemand schreef. De technologie is er en we gaan ermee moeten leren omgaan.

Zodat u weet waar we het over hebben: deepfake is een nieuwe, verbluffende vorm van special effects op basis van artificiële intelligentie en deep learning. Denk Photoshop, maar dan voor video. In ruwe lijnen komt het erop neer dat je een algoritme met duizenden beelden van een gezicht traint zodat het er een AI-computermodel van kan maken. Vervolgens wordt dat gezicht over een bestaande video gelegd en vervangt het het oorspronkelijke gezicht, maar behoudt het de mondbewegingen en de gelaatsuitdrukkingen. Het resultaat: met de juiste expertise kun je eender wie eender wat laten zeggen. Extinction Rebellion gebruikte al een deepfake om premier Sophie Wilmès een vervalste speech te laten geven. Een deepfake-Kim Kardashian vertelde hoe ze mensen manipuleert puur voor het geld. En uiteraard is er ook deepfakeporno, van Scarlett Johansson over Gal Gadot tot Michelle Obama.

Mocht u nu een tikje verontrust zijn, dan is dat niet helemaal onterecht. De deepfaketechnologie, die nog maar sinds 2017 bestaat, heeft het jongste jaar enorme stappen gezet en wordt steeds realistischer. Voorlopig werkt het nog niet voor stemmen en moet er met imitators gewerkt worden, maar verwacht wordt dat de komende jaren ook AI-stemmen geïntegreerd kunnen worden. Kortom, deepfake staat op het punt om de grens tussen wat echt lijkt en wat echt is nog wat verder op te schuiven. Precies daarom veroorzaakten de deepfakes van Cruise ook zo veel ophef. Het werk van Chris Umé hoort bij het indrukwekkendste dat de technologie tot op heden heeft afgeleverd. Als je goed kijkt, besef je dat het Tom Cruise niet is, maar scroll op je gsm achteloos langs de video en je gelooft even echt dat Tom Cruise een TikTok-kanaal heeft aangemaakt. Vergeet die detectietools: het strafste aan de video is dat je heel even zélf hebt getwijfeld.

Ben je al bekomen van de mediastorm?

Chris Umé: Nog niet helemaal. De voorbije week was interview na interview na interview. Ik ben de tel kwijt van hoeveel journalisten ik gesproken heb. Mijn mailbox en sociale media zijn compleet overstroomd: het is niet meer bij te houden wie me probeert te contacteren.

Hoe ben je met DeepTomCruise begonnen?

Umé: Begin vorig jaar was ik een filmpje tegengekomen van Miles Fisher, een Amerikaanse acteur, waarin hij Tom Cruise imiteert voor een satirische campagne voor de Amerikaanse presidentsverkiezingen. Imitaties zijn altijd interessant voor deepfakers omdat het dankbaar bronmateriaal is. Puur om bij te leren heb ik die video gedeepfaket met het gezicht van de echte Tom Cruise.

Blijkbaar was Miles onder de indruk want begin dit jaar vroeg hij om samen te werken voor een nieuwe video waarin hij in zijn tuin stond: ik moest ervoor zorgen dat hij er als Tom Cruise uitzag. Deze keer zette hij de video op TikTok. Geen idee waarom eigenlijk. Miles kende zelf ook niets van TikTok. Maar twee dagen later stuurde hij een bericht: ‘We moeten eens praten.’ Gevolgd door een screenshot van de teller onder de video: 2,5 miljoen views. ‘We moeten inderdáád eens praten’, antwoordde ik.

Zo is DeepTomCruise ontstaan, een TikTok-parodiekanaal dat zogezegd van Tom Cruise was. Heel onschuldige humor eigenlijk, een pastiche op wereldvreemde celebrity’s die aansluiting zoeken bij de jeugd, het medium niet begrijpen en denken dat jonge mensen willen zien hoe ze golfen. Dat kanaal is viraal blijven gaan: we zitten ondertussen aan bijna 20 miljoen views en meer dan 550.000 volgers. En ook de pers is erop gesprongen.

'Voor het WK 2018 heb ik voor Q een reeks mogen maken met de Rode Duivels als South Park-figuurtjes.'
‘Voor het WK 2018 heb ik voor Q een reeks mogen maken met de Rode Duivels als South Park-figuurtjes.’

‘The future is here’, schreef The Verge. DeepTomCruise leek op precies het juiste moment te komen: voor veel mensen was het de eerste keer dat ze niet meteen doorhadden dat ze naar een deepfake keken.

Umé: Het moet zoiets zijn, ja. De eerste dagen verschoot ik wel van de negatieve teneur van veel van de reacties. Mensen schreven dat vanaf nu niks nog echt is. Dat vandaag iedereen valse video’s kan maken die je niet van echte kunt onderscheiden. Dat het de volgende stap in fake news is. De video’s hebben veel mensen in de eerste plaats bang gemaakt, zo leek het wel.

Heb je daarom bekendgemaakt dat Miles Fisher en jij erachter zaten?

Umé: Ja. Het was sowieso nooit de bedoeling het geheim te houden. Ik wilde mijn werk claimen: het is een deepfake waar ik veel tijd in heb gestoken en waar ik trots op ben. Maar ik wilde zeker ook een aantal dingen rechtzetten. Die video’s zijn niet in tien minuten gemaakt. Ik ben een professioneel AI-artiest. Ik heb apparatuur ter beschikking die tienduizenden dollars kost, ik heb dit algoritme twee maanden getraind, de postproductie van elke video duurde 24 uur: dit is niet één klik van ons verwijderd, zoals ik her en der lees.

Mensen onderschatten Miles’ werk ook. Dat de video zo realistisch is, komt ook doordat hij een fantastische Cruise-imitator is en echt op hem lijkt. Veel van de finesses en de tics die Tom Cruise zo herkenbaar maken, zijn alleen maar mogelijk omdat ik op ideaal bronmateriaal kon werken. Dit kun je niet met eender wie doen.

De making-of was geruststellend, moet ik zeggen. Een Snapchat-filter is dit inderdaad niet.

Umé: Nee. Het is nieuwe technologie, dus er wordt altijd eerst naar de gevaren gekeken, maar het is geen zwarte magie. Ik heb niet de doos van Pandora geopend, zoals iemand op mijn LinkedIn schreef. De technologie is er en we gaan ermee moeten leren omgaan. Dat was ook het doel van deze video’s. Laten zien dat deepfakes ook creatief en humoristisch kunnen zijn. En tegelijk wilde ik op een speelse, ongevaarlijke manier bewustzijn creëren van wat er met de technologie vandaag mogelijk is.

Blijkbaar is het stukje waarin Cruise hoed en bril opzet een mijlpaal, lees ik.

Umé: De meeste deepfakes zijn heel simpel. De camera is statisch. De bewegingen zijn beperkt. Het gezicht blijft goed in beeld. Dat maakt het veel makkelijker: als iemand bijvoorbeeld zijn handen voor zijn gezicht houdt, detecteert het algoritme dat gezicht niet meer goed en krijg je vervormingen. Plots staat dan de neus scheef of worden de ogen kleiner.

Bij Cruise heb ik die glitches met traditionele postproductie handmatig bijgewerkt. Het vergt veel tijd en precisie: Cruise een bril laten opzetten is toch iets waar je al snel een halve dag werk aan hebt. Maar hoe meer van dat soort details, hoe overtuigender de deepfake wordt. En het kan altijd nog beter. In het laatste filmpje ben ik vergeten de schaduw toe te voegen wanneer hij zijn bril afzet: daar heb ik nog altijd spijt van.

Zelf was ik er dan weer vooral van onder de indruk dat je die ene rare tand net in het midden van zijn gebit precies juist hebt gekregen.

Umé: (lacht) Ik heb dat niet gedaan, hè. De technologie heeft dat gedaan. Ik teken niet zijn hele gezicht detail per detail. Ik train een algoritme van zijn gezicht met duizenden en duizenden beelden. Die tand is geen handmatige beslissing: de computer weet dat Tom Cruise een tand in het midden van zijn gebit heeft.

Heeft hij zelf al gereageerd?

Umé: Neen. Ik blijf me wel afvragen of hij ze gezien heeft. Het kan haast niet anders, maar ik was er graag bij geweest. Ik heb nog nooit een deepfake van mezelf gemaakt, maar dat moet heel raar zijn: naar een valse versie van jezelf kijken.

Klopt het dat je aan dit hele verhaal begonnen bent met een cursus aan Syntra?

Umé: (lacht) Min of meer. Ik heb een tijdje in Brussel aan de hogeschool gestudeerd, maar dat was om financiële redenen moeilijk vol te houden. Ik ben dan een jaaropleiding aan Syntra gaan volgen. Eerst camera en montage, daarna special effects. Bij die tweede opleiding wist ik: dit is het. Ik was er meteen door gebeten. Ik zat zeven dagen op zeven op school om zo veel mogelijk bij te leren over wat er met digitale effecten mogelijk is.

Twee dagen nadat ik mijn diploma had, ben ik aan de slag gegaan bij Qmusic. Ik heb vijf jaar voor Medialaan gewerkt, waar ik de man van de rare filmpjes en animaties was, van trailers voor Q tot video’s voor Beste kijkers. Een heel leerrijke tijd. Ze gaven me ruimte om mijn ding te doen. Ik was bijvoorbeeld een grote South Park-fan: voor het WK van 2018 heb ik voor Q een reeks mogen maken waarin alle Rode Duivels opdraafden als South Park-figuurtjes en Martinez als hun leraar. Misschien heb je die wel gezien.

Hoe ben je in de deepfakewereld beland?

Umé: Eind 2018 kwam ik voor het eerst artikels tegen over deepfakes, naar aanleiding van de deepfakeporno die toen op het internet opdook. Dat vuile gedoe interesseerde me niet, maar de techniek wel: het creatieve potentieel was meteen duidelijk. Buiten mijn uren heb ik me op die technologie gestort. Een paar maanden later heb ik mijn eerste deepfake gemaakt: een video van Jacques Brel die opdook in de clip van een Vlaamse zanger.

Een marketingteam vroeg een deepfakehologram van een overleden man. Pas achteraf hoorde ik dat het om een cadeau van Kanye voor zijn vrouw ging.

De eerste keer dat je van je deed spreken, was met een deepfakemondmanipulatie van Game of Thrones.

Umé: Dat was in juni. In mijn laatste jaar bij Q was ik het YouTube-kanaal Eating Things with Famous People begonnen met Bockie De Repper, die ik van het werk kende. Na dat laatste seizoen van Game of Thrones – niet bepaald het beste – was ik zo teleurgesteld dat ik een video wilde maken waarin Jon Snow zijn excuses aanbood. In geen tijd is die video meer dan twee miljoen keer bekeken. Voor mij was dat een teken. De interesse was groot, het potentieel was enorm, de markt was nieuw: ik móést erop springen. Kort daarna ben ik gestopt bij Medialaan en heb ik me volledig op deepfakes gestort.

Een viral met twee miljoen views: als visitekaartje kan dat tellen.

Umé: Die video heeft wel wat in gang gezet, ja. Mijn strategie was om zo veel mogelijk video’s te maken tot iemand in Hollywood mij opmerkte. En dat lukte aardig, moet ik zeggen. Jason Derulo zat plots in mijn mailbox. Snoop Dogg heeft alle deepfakes geliket die ik van hem gemaakt had. Trevor Noah liet na een deepfake van hem weten dat hij het te gek vond – later hebben we samen nog een nieuwe deepfake gemaakt. Maar voor de meeste opdrachten heb ik moeten bedanken: ik had te veel werk.

Klopt het verhaal dat je nee hebt gezegd tegen Kanye West, die Kim Kardashian een deepfake van haar overleden vader Robert wilde geven voor haar verjaardag?

Umé: Voor dat hologram was dat. Heel raar verhaal. Het was niet Kanye zelf die het vroeg, maar een marketingteam dat mailde voor een deepfakehologram van een overleden man voor de veertigste verjaardag van diens dochter. Het klonk allemaal bizar. Zo bizar dat ik dacht: kom, we doen iets anders. Pas achteraf had ik door dat die veertigjarige vrouw Kim Kardashian was en het cadeau van Kanye kwam.

Naar verluidt heeft Kanye West in dat hologram Robert Kardashian laten zeggen dat zijn schoonzoon ’the most, most, most, most, most genius man in the whole world’ was.

Umé: (lacht) Ik heb het hologram gezien, maar daar heb ik eigenlijk niet op gelet. Ik was vooral met de techniek bezig.

Ondertussen ben je aan de slag bij DeepVoodoo in Los Angeles, een nieuwe studio van Matt Stone en Trey Parker, de makers van South Park.

Umé: Op een dag kreeg ik een mail van de hoofdproducer van South Park. Matt en Trey hadden mijn video’s gezien en wilden eens babbelen. Ik geloofde het eerst niet. Ik ben opgegroeid met South Park. Matt en Trey zijn helden. Maar twee weken later stond ik dus daadwerkelijk in LA met hen te praten. Ik zie me nog binnenkomen in de studio. Alle deepfakers met naam in het wereldje zaten in die kamer. Allemaal gasten zoals ik: amateurspecialisten die zichzelf alles hadden geleerd. Matt en Trey geloofden, als een van de eersten, in professionele deepfake- en AI-technologie en wilden een studio bouwen rond the best in the business.

Creatief solliciteren: Chris Umé hermaakte de video van Nothing Compares 2 U met Gollum. 'Ik heb nog altijd niets van Peter Jackson gehoord.'
Creatief solliciteren: Chris Umé hermaakte de video van Nothing Compares 2 U met Gollum. ‘Ik heb nog altijd niets van Peter Jackson gehoord.’

Op termijn moeten we dé studio in Hollywood worden voor AI-effecten. Voorlopig doen we research naar nieuwe technieken en ontwikkelen we formats. Zo hebben we eind vorig jaar een pilot van Sassy Justice uitgebracht, een deepfakecomedyreeks. Binnenkort volgen er nog shows. Maar tot nu toe moet ik alles vanuit België doen: pas als iedereen gevaccineerd is, kan ik naar ginder en begint mijn Hollywoodverhaal echt.

Hollywood heeft het voorbije jaar een aantal keer geëxperimenteerd met deepfakes en AI-effects, zij het met matig succes. Martin Scorsese liet in The Irishman een dertig jaar jongere versie van Robert De Niro opdraven die lachwekkend was. The Mandalorian blies in zijn tweede seizoen een vijftig jaar oud Star Wars-personage (waarvan we om spoilerredenen de naam niet zullen zeggen) nieuw leven in dat eerder robotachtig overkwam.

Umé: Die voorbeelden laten vooral zien hoe snel de technologie aan het evolueren is. Deepfakers op het internet hebben die scènes al overgedaan met nieuwe technologie, ontwikkeld in hun vrije tijd: die nieuwe versies ogen al véél realistischer.

Maar het klopt dat er iets aan het bewegen is in Hollywood. 2020 was het jaar van de evolutie. 2021 is het jaar waarin de technologie helemaal doorbreekt. Het gaat dan niet alleen over deepfakes, maar over veel meer. Je hebt faceswaps. Je hebt de-aging. Met mondmanipulatie kun je ervoor zorgen dat gedubde films er straks niet meer zo belachelijk uitzien. Je kunt er digitaal mee restaureren en zwart-witbeelden omzetten naar kleur. En dan heb ik het niet eens over games: met real-time deepfake kun je fotorealistische gezichten gebruiken in games als FIFA in plaats van 3D-tekeningen. Er gaan de komende jaren heel veel nieuwe dingen mogelijk zijn.

Ik zie nu ook aan mijn mailbox dat de interesse groeit. Ik heb al eens voorzichtig gespiekt wie me allemaal heeft proberen contacteren sinds de Cruise-video’s: het is pure waanzin welke namen daartussen staan. Ik durf ze niet eens te noemen.

Eentje?

Umé: (lacht) Nee, ik durf echt niet.

Heb je de uitzending van Zondag met Lubach over deepfakes gezien?

Umé: Ik heb er zelfs aan meegewerkt. Helemaal aan het einde verandert Lubachs gezicht in dat van koning Willem-Alexander: dat was mijn werk.

Hij somt een aantal voorbeelden op die de andere kant van de technologie laten zien. Een kritische Indiase journaliste werd monddood gemaakt nadat er een deepfakepornovideo van haar was verschenen en vond sindsdien geen werk meer. Toen de president van Gabon in een video de bevolking probeerde gerust te stellen over zijn gezondheid, lanceerde de oppositie het gerucht dat dat een deepfake was. Een week later volgde een staatsgreep. Dat is niet niets.

Umé: Zeker niet. Die kant is er. Er zullen straks politici zijn die roepen dat een bezwarende video deepfake is. Er zullen oplichters zijn die in gedeepfakete videocalls mensen geld proberen af te troggelen. Ik twijfel er niet aan dat mensen dit gaan misbruiken. Maar dat is niet de enige kant. Met DeepVoodoo en video’s als die van Tom Cruise willen we net laten zien dat deepfake ook een creatieve technologie kan zijn. Ik vind ook dat Lubach het net iets te veel voorstelt alsof eender wie met één klik deepfakes kan maken. Voorlopig heb je echt wel nog altijd iemand als mij nodig.

Voorlopig.

Umé: Ik kan niet in de toekomst kijken. Misschien wordt de technologie straks inderdaad even vanzelfsprekend als een Snapchat-filter, maar dat kunnen we nu nog niet zeggen. Toen Photoshop op de markt kwam, leek het ook alsof geen enkele foto nog betrouwbaar zou zijn. Twintig jaar later is een goede fotoshop nog altijd heel moeilijk om te maken en heel makkelijk om te detecteren. Aan het begin van een nieuwe technologie lijkt de dreiging altijd groter dan ze is.

We moeten het eens hebben over deepfakes (en nee, dit is niet Tom Cruise)
© Kris Van Exel

Ga je er nu niet licht over? Alleen al het feit dat deepfake bestaat, is munitie voor dubieuze politici en complottheoretici. De waarheid wordt nog net iets meer uitgehold, net op een moment waarop is gebleken waar dat toe kan leiden.

Umé: Kijk, de technologie is er en ze gaat niet meer weg. Dit los je niet op door het te verbieden. Net zoals bij Photoshop denk ik dat het vooral belangrijk is dat we ermee leren omgaan. Twintig jaar geleden kon een valse foto van het monster van Loch Ness voor ophef zorgen, vandaag kijken we daar heel anders naar. De media spelen daar een belangrijke rol in: een betrouwbare pers die de technologie snapt en bronnen checkt, is belangrijker dan ooit.

En verder ben ik een grote voorstander van goede reglementering, net om die gevaren tegen te gaan. Dat zeg ik in elk interview. Er moet een juridisch kader komen omtrent deepfakes. Ik ben voorstander van creatieve vrijheid. Parodie en satire moeten binnen duidelijke lijnen kunnen. Maar wraakporno en misleidende nieuwsvideo’s, dat is misbruik van de technologie die vervolgd moet worden. Momenteel zit er te veel in een grijze zone.

Dat besef begint te komen. Twitter en Facebook hebben al aangekondigd dat ze kwalijke deepfakes zullen verwijderen.

Umé: Maar hun detectietools zijn gebaseerd op technologie van drie jaar geleden. Mijn Cruise-video is niet eens herkend als deepfake. Ik snap niet hoe dat kan: als je het frame per frame bekijkt, kun je echt wel zien dat het een deepfake is. De detectie moet beter, zeker voor een technologie die zo snel evolueert.

Deepfakes gaan binnenkort interessante juridische discussies over toestemming, laster, identiteitsfraude en portretrecht opleveren. Kim Kardashian liet al een deepfake van haar verwijderen op basis van een copyrightclaim. Nooit schrik gehad dat Tom Cruise zou procederen?

Umé: Nee. Voor we eraan begonnen, hebben we zijn management wel een mail gestuurd met onze plannen en de boodschap dat we de video’s zouden verwijderen als hij dat wilde, maar hij heeft nooit geantwoord.

Maar eigenlijk zijn dat dus de dingen waar ik liever niet mee bezig ben. Ik ben geen jurist. Ik ben ook geen ethicus. Ik ben een AI-artiest die creatieve video’s wil maken die mensen amuseren of doen lachen – en daarmee een weg naar Hollywood heeft weten te vinden. De rest laat ik liever over aan anderen die daar meer verstand van hebben.

Over Hollywood gesproken: in elk interview roep je Peter Jackson op om je te contacteren.

Umé: Ik had twee dromen toen ik hieraan begon. Eén: werken voor de makers van South Park, de reeks waar ik mee ben opgegroeid. En twee: werken voor Peter Jackson, de regisseur van The Lord of the Rings, de films waarmee ik ben opgegroeid. Een van de twee is gelukt, nu de andere nog. (lacht)

Ik zag dat je al een deepfake van de videoclip van Nothing Compares 2 U met het gezicht van Gollum hebt gemaakt, met een shout-out naar Jackson op Twitter. Je bent wel erg creatief in het solliciteren, moet ik zeggen.

Umé: Dat is hoe ik het tot nu toe altijd gedaan heb. Ik heb mezelf alles geleerd. Ik heb mijn eigen weg gebaand. En tot dusver ben ik ermee van Paal, Beringen tot in Hollywood geraakt. Slecht is dat niet. (lacht)

Nog altijd geen antwoord trouwens?

Umé: Van Jackson? Nog altijd niet, nee. Ik zal straks mijn mailbox nog eens checken. (lacht)

Chris Umé

Instagram @vfxchrisume

Leeftijd 31.

Komt uit Beringen.

Verhuist straks naar Los Angeles.

Beroep AI-artiest, gespecialiseerd in deepfakes.

Wat zijn deepfakes? Digitale beeldmanipulatie op basis van artificiële intelligentie en deep learning, hoofdzakelijk gebruikt voor faceswaps en mondmanipulatie.

Euh. Wat?Zondag met Lubach heeft een uitzending over deepfakes, te vinden op YouTube, die een prima introductie is.

Werkt voor DeepVoodoo, een AI-special-effectsstudio van Trey Parker en Matt Stone, de makers van South Park.

Werkte eerder al voor/met Qmusic, Beste kijkers, Trevoh Noah, Arjen Lubach, Bockie De Repper, Bram Krikke.

Een selectie van zijn werkJon Snow Finally Apologized for Season 8 (een deepfake van Game of Thrones met 2 miljoen views), Sassy Justice (deepfakecomedy), een digitale restauratie van Jacques Brels Ne me quitte pas.

Nu in de aandacht voor DeepTomCruise, een TikTok-kanaal rond een deepfake-Tom Cruise dat viraal ging en over de hele wereld besproken werd.

Fout opgemerkt of meer nieuws? Meld het hier

Partner Content