Het begon allemaal met een stortvloed aan scheldwoorden. Toen filmstudio Lionsgate de thriller Fall wilde uitbrengen, was er een probleem: de film bevatte 36 keer het f-woord – veel te vaak voor de zogeheten PG-13 rating waarmee je een breed publiek kunt bereiken.
Nieuwe opnames zouden een fortuin kosten en traditionele postproductie kon de vloeken niet wegwerken zonder zichtbare sporen. Maar regisseur Scott Mann had een geheim wapen achter de hand: zijn eigen AI-startup Flawless, die hij stilletjes had opgezet om een revolutie te ontketenen in videomontage. Met behulp van Flawless’ technologie werden alle 36 f*cks onmerkbaar vervangen door mildere woorden, zonder dat iemand het zou merken.
Nou ja, bijna allemaal. ‘Ik deed uiteindelijk één f*ck’, gaf Mann eerder toe tegenover TNW. ‘Dat mag blijkbaar nog wel.’ De film kreeg de gewenste PG-13 classificatie en werd een redelijk succes, met een opbrengst van 21 miljoen dollar tegen een budget van slechts 3 miljoen.
Wat heeft Mann, die volgende week spreekt op TNW Conference, dan bedacht? En is het werkelijk zo disruptief dat Hollywood schudt op zijn grondvesten?
Slechte dubbing
De startup van Mann en zijn co-founder, techveteraan Nick Lynes, richtte zich oorspronkelijk op een van Hollywoods meest frustrerende problemen: slechte dubbing. Als films worden nagesynchroniseerd, worden scripts vaak herschreven zodat de oorspronkelijke mondbewegingen een beetje passen bij de tekst. Maar als het dan nog steeds niet klopt, moeten stemacteurs sjoemelen om het recht te breien. Dat levert de onbedoeld komische scènes op waar bijvoorbeeld de Duitse tv beroemd om is.
TNW Conference
Scott Mann is maar één van de interessante sprekers uit de wereld van tech, media en business tijdens The Next Web Conference. Het event op het NDSM-terrein in Amsterdam staat weer bol van de grote namen, toffe startups en investeerders met diepe zakken. Check de sprekers en het programma. Nog geen kaartje? Bestel hier je tickets voor donderdag 19 en vrijdag 20 juni.
Mann stuitte al in 2018 op een techniek die fotorealistisch bijwerken van gezichten op video mogelijk maakt, waarbij elke gezichtsuitdrukking en lipbeweging kan worden gesynchroniseerd met de spraak. Hij wist meteen: dit gaat de manier veranderen waarop Hollywood films maakt.
Het idee voor Flawless was geboren, en TrueSync was het eerste commerciële product. Dat wordt inmiddels gebruikt door grote Hollywood-studio’s, al geven die er geen ruchtbaarheid aan. De software zet gezichten van acteurs eerst om naar 3D-modellen, die worden geanalyseerd door de AI, zodat gezichtsuitdrukkingen en lipbewegingen worden gesynchroniseerd met nieuwe dialoog. Op het filmfestival van Cannes trok Flawless er volop aandacht mee.
Rechten van makers
AI ligt natuurlijk niet bij iedereen in de filmindustrie echt lekker. Acteurs- en scenaristenvakbonden legden in 2023 de boel in Hollywood zelfs plat vanwege het ‘hergebruik’ van hun stemmen en beeltenis. Flawless claimt dat het dit goed heeft afgetimmerd, met een systeem dat de rechten van auteurs en makers beschermt en om toestemming vraagt als materiaal echt wordt gewijzigd.
Voorbeeldje van wat Flawless’ TrueSync kan:
De startup ontwikkelde daarvoor ook het Artistic Rights Treasury (A.R.T.) platform, dat AI-gegenereerde bewerkingen deelt met acteurs. Als een acteur de veranderingen goedkeurt, kunnen ze toestemming geven binnen de app. Anders kunnen ze hun eigen versies indienen.
‘We realiseerden ons dat we schone data nodig hadden, anders zouden we geen bruikbaar platform hebben’, zei Mann eerder tegen The Times. ‘We zijn momenteel de enige bedrijfsmatige AI-oplossing die in Hollywood wordt gebruikt. Dat is mogelijk doordat we honderden miljoenen bestanden hebben moeten verzamelen om onze data op een nette manier te trainen.’
‘Big tech pleegt de grootste diefstal aller tijden’, zegt Mann in The Times over andere AI-bedrijven die data zonder toestemming gebruiken. Zo’n bewuste keuze voor ‘schone data’ zou onmogelijk zijn geweest met traditionele VC-druk voor snelle schaalvergroting.
Volledige studio
Flawless’ nieuwste product is DeepEditor, een AI-tool die weer een stap verder gaat. Het kan de dialoog en uitdrukkingen van acteurs verfijnen, hun tekst inkorten, pauzes invoegen of timing aanpassen. Het knippen en plakken leidt telkens tot Hollywood-kwaliteit in 4K-resolutie. Mann: ‘Naarmate de toepassing van AI zich uitbreidt, denk ik dat het volledig zal transformeren hoe we films maken.’
Flawless heeft dus al betalende klanten. Maar opvallend is dat Mann en Lynes, anders dan de meeste andere AI-startupondernemers, geen venture capital hebben opgehaald. In plaats daarvan hebben ze 100 miljoen dollar opgehaald bij tientallen rijke angels, geld waarvoor ze tien bestaande films willen herproduceren met gebruikmaking van hun AI-tools. Het eerste project is Victor Dannell’s bekroonde sciencefictionfilm UFO Sweden, die wordt uitgebracht onder de titel Watch the Skies.
De AI-startup heeft inmiddels deals gesloten met gevestigde ‘lokalisatie’-diensten zoals Deluxe en Pixelogic, die scripts vertalen, van stemmen voorzien en afmonteren om de films naar buitenlandse markten te brengen. Flawless beschouwt zichzelf als een volledige studio, niet alleen als technologieleverancier. ‘We willen toekomstgericht zijn’, zegt Mann. ‘Je moet het hele proces goed doen, van pre-productie en productie tot release. Al deze stadia worden beïnvloed door de technologie.’
Zo wil Flawless het bereik van films vertienvoudigen. ‘Dat, en we willen dat geweldige films kunnen worden gemaakt voor minder geld met onze tools.’ Oprichters Mann en Lynes zien AI niet als vervanging voor creativiteit, maar als versterking ervan. ‘Het is niet de bedoeling om creativiteit uit te roeien en kunst te stelen. Geen disruptie om de disruptie. Wij geloven in de kracht van menselijke verhalen, waar film de meest geavanceerde vorm van is. Technologie versterkt dat en voegt meer lagen van creativiteit toe.’
Lees ook ons verslag van TNW Conference in 2024: OnlyFans is inclusief, femtech om je vinger en AI maakt broccoli sexy
