Presto i deepfake potrebbero cambiare il doppiaggio dei film: ecco come

06 Maggio 2021 84

Ogni tecnologia ha sempre due facce: quella del progresso, e poi quella delle minacce connesse al progresso. I deepfake di facce ne hanno infinite, grazie all'intelligenza artificiale che è in grado di generarle, e molto ambigue: la possibilità di costruire dei video credibili in cui simulare personaggi di spicco che rilasciano dichiarazioni false è indubbiamente un pericolo aggiuntivo e concreto in un contesto informativo già invaso dalle fake news.

Il progetto della startup Flawless, fondata dal regista Scott Mann (famoso per pellicole come Bus 657 e Final Score), è però uno dei potenziali volti buoni dei deepfake, dal momento che sta lavorando ad un modo per applicare la tecnologia al mondo del cinema, e in particolare per integrarla al processo di doppiaggio.

Far parlare un personaggio in tante lingue diverse è sempre stato uno dei limiti al realismo delle narrazioni cinematografiche, che devono scendere a compromessi anche nella scrittura talvolta, modificando i dialoghi pur conservandone il senso in modo da rendere più naturale l'abbinamento tra le due lingue in conflitto, ovvero quella del labiale dell'attore e la voce del doppiatore.

Come mostrato nelle varie demo sul canale Vimeo della startup (lo trovate al link in FONTE), già ora i risultati sono piuttosto convincenti, anche se non perfetti: i movimenti della bocca risultano ancora un po' robotici, e ricordano un po' quelli che vediamo negli NPC dei videogiochi, in particolare di quelli che utilizzano proprio algoritmi dedicati per abbinare il labiale alle diverse lingue, come il recente Cyberpunk 2077.

Flawless sta sviluppando il suo sistema a partire da una tecnologia sviluppata da alcuni ricercatori del Max Placnk Institute, in Germania, che è stata messa a punto con una particolare attenzione nella conservazione "dello stile" del soggetto che parla. È sufficiente dare in pasto all'algoritmo alcuni minuti di girato che ritraggono l'attore da doppiare perché questo sviluppi un modello del volto basandosi sulla posizione delle labbra, della testa e sul movimento degli occhi.

Il passaggio successivo è quello più complicato, e vede il programma modificare sulla base della voce del doppiatore la mimica facciale dell'attore, conservando ovviamente inalterati i restanti elementi dell'inquadratura. Secondo Mann Flawless consente il doppiaggio completo di una pellicola in circa 2 mesi e mezzo. Le tempistiche sono ancora piuttosto lunghe, quindi, e i risultati non perfetti: ma siamo solo all'inizio. In futuro, col perfezionamento della tecnologia, è plausibile immaginare che il doppiaggio possa veramente essere un campo di applicazione importantissimo per i deepfake.

Lo smartphone 5G per tutti? Motorola Moto G 5G Plus, in offerta oggi da IBS.it Marketplace a 201 euro oppure da Coop online a 269 euro.

84

Commenti

Regolamento Commentando dichiaro di aver letto il regolamento e di essere a conoscenza delle informazioni e norme che regolano le discussioni sul sito. Clicca per info.
Caricamento in corso. Per commentare attendere...
soxxoz

? In Star Wars è già successo tipo 2 volte.

soxxoz
HIkkI78909

che è quello che intendevo io

alex

Ma come si fa a vedere roba doppiata?
Escludendo il lato tecnologico che è molto affascinante, potrei anche vomitare a vedere un film così

dgero83

...maledetto...

Ergi Cela

Probabilmente no,perché è stata composta solo dal software,magari gli artisti in carne ed ossa avrebbero creato un’altro tipo di canzone o avrebbe avuto in intonazione diversa,servirebbe anche un intelligenza che riesca a leggere e decodificare tutti i pensieri umani per creare qualcosa che possa essere paragonato a loro.però col tempo cambierà anche la nostra mentalità,però non saremo presenti per vedere ste cose.

amen

Tra mille anni non sapremo nemmeno se la razza umana esisterà ancora, di sicuro cosa sarà il cinema tra mille anni è l'ultimo dei problemi.
Anche sta cosa dell'IA che crea una canzone analizzando la discografia di un'artista, apprezzeresti un brano al computer o meglio, lo preferiresti ad un brano fatto da persone in carne ed ossa? Ad esempio, se fossi un amante dei Led Zeppelin ed un algoritmo comporrebbe un brano che tecnicamente risulterebbe perfetto in tutto (voce, basso, batteria, acustica, etc), accetteresti che qualcuno ti dicesse "è il più bel brano dei led zeppelin"?

amen

1) Che la tecnica per produrre personaggi digitali migliori in futuro non ci piove, che sostituirà gli attori lo ritengo improbabile.
2) chi ha parlato di cartoni animati? Io ho scritto "film d'animazione" ed è esattamente quello che stai dicendo tu, ovvero creare personaggi al computer e animarli (Pixar).
3) L'ultima frase non ha alcun senso logico. Come può un'immagine digitale essere "più brava" di un essere umanp? E' semplicemente ciò che gli sviluppatori vogliono che sia e qui c'è il confine tra amare il cinema e capirne poco. Puoi insegnare ad una macchina a creare una scultura ma non potrà mai trasmettere l'imponenza o l'emozione che darebbe una piramide o il colosseo. La mente umana non può essere riprodotta ed un attore non può essere sostituito.
Un'immagine digitale non trasmetterà mai quello che può dare un attore (De Niro in Taxi Driver, Nicholson in Shining, Hopkins e Jodie Foster ne Il Silenzio degli innocenti, Hauer in Blade Runner, Peter Sellers ne Il Dottor Stranamore). Ti sfugge un piccolo dettaglio. Il cinema è fatto anche di improvvisazione (vedi Hauer in Blade Runner nel monologo finale) ed è la bravura dell'attore a dar vita a queste perle, così come le sue reazioni in alcune scene, gestualità o semplicemente nella dizione. La magistrale interpretazione di Christoph Waltz in B*stardi senza gloria potrebbe venire sostituita da un disegno animato? Una proiezione digitale potrebbe suscitare quel brivido che suscitò durante il suo discorso iniziale in casa di Perrier LaPadite?
Prima di dire cosa il cinema dovrebbe diventare o cosa sarebbe meglio per il cinema, è quantomeno saggio chiedersi se il cinema piace.

Alessandro Mancini

A me pare molto fake. C’è margine di miglioramento, ma a me pare che espressività degli attori perda moltissimo e questo è più importante del sync.

S8C BLOG

...doh!

G.B.S.

premesso che non me ne intendo, ma credo abbiano preso i muscoli facciali relativi alle labbra e i suoi contorni, forse il trigemio, alla fine che tu sia tedesco nippocoreano o nativo americano, la tua espressione di stupore, per esempio.....ipotizzando lo stesso viso, sarebbe uguale, cambierebbe la mimica labbiale (facendo una battuta) esprimendoti in diversi idiomi.
Ora se riescono a fondere bene le due parti, potrebbe essere bene.

Cmq credetemi i doppiatori italiani di calibro, sono in modo internazionale riconosciuti come i migliori.
Nelle altre nazioni una volta neppure doppivano a voce solo sottotitoli

Alessio

Non ho detto che sia una cosa banale da fare, ho solo detto che la cosa mi incuriosisce con alcuni ma
Anche io credo si limiteranno al labiale, è l'articolo a sostenere altro

Mostra 1 nuova risposta

Perchè il doppiaggio di un film lo fanno in 2 giorni?

Mostra 1 nuova risposta

Non è una sciocchezza, il doppiatore può essere anche bravissimo, ma l'originale è un altra cosa.

Mostra 1 nuova risposta

Succede ma è molto raro. Inoltre c'è poco da fare, la battuta originale spesso ha più impatto in lingua originale anche col doppiatore migliore del mondo.

Ma con tutti i personaggi secondari che ci sono, la qualità media è bassa

Mostra 1 nuova risposta

Questo sarebbe il top perchè anche la voce è importante. Anche se a sentire certe voci originali in inglese, il doppiaggio italiano a volte è migliore... Specie se non parliamo di attori di punta

Mostra 1 nuova risposta

Questo ci sta, il problema è che spesso e volentieri rovinano la battuta originale solo per dire qualcosa che combacia con il labiale, e questo lo noti se provi a vedere un film con i sottotitoli originali, oppure se lo guardi in lingua originale con i sottotitoli italiani.

Alcuni doppiaggi sono fatti molto bene ma la qualità dell'originale è imbattibile.

Mostra 1 nuova risposta

Penso si debbano limitare unicamente al labiale, e comunque credo ci siano grossi problemi per ora.

Mostra 1 nuova risposta

Non credo che l'algoritmo riesca a far dire alla Meloni cose sensate e non razziste, penso vada in crash

Mostra 1 nuova risposta

Ma hai letto l'articolo almeno? Prima devi doppiare, poi l'algoritmo modifica la faccia e il labiale per coincidere con il doppiato...

Per poi scoprire che era sempre lui.
;)

LaVeraVerità
fondata dal regista Scott Mann (famoso per pellicole come Bus 657 e Final Score

Famoso?

Ergi Cela

No semplicemente in futuro ci sarà il fotorealismo più assoluto e i personaggi saranno in grado di imitare alla perfezione gli esseri umani,non si tratta di creare cartoni animati,ma personaggi che siano più simili possibili agli esseri umani nella realtà

S8C BLOG

Se vogliamo cominicare una guerra tra fan del dottore io sono pronto a sostenere 12 come il migliore di tutti quelli del revival per gli stessi 7 miliardi di anni che ha passato a spaccare quella pietra, io te lo dico ... :D

Mr Robotto

Se costerà meno di un normale doppiaggio allora avrà successo.

Cloud387

Quoto in pieno.

quelli che fanno i puzzoni sulla lingua originale fanno ridere, soprattutto sui film che arrivano dall'oriente (korea e Company).

Il lavoro di doppiaggio è più profondo e spesso va anche a toccare il senso e lo slang che in una traduzione 1 a 1 diverrebbe incomprensibile.

Io adoro il Decimo Dottore!
E' stato il migliore, per me, senza ombra di dubbio! ;)

S8C BLOG

scusa, ho sbagliato...mi era venuto in mente l'attore di una miniserie che conosco sull'odissea ahahah... sì immagino...forse gli andava meglio ai doppiatori alle prime stagioni, quando c'era un gap di diversi mesi o anche 1 anno (a pensarci ora mi sembra passata un'eternità....potrò dire che io c'ero!)... poi con le cose attornoa cui si sviluppa una vera e propria mitologia è ancora più complicato il tutto secondo me..specie se hai dei fan matti tipo me che queste cose le coglie :D

Estiquaatsi

Questo mi ricorda un vecchio film con Arnold Schwarzenegger. Quale era il titolo...?

amen

esistono già. I film di animazione. E sono un'altra categoria. Se ci ritrovassimo al cinema solo roba in cgi sarebbe la morte della settima arte. Sarebbe come sostituire i giocatori di un club di calcio con automi o più semplicemente guardare partite giocate su Fifa. Anche in quel caso si usano giocatori virtuali ma dubito che un tifoso preferisca guardare la sua squadra su Fifa anziché con i giocatori reali.

The martian

finchè si limitano a far girare un porno a Gal Gadot, i dialoghi non sono molto impegnativi :-)) , ma quando faranno dire cose che non si pensano allora sarà un problema scoprire i deepfake.

massimo mondelli

Infatti sarà la fine della scusa per i pessimi traduttori di doppiaggio italiani che ormai conoscono bene l'inglese ma malissimo l'italiano. Sarà la fine di termini e frasi mai usati da nessuno in italiano:
Fottuto
Quello che stai parlando
Là fuori
Nel mondo reale
Realizzato
Non vuoi saperlo
C'è qualcuno
Figlio di putt
Surreale
Etc.
Che adattarsi al movimento delle labbra sia una semplice scusa è dimostrato dal fatto che queste porcate di traduzioni alla Google vengono usate anche nei fuori campo quando la bocca non è visibile.

Si chiama Iansante e adoro i suoi lavori. ;)
Per Lost, ho letto che per il doppiaggio venivano nello studio di registrazione anche all'una di notte. ;)

massimo mondelli

E poi scopri che dicono comunque quasi le stesse cose

The martian

allo stato attuale sono a livello di apprendisti: la Raggi sponsorizza in un filmato il Colosseo usando riprese dell'Arena di Nimes ma quando questa tecnologia si affinerà faranno dire a Bersani le cose che dice Meloni o a Trump le cose che dice Biden.Ahahaha

ErCipolla

Penso che molti sottovalutino l'impatto di una tecnologia come questa, visti i vari commenti del tipo "a me non da fastidio se il labiale non è perfettamente sincronizzato alla voce".

Quello di cui forse non si rende conto chi fa tale ragionamento è quanto poco fedele spesso sia la traduzione dei dialoghi nei film, proprio perché bisogna che ogni battuta si adatti bene o male al labiale dell'attore. Questa tecnologia potrebbe portare ad un miglioramento non da poco della qualità dei dialoghi italiani in film e serie.

Alessio

Nel film Il Corvo, in alcune scene l'attore Brandon Lee fu realizzato al computer perchè deceduto, se non erro fecero una cosa del genere, meno evoluta rispetto alle tecnologie odierne

S8C BLOG

grazie dell'informazione...sì i tempi si sono davvero accorciati...mi verrebbe da pensare che i tempi sempre più stringenti abbiano subito un'accelerazione pazzesca ai tempi in cui andava in onda Lost o agli inizi di The Walking Dead..ricordo quanto ero stupito della rapidità con cui arrivava la puntata doppiata ai tempi dell'ultima stagione di Lost..credo però che la rapiditià con cui vogliamo vedere queste cose possa avere però un lato negativo, e cioè che con tempi più stringenti il materiale originale ha meno tempo per essere eventualmente valutato e adattato nella maniera più adeguata possibile...ricordo un'intervista di anni fa in cui Ansante, il doppiatore di Rick Grimes di TWD, parlava dei tempi stringenti e quindi del fatto che c'è sempre meno tempo per ottimizzare il risultato (alludeva al suo periodo come doppiate per Doctor Who)

Sheldon Cooper

E poi dire al capo che se nega lo prenderanno per pazzo ...

Nyles

In realtà si potrebbe già fare adesso. Molte scene vengono fatte da controfigure e poi viene applicato appunto tramite il deepfake il volto dell'attore reale.
Serve solo a rendere più agevole l'operazione ma si potrebbe fare senza la controfigura.

Johnny Il_Camminatore

Memo: procurarsi volto e voce del capo per farsi dare un aumento dall'ufficio del personale

Sheldon Cooper

Quindi potrebbero resuscitare attori deceduti.

Marco Revello

Questo partendo dal principio che TUTTI i film siano recitati in inglese. I film recitati in altre lingue li bruciamo subito o aspettiamo ancora qualche giorno?

Alessio

Come battuta acida potrei dire che per alcuni attori sarebbe un bene vista la loro capacità recitativa, hahahaha

Alessio

Da una parte mi farebbe strano vedere un attore famoso straniero che non parla italiano con la mimica labbiale perfetta e sincronizzata durante il doppiaggio, ma dall'altra mi incuriosisce parecchio.
Leggendo l'articolo però mi sorge un dubbio
Un conto è agire sul movimento delle labbra per replicare la imica di una lingua diversa da quella recitata, ma cambiare anche l'espressione degli occhi e quella facciale mi sembra una cretinata, questo porterebbe a falsare la scena.
Per fare un esempio, una espressione di stupore deve rimanere quella, mica la puoi cambiare, falserebbe la percezione dell'accaduto
Non so, cosa ne pensate voi ?

Ho.scemobile

Tra 20 anni i film li gireranno senza gli attori reali.

HIkkI78909

Che sciocchezza. Se uno padroneggia la lingua non c'è alcuna differenza.

HIkkI78909

orrore

dario

Esattamente... è questo che toglie parte di utilità.
Sarà sempre un compromesso vedere una produzione non nella propria lingua madre, bisogna perseguire il male minore di volta in volta più conveniente.

DiscentS

Certo la recitazione è un conto, ma poi questa recitazione va comunicata e la parola è uno dei pilastri di questa comunicazione. Posso con sicurezza dire che, anche se ho di fronte un eccellente attore e anche se capisco cosa sta recitando in lingua madre, non riuscirò mai a comprenderlo come se lo sentisse un lingua madre inglese, perché I suoi toni di vice, le sue sfumature delle parole e chissà cosa altro, per me sono mute, non risuonano nella memoria percettiva.

Mobile

Recensione Garmin Venu 2, il più smart tra gli sportwatch

Tecnologia

Mechazilla di SpaceX catturerà in volo Starship! Aggiornamenti da Boca Chica

Android

Motorola cala il tris: anteprima Edge 20, Edge 20 Pro e Lite

Recensione

Recensione Gigabyte GeForce RTX 3060 Gaming OC: ottima per giocare in FHD