Amazon usa l’IA per sincronizzare le labbra nel doppiaggio di film e serie TV

Guardare un film o una serie TV con il doppiaggio dei dialoghi può creare un effetto straniante: la voce che ascoltiamo racconta una cosa, mentre le labbra dell’attore sembrano pronunciarne un’altra. Un problema particolarmente evidente quando la traduzione modifica sensibilmente la lunghezza delle frasi rispetto all’audio originale.

Amazon vuole intervenire proprio su questo aspetto e ha annunciato una nuova tecnologia di lip-sync basata sull’intelligenza artificiale, destinata alla piattaforma Prime Video. Il sistema combina AI e tecnologie VFX per intervenire sui movimenti delle labbra degli attori e adattarli alle parole pronunciate nella traccia audio tradotta.

L’obiettivo non è quindi creare semplicemente un nuovo doppiaggio, ma modificare ciò che lo spettatore vede sullo schermo, facendo apparire più naturale la corrispondenza tra voce e movimento della bocca.

Amazon ha scelto Maxton Hall – Il Mondo tra di noi per il debutto della tecnologia. La funzionalità è stata applicata alle prime due stagioni della serie e sarà utilizzata anche per la terza stagione. Per il momento, però, il supporto è limitato ai contenuti doppiati in inglese.

Un sistema simile a quello sviluppato da YouTube

L’idea non è completamente nuova. Anche YouTube sta lavorando da tempo sull’utilizzo dell’intelligenza artificiale per migliorare il doppiaggio automatico, intervenendo direttamente sull’immagine degli interpreti.

Il principio è particolarmente interessante perché supera uno dei limiti storici del doppiaggio: non basta sostituire una voce con un’altra per ottenere un risultato perfettamente naturale. La durata delle parole cambia da una lingua all’altra e questo rende quasi inevitabile una certa discrepanza tra audio e labiale.

Con l’IA, invece, le piattaforme possono cercare di adattare contemporaneamente audio e immagine, almeno nei primi piani e nelle situazioni in cui il volto dell’attore è chiaramente visibile.

Amazon ha già fatto sapere che intende estendere progressivamente la tecnologia ad altri film e serie TV presenti nel catalogo di Prime Video. Si tratta di un’evoluzione che potrebbe avere conseguenze interessanti soprattutto per il pubblico internazionale. Le produzioni potrebbero infatti essere distribuite in più lingue mantenendo un’esperienza visiva molto più vicina a quella originale.