NIKON
NIKON

Netflix è il riferimento grazie a codec avveniristici e ottimizzazioni ossessive

Anne Aaron è direttore senior della tecnologia di codifica di Netflix e ha trascorso gli ultimi 13 anni a ottimizzare il modo in cui Netflix codifica i suoi film e programmi TV. Il lavoro svolto da lei e dal suo team consente all’azienda di fornire flussi dall’aspetto migliore su connessioni più lente e, secondo Aaron, ha portato a un risparmio di larghezza di banda del 50% solo per i flussi 4K. Il team di codifica di Netflix ha anche contribuito agli sforzi del settore per migliorare lo streaming, compreso lo sviluppo del codec video AV1 e del suo eventuale successore. Ora, Aaron si sta preparando ad affrontare il futuro di Netflix: non contenta di essere solo un servizio per il binge-watching, l’ anno scorso la società si è avventurata nel cloud gaming e nel live streaming.

Finora, Netflix si è dilettato principalmente in eventi live unici come i SAG Awards. Ma a partire dal prossimo anno, la società trasmetterà in streaming WWE RAW in diretta ogni lunedì. Lo streamer ha ottenuto il franchise di wrestling da USA Network di Comcast, dove è stato a lungo lo spettacolo numero 1, attirando regolarmente un pubblico di circa 1,7 milioni di spettatori. Soddisfare questo pubblico settimana dopo settimana pone alcune sfide davvero nuove. “Si tratta di una pipeline di codifica completamente diversa da quella che avevamo per Vod (video on demand)” – ha affermato Aaron – “La mia sfida per il team è raggiungere gli stessi requisiti di larghezza di banda del Vod, ma farlo in modo più veloce e in tempo reale”.

Per raggiungere questo obiettivo, Aaron e il suo team devono praticamente ricominciare da zero e ignorare quasi tutto ciò che hanno imparato in oltre un decennio di ottimizzazione degli stream di Netflix, un decennio durante il quale gli ingegneri video di Netflix hanno ricodificato più volte l’intero catalogo dell’azienda. E hanno utilizzato l’apprendimento automatico per assicurarsi che gli stream di Netflix avessero un bell’aspetto, che li ha costretti a modificare l’approccio quando uno spettacolo come Barbie Dreamhouse Adventures ha fatto “inciampare” i codec dell’azienda.

È interessante notare che Aaron si è unita a Netflix nel 2011, quando la società si stava avvicinando allo streaming ubiquo in modo molto più moderno rispetto a chiunque altro nel settore dei video online. “Abbiamo dovuto supportare un’enorme varietà di dispositivi” – ha detto Aaron – “Televisori molto vecchi, nuovi televisori, dispositivi mobili, set top box: ciascuno di questi dispositivi può avere requisiti di larghezza di banda diversi”. Per soddisfare queste esigenze, Netflix ha codificato ogni video con una serie di bitrate e risoluzioni diversi secondo un elenco predefinito di parametri di codifica, o ricette, come amano chiamarli Aaron e i suoi colleghi. A quei tempi, uno spettatore con una connessione molto lenta otteneva automaticamente uno streaming a 240p con un bitrate di 235 kbps. Connessioni più veloci riceverebbero un video 720p da 1.750 kbps. La qualità dello streaming di Netflix ha raggiunto i 1080p con un bitrate di 5.800 kbps. 

I server di distribuzione dei contenuti di Netflix sceglievano automaticamente la versione migliore per ciascun spettatore in base al dispositivo e alla velocità della banda larga e rogolavano al volo la qualità dello streaming per tenere conto dei rallentamenti della rete. Ad Aaron e alla sua acuta consapevolezza delle sfide della codifica, questo approccio sembrava inadeguato. Perché investire nella stessa larghezza di banda per trasmettere in streaming qualcosa di visivamente complesso come un film d’azione con inseguimenti in auto (molto movimento) ed esplosioni (luci lampeggianti e tutto quel fumo rumoroso) in modo molto più semplice? “Sono necessari meno bit per l’animazione”, ha spiegato Aaron. My Little Pony, che all’epoca fu un successo per il servizio, semplicemente non aveva la stessa complessità visiva dei titoli live-action. Non aveva senso utilizzare le stesse ricette di codifica per entrambi i contenuti (film e animazione). Ecco perché, nel 2015, Netflix ha iniziato a ricodificare l’intero catalogo con impostazioni ottimizzate per titolo. Con questo nuovo approccio specifico per il titolo, i film animati possono essere trasmessi in streaming a 1080p con soli 1,5 Mbps.

Il passaggio alla codifica per titolo ha comportato un risparmio di larghezza di banda di circa il 20% in media: abbastanza da fare una notevole differenza per i consumatori in Nord America ed Europa. Ma è ancora più importante se si innesta questa scelta nel fatto che Netflix stava guardando al suo prossimo capitolo: nel gennaio del 2016, il ceo Reed Hastings ha annunciato che la società si stava espandendo in quasi tutti i paesi del mondo, compresi i mercati con infrastrutture a banda larga scadenti e i consumatori che accedono a Internet principalmente dal proprio telefono cellulare.

Da allora la codifica per titolo è stata adottata dalla maggior parte dei fornitori di tecnologia video commerciale, incluso AWS di Amazon, che lo scorso anno ha utilizzato questo approccio per ottimizzare la libreria video. Ma mentre la strategia di codifica dell’azienda è stata appoggiata con fervore dagli esperti di tecnologia di streaming, è stata in gran parte accolta con il silenzio dalla classe creativa di Hollywood. Registi e attori come Judd Apatow e Aaron Paul si sono infuriati quando Netflix ha iniziato a consentire alle persone di modificare la velocità di riproduzione dei suoi video nel 2019. Le modifiche al modo in cui Netflix codifica i video, d’altro canto, non hanno mai fatto lo stesso tipo di titoli sui giornali. Ciò potrebbe essere dovuto al fatto che gli algoritmi di codifica sono un po’ troppo geniali per un certo tipo di pubblico ma c’è anche una spiegazione più semplice: il nuovo schema di codifica è riuscito così tanto a risparmiare larghezza di banda senza compromettere la fedeltà visiva che nessuno ha notato la differenza. 

Nessuno a parte Aaron, che si rese presto conto che l’approccio di codifica basato per titolo dell’azienda non era privo di difetti. Un problema le è apparso evidente mentre guardava Barbie Dreamhouse Adventures. È uno dei contenuti animati di Netflix che avrebbe dovuto trarre il massimo vantaggio da un approccio per titolo. Tuttavia, la nuova codifica di Netflix ha avuto problemi con una scena particolare. “C’è questo ragazzo con un abito molto scintillante e una fontana d’acqua scintillante dietro di lui”, ha detto Aaron. La scena sembrava piuttosto terribile con le nuove regole di codifica, il che le fece capire che dovevano essere più flessibili. “In (altre) parti del titolo, hai bisogno di meno ampiezza di banda”, ha detto Aaron. “Ma per questa scena è necessario aumentarla”.

L'immagine di una figura animata in plastica, ricoperta di glitter, in piedi di fronte a una cascata di glitter rosa.

La soluzione a questo problema era ottenere un processo di codifica molto più puntuale. Netflix ha iniziato a suddividere i video per inquadrature e ad applicare diverse impostazioni di codifica a ogni singolo segmento nel 2018. Due persone che parlavano davanti a un semplice muro bianco erano codificate con bit rate inferiori rispetto alle stesse due persone che prendevano parte a un inseguimento in macchina; Barbie che esce con le sue amiche a casa richiedeva meno dati rispetto alla scena in cui appare Mr. Sparklesuit (foto qui sopra). Quando Netflix ha adottato il 4K e l’HDR, queste differenze sono diventate ancora più evidenti. “Nella serie The Crown c’è un episodio in cui ci sono scene molto fumose” – ha detto Aaron – “C’è molto inquinamento. Quelle scene sono davvero difficili da codificare. In altre parole: richiedono più dati per avere un bell’aspetto, soprattutto se visualizzati su una grande TV 4K in HDR, rispetto a prodotti visivamente meno complessi“.

La mente di Aaron non smette mai di cercare questo tipo di sfide visive, non importa se guarda Netflix dopo il lavoro o esce a fare una passeggiata. Questa sua concezione del codec è talmente ossessiva che ha influenzato anche i suoi figli: i quali dicono ad Aaron quando un contenuto e sfocato o trasmesso in bassa qualità. Tuttavia, anche una mente ossessiva può portarti solo fino a un certo punto. Per prima cosa, Aaron non può guardare migliaia di video Netflix e decidere quali impostazioni di codifica applicare a ogni singolo scatto. Invece, il suo team ha compilato alcune dozzine di brevi clip provenienti da una varietà di programmi e film su Netflix e ha codificato ogni clip con una serie di impostazioni diverse. Hanno poi lasciato che i soggetti del test guardassero quelle clip e valutassero le imperfezioni visive da poco evidenti a molto fastidiose. “Devi fare test soggettivi” – ha detto Aaron – “È tutto basato sulla verità, su test soggettivi”.

Un'immagine di John Lithgow, nei panni di Winston Churchill, che scruta lo smog.

Le informazioni ottenute in questo modo sono state utilizzate da Netflix per addestrare un modello di apprendimento automatico in grado di analizzare la qualità video di diverse impostazioni di codifica nell’intero catalogo dell’azienda, aiutando a individuare le impostazioni ottimali per ogni piccola parte di uno spettacolo o di una serie di video. film. Netflix ha collaborato con la University of Southern California per sviluppare questi algoritmi di valutazione della qualità video e li ha resi open source nel 2016. Da allora, è stato adottato da gran parte del settore come un modo per analizzare la qualità dei video in streaming e ha persino guadagnato a Netflix un Emmy. Premio. Nel frattempo, Aaron e il suo team hanno lavorato per stare al passo con le esigenze in evoluzione di Netflix, come l’HDR. 

“Abbiamo dovuto sviluppare un altro parametro per misurare la qualità video per l’HDR”, ha affermato Aaron. “Abbiamo dovuto eseguire test soggettivi e rifarli in modo specifico per l’HDR.” Ciò alla fine ha consentito a Netflix di codificare i titoli HDR anche con impostazioni specifiche per scatto, cosa che la società ha finalmente fatto l’anno scorso. Ora il suo team sta lavorando alla valutazione della qualità video basata su HDR in open source. Suddividere un film per inquadratura e quindi codificare ogni sezione individualmente per assicurarsi che abbia un bell’aspetto e allo stesso tempo risparmiare quanta più larghezza di banda possibile: tutto questo lavoro avviene indipendentemente dai codec video utilizzati da Netflix per codificare e comprimere questi file. È un po’ come cambiare la risoluzione o i colori di un’immagine in Photoshop prima di decidere se salvarla come JPEG o PNG. Tuttavia, gli ingegneri video di Netflix hanno lavorato attivamente anche per migliorare i codec video per ottimizzare ulteriormente gli streaming dell’azienda.

Netflix è un membro fondatore dell’Alliance for Open Media, i cui altri membri includono aziende come Google, Intel e Microsoft. Aaron fa parte del consiglio di amministrazione dell’organizzazione no-profit, che ha guidato lo sviluppo del codec video AV1 aperto e privo di royalty. Netflix ha iniziato lo streaming di alcuni video in AV1 sui telefoni Android all’inizio del 2020 e da allora si è espanso fino ad approdare smart TV e dispositivi di streaming, nonché iPhone. “Abbiamo codificato circa due terzi del nostro catalogo in AV1” – ha detto Aaron – “La percentuale di ore di streaming trasmesse in AV1 è “a doppia cifra”. E mentre il lancio dell’AV1 continua, sono già in corso i lavori per il suo successore. Potrebbero volerci ancora qualche anno prima che i dispositivi supportino effettivamente il codec di nuova generazione, ma i primi risultati suggeriscono che farà la differenza. “A questo punto, vediamo una riduzione del bit rate vicina al 30% con la stessa qualità rispetto ad AV1” – ha spiegato Aaron – “Penso che sia molto, molto promettente”.

Mentre contribuivano allo sviluppo di nuovi codec video, Aaron e il suo team di Netflix si sono imbattuti in un’altra trappola: gli ingegneri video di tutto il settore hanno fatto affidamento su un corpus relativamente piccolo di video clip disponibili gratuitamente per addestrare e testare i propri codec e algoritmi, e la maggior parte di questi le clip non assomigliavano affatto al tipico programma Netflix. “Il contenuto aperto che stavano utilizzando non era realmente adattato al tipo di contenuto che stavamo trasmettendo in streaming” – ha ricordato Aaron – “Quindi, abbiamo creato contenuti specifici per i test nel settore”. Nel 2016, Netflix ha pubblicato un cortometraggio 4K HDR di 12 minuti chiamato Meridian che avrebbe dovuto porre rimedio a questo problema. Meridian sembra un film poliziesco noir, completo di riprese in un ufficio polveroso con un ventilatore sullo sfondo, una scena su una spiaggia nuvolosa con acqua scintillante e una sequenza da sogno oscuro piena di contrasti. Ognuna di queste riprese è stata realizzata per sfide di codifica video e l’intero film è stato rilasciato sotto una licenza Creative Commons. Da allora il film è stato utilizzato dal Fraunhofer Institute da altri per valutare i codec, e la sua uscita è stata salutata dalla Creative Commons Foundation come un ottimo esempio di “uno spirito di cooperazione che crea standard tecnici migliori”.

Strategie di codifica all’avanguardia, nuovi parametri di qualità, risorse video prodotte su misura e codec avanzati: in molti modi, Netflix è leader del settore quando si tratta di offrire ai consumatori gli streaming più belli nel modo più efficiente. Ecco perché gli ultimi 14 mesi sono stati particolarmente difficili. Netflix ha lanciato il suo primo live streaming nel marzo del 2023, trasmettendo con successo uno speciale comico di Chris Rock ai suoi abbonati. Un mese dopo, ci ha riprovato con un evento di riunione dal vivo per il suo reality show Love Is Blind: ha fallito miseramente, con gli spettatori che sono stati costretti ad attendere più di un’ora prima dell’inizio dello spettacolo.

Il live streaming fallito è stato particolarmente imbarazzante perché ha offuscato l’immagine di Netflix come potenza tecnologica anni luce avanti rispetto alla concorrenza. Il co-ceo di Netflix Greg Peters ha rilasciato un raro mea culpa alla fine del mese. “Siamo davvero dispiaciuti di aver deluso così tante persone” – ha detto Peters agli investitori – “Non abbiamo soddisfatto gli standard che ci aspettiamo da noi stessi per servire i nostri membri”.

Netflix vuole evitare ulteriori fallimenti di questo tipo, motivo per cui la società sta andando sul sicuro e si sta muovendo lentamente per ottimizzare la codifica dei contenuti live. “Siamo entrati troppo presto nel livestreaming” – ha detto Aaron – “Per ora, gli obiettivi principali sono la stabilità, la resilienza del sistema e la capacità di gestire la portata di Netflix”. In pratica, questo significa che per il momento il team di Aaron non sta modificando affatto le impostazioni di codifica per quei livestream, anche se questo la costringe a guardare il livestream dello show dei SAG Awards senza essere in grado di migliorare nulla. “Stiamo iniziando con metodi un po’ più standard del settore per farlo. E poi da lì ottimizzeremo”.

Lo stesso vale in molti modi per il cloud gaming. Netflix ha iniziato a testare i giochi su TV e computer desktop nell’estate del 2023 e da allora ha lentamente ampliato gli sforzi per includere mercati e titoli aggiuntivi. Con i giochi renderizzati nel cloud anziché sul dispositivo, il cloud gaming è essenzialmente una forma specializzata di live streaming, a parte una distinzione cruciale. “Sono abbastanza diversi” – ha detto Aaron – “Nel cloud gaming, la latenza è ancora più rigorosa rispetto al live”.

Il team di Aaron è attualmente alle prese con i diversi approcci a entrambi i problemi, il che richiede loro di ignorare gran parte di ciò che hanno imparato negli ultimi dieci anni. “La lezione è non pensarlo come un VOD”, ha detto Aaron. Un esempio: tagliare e tagliare a cubetti un video per inquadratura e quindi applicare l’impostazione di codifica ottimale per ogni inquadratura è molto più difficile quando non si sa cosa succede dopo. “Con il live, è ancora più difficile anticipare scene complesse”, ha detto.

Il live è imprevedibile: questo non vale solo per l’encoding ma anche per il business di Netflix. La società ha appena siglato un accordo per mostrare due partite della NFL il giorno di Natale e inizierà a trasmettere in streaming le partite settimanali della WWE a gennaio. Ciò accade mentre lo sport nel suo insieme, che è stato a lungo l’ultimo baluardo della TV via cavo, sta passando allo streaming. Apple sta mostrando le partite MLS, Amazon sta investendo tonnellate di soldi nello sport ed ESPN, Fox e Warner Bros. si stanno unendo per lanciare servizi di streaming sportivo. Senza contare Dazn. Stare al passo con questi concorrenti non richiede solo che Netflix investa molto sui diritti sportivi, ma anche che diventi bravo nel live streaming. 

Tutto ciò significa che Aaron e il suo team non rimarranno senza lavoro tanto presto, soprattutto perché la prossima sfida è sempre dietro l’angolo. “Ci saranno più eventi dal vivo. Forse ad un certo punto ci saranno gli 8K. Ci sono tutte queste altre esperienze che avrebbero bisogno di più larghezza di banda”. Alla luce di tutte queste sfide, la domanda che ci si pone è quante volte Netflix può ricodificare il suo intero catalogo con un’altra nuova strategia di codifica, o un nuovo codec, prima che questi sforzi siano pronti a sbattere contro un muro e non facciano più molta differenza? “Nel campo dei codec, la gente diceva questo 20 anni fa” – ha detto Aaron – “Nonostante ciò troviamo ancora margini di miglioramento. Quindi sono fiduciosa”.

NIKON
GAMEPEOPLE
DIFUZED
FIZZ
PALADONE
OTL
CROCKPOT
SHADOW NINJA
SUBSONIC