Quasi in sordina, Netflix ha svelto i dettagli di Drive uno storage cloud dedicato ad aggregare le risorse multimediali dei gruppi di lavoro per supportare la produzione di contenuti e la collaborazione tra artisti, creativi e creator. Questo perché le produzioni su Netflix e le applicazioni di editing, come la proprietaria Studio, producono petabyte di dati generati da miliardi di risorse multimediali. Questo coinvolge artisti diversi che danno vita a flussi di lavoro che possono essere distribuiti in vari Paesi, pur lavorando su attività diverse che vanno poi a raccogliersi in un unico progetto. Di seguito un esempio di produzione distribuita a livello globale in cui diversi artisti e flussi di lavoro lavorano insieme per creare e condividere risorse per uno o più progetti.
Esistono flussi di lavoro in cui questi artisti potrebbero voler visualizzare un sottoinsieme di queste risorse da questo ampio set di dati, per esempio, relativo a un progetto specifico. Questi artisti potrebbero voler creare spazi di lavoro personali e operare sulla generazione di risorse intermedie. Per supportare tali casi d’uso, il controllo dell’accesso all’area di lavoro dell’utente e la granularità dell’area di lavoro del progetto è importante per presentare a questi artisti una visione coerente a livello globale dei dati pertinenti.
Netflix Drive mira a risolvere il problema di disporre di diversi spazi di memorizzazione e deframmentare l’accesso in modo appropriato alle risorse per aiutare a costruire una piattaforma scalabile, performante e distribuita a livello globale per l’archiviazione e il recupero di risorse pertinenti. Questo perché lo spazio è di topo cloud.
Netflix Drive, lo storage cloud specializzato
Drive propone un’interfaccia organizzata in file e cartelle per le applicazioni per salvare i dati e un’interfaccia Api per le operazioni di controllo. Netflix Drive si basa su un archivio dati che costituirà il livello di archiviazione persistente per le risorse e un archivio di metadati che fornirà una mappatura pertinente dalla gerarchia del file system alle entità dell’archivio dati. Le componenti principali, come mostrato qui di seguito, sono l’ interfaccia del file system, l’interfaccia API e gli archivi di metadati e dati.

Interfaccia file per Netflix Drive
Applicazioni creative come Nuke, Maya, Adobe Photoshop archiviano e recuperano i contenuti utilizzando file e cartelle. Netflix Drive si basa su Fuse (File System In User Space) per fornire l’interfaccia di file e cartelle Posix a tali applicazioni. Un’interfaccia Posix basata su Fuse assicura elasticità di personalizzazione delle funzionalità, flessibilità di configurazione della distribuzione e un’interfaccia di tipo file e cartelle standard e senza interruzioni. Un’astrazione dello spazio utente simile è disponibile per Windows (WinFSP) e macOS (MacFUSE)
Le operazioni che hanno origine dalle azioni dell’utente, dell’applicazione e del sistema su file e cartelle si traducono in un insieme ben definito di chiamate di funzione e di sistema che sono inoltrate dal Linux Virtual File System Layer (o a un driver pass-through in Windows) al Livello Fuse nello spazio utente. I metadati e le operazioni sui dati risultanti sono implementati da metadati appropriati in Netflix Drive.

L’interfaccia di file e cartelle Posix per Netflix Drive è progettata come un sistema a più livelli con i trigger di implementazione di Fuse che formano lo strato superiore. Questo livello fornirà punti di ingresso per tutte le chiamate Vfs pertinenti che verranno implementate. Netflix Drive contiene un livello di astrazione sotto Fuse che consente di collegare diversi metadati e archivi di dati all’architettura facendo in modo che gli adattatori corrispondenti implementino l’interfaccia.
Interfaccia API per Netflix Drive
Oltre a esporre un’interfaccia di accesso che sarà un fulcro di tutte le astrazioni, Netflix Drive restituisce anche le interfacce Api e Polled Task per consentire alle applicazioni e agli strumenti del flusso di lavoro di attivare le operazioni di controllo in Netflix Drive.
Per esempio, le applicazioni possono utilizzare esplicitamente gli endpoint Rest per pubblicare i file archiviati in Netflix Drive nel cloud e successivamente utilizzare un endpoint Rest per recuperare un sottoinsieme dei file pubblicati dal cloud. L’interfaccia Api può essere utilizzata anche per tenere traccia dei trasferimenti di file di grandi dimensioni e consente di creare altre applicazioni su Netflix Drive.

L’interfaccia Polled Task consente agli gestori del flusso di lavoro di pubblicare o inviare attività alle istanze di Netflix Drive su workstation o container diversi. Ciò consente di avviare Netflix Drive con uno spazio di nomi vuoto quando la workstation si accende e mette a disposizione dinamicamente un set specifico di risorse rilevanti per le sessioni di lavoro degli artisti o per le varie fasi del flusso di lavoro. Inoltre, queste risorse possono essere proiettate in uno spazio dei nomi a scelta dell’artista o dell’applicazione.
In alternativa, è possibile avviare workstation e container con gli asset di interesse precaricati all’avvio. Questi consentono agli artisti e alle applicazioni di ottenere una workstation che contiene già i file rilevanti e di aggiungere ed eliminare interi alberi di risorse durante la sessione di lavoro. Per esempio, gli artisti che eseguono lavori di trasformazione sui file utilizzano Netflix Drive per archiviare/recuperare risultati intermedi e la copia finale può essere trasformata di nuovo in una risorsa multimediale.
Avvio di Netflix Drive
All’avvio, Netflix Drive si aspetta che un manifest contenente informazioni sull’archivio dati, sull’archivio dei metadati e sulle credenziali (legate all’accesso di un utente), formi un’istanza della gerarchia dello spazio dei nomi. Si tratta di un punto di montaggio dell’unità Netflix che può contenere più spazi dei nomi dell’unità Netflix.
Una istanza dinamica consente a Netflix Drive di mostrare una selezione all’utente, equivalente a un sottoinsieme di dati generati da un più ampio insieme di attività. Un’istanza utente permette di agire come un classico drive in cloud, dove gli utenti possono lavorare su contenuti e che viene sincronizzato automaticamente in background periodicamente. Al riavvio su una nuova macchina virtuale, gli stessi file e cartelle sono precaricati dal cloud.
Ecco un esempio di un tipico dell’avvio di un file manifest:

Il manifest è un artefatto persistente che rende la workstation dell’utente la sua personalità di Netflix Drive. Sopravvive ai guasti delle istanze ed è in grado di ricreare la stessa interfaccia con stato su qualsiasi istanza appena distribuita.
Metadati e astrazioni dell’archivio dati
Per consentire di collegare facilmente una varietà di archivi di metadati e archivi di dati diversi all’architettura, Netflix Drive propone interfacce astratte sia per i metadati sia per gli archivi di dati. Ecco un diagramma di alto livello che spiega i diversi livelli di astrazioni in Netflix Drive.

Caratteristiche dell’archivio metadati
Ogni file in Netflix Drive avrebbe uno o più nodi di metadati corrispondenti a diverse versioni del file. La gerarchia del file system è stata modellata come un albero nell’archivio dei metadati in cui il nodo radice è la cartella di livello superiore per l’applicazione.
Ogni nodo di metadati contiene diversi attributi, come checksum del file, posizione dei dati, autorizzazioni utente per accedere ai dati, metadati del file come dimensione, ora di modifica e così via. Un nodo di metadati può anche fornire supporto per attributi estesi che possono essere utilizzato per modellare Acl, collegamenti simbolici o altri costrutti di file system più articolati.
L’insieme dei metadati può anche esporre spazi di lavoro in cui ogni utente/applicazione si affida ad ambiti differenti e può condividere workplace con utenti e applicazioni. Sono tutte costruzioni complesse di livello superiore molto utili per le applicazioni di editing ed elaborazione.
Caratteristiche dell’archivio dati
Netflix Drive si basa su un archivio dati che consente lo streaming di byte in file / oggetti persistenti sul supporto di memorizzazione. L’archivio dati dovrebbe esporre le Api che consentono a Netflix Drive di eseguire operazioni di input/output. Il meccanismo di trasferimento per il trasporto di byte è una funzione dell’archivio dati.
Nella prima release, Netflix Drive utilizza un archivio di oggetti (come Amazon S3) come archivio dati. Per esporre le proprietà simili a un archivio di file, erano necessarie alcune modifiche nell’archivio oggetti. Ogni file può essere memorizzato come uno o più oggetti. Per le applicazioni Studio, le dimensioni dei file possono superare la dimensione massima degli oggetti gestibili dal servizio di cloud storage, quindi il servizio di archiviazione dati dovrebbe avere la capacità di memorizzare più parti di un file come oggetti separati. È responsabilità del servizio di archiviazione dati collegare questi oggetti a un singolo file e informare l’archivio dei metadati del singolo ID univoco per queste diverse parti di oggetti. Questo archivio dati implementa internamente la suddivisione del file in più parti, la crittografia del contenuto e la gestione del ciclo di vita dei dati.

Netflix Drive consente a più archivi dati di fare parte della stessa installazione tramite il suo manifest bootstrap. Alcune applicazioni in fase di sviluppo, come la codifica e la transcodifica, hanno caratteristiche di input/output diverse rispetto a una tipica unità cloud.
La maggior parte dei dati prodotti da queste applicazioni è di natura effimera e viene letta spesso all’inizio. La copia codificata finale deve essere mantenuta e i dati temporanei possono essere eliminati. Per servire tali applicazioni, Netflix Drive può mantenere i dati temporanei in livelli di archiviazione “più vicini” all’applicazione che consentono latenze di lettura inferiori e migliori economie per le richieste di lettura, poiché le letture dell’archiviazione cloud comportano un aggravio di elaborazione. Infine, una volta preparata la copia codificata, questa copia può essere mantenuta da Netflix Drive su un livello di archiviazione persistente nel cloud. Un singolo archivio dati può anche scegliere di archiviare alcuni sottoinsiemi di contenuti archiviati in alternative più economiche.
Sicurezza
Le applicazioni di editing richiedono una stretta aderenza ai modelli di sicurezza in cui solo gli utenti o le applicazioni con autorizzazioni specifiche dovrebbero essere autorizzati ad accedere a risorse specifiche. La sicurezza è uno dei cardini del design di Netflix Drive. Il design dinamico dello spazio dei nomi di Netflix Drive consente a un artista in un flusso di lavoro di accedere solo a un piccolo sottoinsieme di risorse in base alle informazioni sull’area di lavoro e al controllo degli accessi. È uno dei vantaggi dell’utilizzo di Netflix Drive nei flussi di lavoro di editing e produzione video. Netflix Drive incapsula i modelli di autenticazione e autorizzazione nel suo archivio di metadati. Questi sono tradotti in Posix Acl in Netflix Drive. In futuro, Netflix Drive può consentire Acl più descrittivi sfruttando attributi estesi associati ai nodi di metadati corrispondenti a una risorsa.
Netflix Drive è attualmente utilizzato da diversi team come soluzione per lavori strutturati su più gruppi e risorse, in quanto gestisce in modo integrato le diverse applicazioni di editing multimediale. La novità è anche che Netflix Drive può essere installato su CentOS, macOS e Windows.

























