Facebook
playit

Immagina di andare al bar locale per portare a termine un lavoro. Indossi un paio di occhiali di realtà aumentata e un cinturino morbido. Mentre esci dalla porta, il tuo assistente ti chiede se desideri ascoltare l’ultimo episodio del tuo podcast preferito. Un piccolo movimento del dito consente di fare clic su “Riproduci”. Così inizia il viaggio guidato da Facebook, un viaggio che ci porta avanti lungo il percorso del tempo, in quello che sarà il presente tra circa 10 anni.

E il viaggio prosegue. Quando entri nel bar, il tuo assistente chiede: “Vuoi che faccia un ordine per un espresso?” Non sei però in vena per la solita colazione, così muovi di nuovo il dito per fare clic su “no”.

Ti dirigi a un tavolo, ma invece di tirare fuori un laptop, tiri fuori un paio di guanti tattili morbidi e leggeri. Quando li indossi, uno schermo virtuale e una tastiera vengono visualizzati di fronte a te e inizi a modificare un documento. La digitazione è intuitiva quanto quella su una tastiera fisica. Sei impegnato, ma il rumore del bar rende difficile la concentrazione.

Riconoscendo ciò che stai facendo e rilevando che l’ambiente è rumoroso, l’assistente utilizza speciali monitor in-ear (IEM) e attiva la cancellazione attiva del rumore per attenuare il rumore di fondo. Adesso è facile concentrarsi. Un cameriere che passa vicino al tuo tavolo ti chiede se vuoi bere o mangiare altro. Gli occhiali sanno come far passare la sua voce, anche se il rumore ambientale è ancora disattivato, e migliorano in modo proattivo la voce del cameriere utilizzando il beamforming. Tutto questo avviene automaticamente.

Nel frattempo, ricevi la telefonata di un amico chiama e l’assistente la invia automaticamente alla segreteria per non interrompere la conversazione in corso. E quando è il momento di andare a quell’appuntamento importante in base all’evento programmato sul calendario, ricevi un leggero promemoria visivo in modo da non essere in ritardo a causa delle attuali condizioni del traffico.

Il viaggio di Facebook

Facebook ha deciso di aprire le porte dei suoi laboratori, lì dove si sta scrivendo il futuro della realtà aumentata e dell’intelligenza artificiale. O meglio, di quei device basati su queste due tecnologie, capaci di cambiare per sempre la nostra quotidianità.
Dei dispositivi di realtà aumentata che Facebook sarebbe in procinto di lanciare, smart glasses nello specifico, si è fatto un gran parlare in questi mesi. Ma l’azienda l’ha ribadito più volte: non saranno dispositivi di realtà aumentata. Non ancora: perché il futuro è ancora tutto da scrivere.

Facebook però vuole farci sapere a cosa sta lavorando, dove sta concentrando gli sforzi e qual è il suo obiettivo ultimo: costruire un dispositivo di realtà aumentata che ci consenta di avere davanti agli occhi, a portata di braccio – così scrivono i ricercatori, tutte le informazioni che oggi reperiamo dal display dello smartphone. Il tutto però senza immergerci in un mondo altro rispetto al contesto di cui stiamo davvero facendo esperienza. In poche parole, senza alienarci dalla cena a cui stiamo partecipando, dalla conversazione tra amici che ora scorre come un flebile rumore di fondo mentre aggiorniamo il feed del nostro social preferito, o dal lavoro che dovremmo in realtà svolgere.

Facebook vuole costruire un dispositivo in grado di creare una perfetta simbiosi tra mondo digitale e mondo reale, prendendo quanto di buono ognuno dei due universi ha da offrire, senza che uno escluda l’altro. Per farlo, occorre mettere a punto un dispositivo che possa essere sempre indossato (a contatto con la pelle) e che sia socialmente accettato in ogni situazione. Una sfida non da poco, se si tiene conto che questo dispositivo dovrà avere una capacità di pensiero simile a quella umana.

Dovrà essere in grado di fornire all’utente le informazioni di cui ha bisogno nell’esatto momento in cui ne ha bisogno, con una sorta di simultaneità rispetto al pensiero, un’interfaccia di realtà aumentata che sia estensione della mente e del corpo di chi la indossa.

Questa interfaccia di realtà aumentata, nelle previsioni di Facebook dovrà essere proattiva e non reattiva. Sarà un’interfaccia che trasforma l’intenzione in azione senza soluzione di continuità, regalando all’utente più libertà d’azione rimanendo presente al mondo che lo circonda. È importante sottolineare che dovrà essere socialmente accettabile sotto ogni aspetto: sicuro, privato, discreto, facile da imparare, facile da usare, comodo / indossabile tutto il giorno, semplice e affidabile.

Come costruire l’interfaccia di realtà aumentata

FRL Research ha riunito un team altamente interdisciplinare composto da ricercatori, ingegneri, neuroscienziati guidato dal direttore Sean Keller, tutti impegnati a risolvere il problema dell’interazione AR e ad arrivare al prossimo grande cambiamento di paradigma dell’informatica.

“In genere pensiamo all’input e all’output dal punto di vista del computer, ma l’interazione in realtà aumentata è un caso speciale in cui stiamo costruendo un nuovo tipo di computer indossabile che rileva, apprende e agisce di concerto con gli utenti durante la loro giornata”, afferma Keller, che si è unito a FRL Research per creare un team di cinque persone che da allora è cresciuto fino a diventare un team di centinaia di esperti di livello mondiale nell’arco di soli sei anni. “Vogliamo responsabilizzare le persone, consentendo a ciascuno di noi di fare di più e di essere di più, quindi i nostri modelli di interazione di realtà aumentata sono incentrati sull’uomo”.

Nel corso dell’appuntamento digitale Facebook Connect nel 2020, è stato raccontato come un’interfaccia di realtà aumentata sempre disponibile e a basso attrito sarà costruita partendo da due pilastri tecnologici:

Il primo è l’input a basso attrito: quindi è il momento di agire, il percorso dal pensiero all’azione è il più breve e intuitivo possibile.

Si possono eseguire gesti, comandi vocali o selezionare elementi da un menu guardandoli: tutte azioni che vengono abilitate dalle telecamere di tracciamento manuale, dai microfoni e dalla tecnologia di tracciamento oculare. Ci sarà però bisogno di un modo più naturale per interagire con gli occhiali di realtà aumentata, e Facebook ha pensato all’elettromiografia (EMG), approccio che utilizza segnali elettrici che viaggiano dal midollo spinale alla mano, al fine di controllare le funzioni di un dispositivo basato sulla decodifica del segnale al polso. I segnali attraverso il polso sono così chiari che l’EMG può rilevare il movimento delle dita di appena un millimetro. Ciò significa che l’input può essere semplice, così semplice come fare clic su un pulsante virtuale e sempre disponibile, e alla fine si potrebbe anche arrivare a percepire solo l’intenzione di muovere un dito.

Il secondo pilastro è l’uso dell’intelligenza artificiale, del contesto e della personalizzazione per adattare gli effetti delle tue azioni di input alle esigenze della persona in un dato momento. Si tratta di costruire un’interfaccia che possa adattarsi all’utente e richiederà la creazione di potenti modelli di intelligenza artificiale che possano fare inferenze profonde sulle informazioni di cui si potrebbe aver bisogno, sulla base di una comprensione della persona e del suo l’ambiente circostante.

L’interazione con gli occhiali AR trarrà infine vantaggio da una nuova integrazione di più tecnologie nuove e migliorate, tra cui input neurale, tracciamento della mano e riconoscimento dei gesti, riconoscimento vocale, visione artificiale e diverse nuove tecnologie di input come il clic del dito IMU e il rilevamento automatico del tocco. Richiederà un’ampia gamma di funzionalità di intelligenza artificiale contestuale, dalla comprensione della scena alla ricerca visiva, il tutto con l’obiettivo di rendere più facile e veloce agire in base alle istruzioni che l’utente invierà al dispositivo.

Il contesto, un nodo fondamentale

La più grande differenza tra la futura interfaccia di realtà aumentata e tutto ciò che è venuto prima è che ci saranno molte più informazioni contestuali disponibili per i dispositivi AR sviluppati da Facebook. L’obiettivo è far sì che gli occhiali vedranno e ascolteranno il mondo dalla prospettiva dell’utente, quindi avranno un contesto molto più personale di quanto abbia mai avuto qualsiasi interfaccia precedente. Insieme a potenti modelli di inferenza di intelligenza artificiale, questo contesto darà loro la capacità di aiutare l’utente in una varietà sempre crescente di modi personalizzati e liberare la mente per fare altre cose.

L’idea di Facebook è quella di sviluppare occhiali che potrebbero fornirte statistiche chiave in una riunione di lavoro, guidare verso destinazioni, tradurre segnali al volo, dire dove l’utente ha lasciato le chiavi della macchina o persino aiutare con quasi tutti i tipi di attività.

Un’altra differenza è che la maggior parte delle interfacce esistenti sono modali. L’utente sceglie la modalità eseguendo un’app e il suo set di scelte viene quindi modificato per corrispondere a quella modalità. E mentre si passa da un’app all’altra, il contesto di ciò che si sta facendo in un dato momento si perde mentre si passa all’attività successiva. Ma gli occhiali di realtà aumentata funzioneranno meglio se operano senza interruzioni in tutti i contesti che l’utente incontra in un giorno – contesti che cambiano costantemente e spesso si sovrappongono. Ciò significa che l’interfaccia tratterà ogni interazione come un problema di inferenza di intenti. E può quindi utilizzare le sue previsioni per presentare un semplice insieme di scelte, senza che l’utente debba navigare attraverso un menu dopo l’altro per trovare le informazioni da cercare, come fanno le interfacce di oggi.

Fondamentalmente, l’interfaccia del futuro sarà amplificata da un ciclo di feedback chiave. Non solo l’IA può imparare dall’utente, ma poiché l’input è a bassissimo attrito (e richiede solo un “clic intelligente”), l’intelligenza artificiale farà domande per migliorare la sua comprensione della persona e delle sue esigenze più rapidamente. La capacità di istruire il sistema in tempo reale sarà estremamente preziosa e supererà i sistemi che si basano sulla raccolta e l’addestramento dei dati tradizionali.

L’obiettivo finale è costruire un’interfaccia che si adatti accuratamente e soddisfi le esigenze dell’utente – e che sia in grado di porre una semplice domanda per chiarire le ambiguità. Ma questo sistema, dice Facebook, è lontano anni.

Nel più breve termine, sarà possibile vedere un’intelligenza artificiale contestuale utilizzabile ma limitata con funzionalità predittive come la capacità di suggerire in modo proattivo una playlist che l’utente potrebbe voler ascoltare durante la sua corsa quotidiana.