NIKON
PANTHEK

Mark Zuckerberg sfida ChatGPT con Llama 3 e Meta AI, ma non ancora per l’Italia

Dopo aver investito circa 30 miliardi di dollari in quattro anni nel sogno impalpabile del metaverso, Mark Zuckerberg ha deciso di cambiare rotta e sta puntando diritto sull’intelligenza artificiale. Forse questa volta, nonostante il ritardo accumulato e il posizionamento di Facebook su un pubblico non certo giovane, le scelte strategiche del fondatore di Meta sembrano avere un senso compiuto. Così Zuckerberg ha appena annunciato che sta rendendo disponibile in modalità open source la nuova generazione del nostro modello linguistico all’avanguardia, Meta Llama 3, e ha condiviso importanti aggiornamenti che riguardano Meta AI, uno dei principali assistenti AI al mondo, che dopo il lancio negli Stati Uniti ora sarà disponibile in inglese anche in nuovi Paesi, tra cui Australia, Canada, Ghana, Giamaica, Malawi, Nuova Zelanda, Nigeria, Pakistan, Singapore, Sudafrica, Uganda, Zambia e Zimbabwe. Come si nota, tanto clamore ma l’Italia è esclusa dall’annuncio. E pensare che è uno dei Paesi a più alto tasso di adozione delle piattaforme di Meta. A volte le aziende fanno scelte incomprensibili. Poi un giorno andrebbe anche affrontato il fatto che la corsa all’intelligenza artificiale che si è venuta a creare sta impattando notevolmente sull’ambiente: come vi abbiamo scritto nei giorni scorsi, questa frenesia sta portando velocemente il fabbisogno energetico per la IA a un livello paragonabile a quello dell’intera India (il Paese più popolato al mondo).

Meta Llama 3: “il LLM più capace e open” 

I primi due modelli della nuova generazione di Llama, Meta Llama 3, sono disponibili. Questa versione presenta modelli linguistici preaddestrati e ottimizzati per le istruzioni con parametri 8B e 70B in grado di supportare un’ampia gamma di casi d’uso. Spiega Meta: “Crediamo che questi siano i migliori modelli open source della loro classe, punto. A sostegno del nostro approccio aperto di lunga data, stiamo mettendo Llama 3 nelle mani della comunità. Vogliamo dare il via alla prossima ondata di innovazione nell’intelligenza artificiale in tutti gli aspetti: dalle applicazioni agli strumenti per sviluppatori, dalle valutazioni alle ottimizzazioni dell’inferenza e altro ancora. Non vediamo l’ora di vedere cosa costruirai e attendiamo con ansia il tuo feedback”.

Con Llama 3, Meta ha deciso di creare i migliori modelli aperti che siano alla pari con i più performanti modelli proprietari disponibili. Scrive l’azienda: “Vogliamo rispondere al feedback degli sviluppatori per aumentare l’utilità complessiva di Llama 3 e lo stiamo facendo continuando a svolgere un ruolo di primo piano nell’uso responsabile e nell’implementazione degli LLM. Stiamo abbracciando l’etica open source di rilasciare presto e spesso per consentire alla comunità di accedere a questi modelli mentre sono ancora in fase di sviluppo. I modelli testuali che rilasciamo oggi sono i primi della collezione di modelli Llama 3. Il nostro obiettivo nel prossimo futuro è rendere Llama 3 multilingue e multimodale, avere un contesto più lungo e continuare a migliorare le prestazioni complessive delle funzionalità LLM fondamentali come il ragionamento e la codifica”.

E ancora: “I nostri nuovi modelli Llama 3 con parametri 8B e 70B rappresentano un grande passo avanti rispetto a Llama 2 e stabiliscono un nuovo stato dell’arte per i modelli LLM su quelle scale. Grazie ai miglioramenti apportati al pre-addestramento e al post-addestramento, i nostri modelli pre-addestrati e ottimizzati per le istruzioni sono i migliori modelli esistenti oggi nella scala dei parametri 8B e 70B. I miglioramenti nelle nostre procedure post-formazione hanno sostanzialmente ridotto i tassi di falsi rifiuti, migliorato l’allineamento e aumentato la diversità nelle risposte dei modelli. Abbiamo anche notato funzionalità notevolmente migliorate come il ragionamento, la generazione di codice e le istruzioni che seguono, rendendo Llama 3 più manovrabile”.

Nello sviluppo di Llama 3, Meta ha esaminato le prestazioni del modello su benchmark standard e ha cercato di ottimizzare le prestazioni per gli scenari del mondo reale. Continua Meta: “A tal fine, abbiamo sviluppato un nuovo set di valutazione umana di alta qualità. Questo set di valutazione contiene 1.800 suggerimenti che coprono 12 casi d’uso chiave: richiesta di consigli, brainstorming, classificazione, risposta a domande chiuse, codifica, scrittura creativa, estrazione, interpretazione di un personaggio/persona, risposta a domande aperte, ragionamento, riscrittura e riepilogo. Per evitare un adattamento eccessivo accidentale dei nostri modelli a questo set di valutazione, anche i nostri team di modellazione non vi hanno accesso. Il grafico seguente mostra i risultati aggregati delle nostre valutazioni umane in queste categorie e suggerisce Claude Sonnet, Mistral Medium e GPT-3.5”. Manca il confronto con GPT-4 e GPT-4 Turbo che, allo stato attuale, sono considerati lo stato dell’arte. GPT-3.5 è una versione precedente di GPT-4.

Ancora Meta: “Le classifiche delle preferenze da parte di valutazioni umane basate su questo set di valutazione evidenziano le ottime prestazioni del nostro modello 70B che segue le istruzioni rispetto ai modelli concorrenti di dimensioni comparabili in scenari del mondo reale. Il nostro modello preaddestrato stabilisce inoltre un nuovo stato dell’arte per i modelli LLM su queste scale”.

Secondo Meta per “sviluppare un ottimo modello linguistico, crediamo che sia importante innovare, scalare e ottimizzare per la semplicità. Abbiamo adottato questa filosofia di progettazione durante tutto il progetto Llama 3 concentrandoci su quattro ingredienti chiave: l’architettura del modello, i dati di pre-addestramento, l’aumento del pre-addestramento e la messa a punto delle istruzioni. In linea con la nostra filosofia di progettazione, abbiamo optato per un’architettura del trasformatore relativamente standard basata solo sul decoder in Llama 3. Rispetto a Llama 2, abbiamo apportato diversi miglioramenti chiave. Llama 3 utilizza un tokenizzatore con un vocabolario di 128.000 token che codifica il linguaggio in modo molto più efficiente, il che porta a prestazioni del modello sostanzialmente migliorate. Per migliorare l’efficienza dell’inferenza dei modelli Llama 3, abbiamo adottato l’attenzione alle query raggruppate (GQA) nelle dimensioni 8B e 70B. Abbiamo addestrato i modelli su sequenze di 8.192 token, utilizzando una maschera per garantire che l’attenzione verso se stessi non oltrepassi i confini del documento”.

Interessante capire come Meta ha addestrato Llama 3. Ecco cosa spiega l’azienda:

“Per addestrare il miglior modello linguistico, la cura di un set di dati di addestramento ampio e di alta qualità è fondamentale. In linea con i nostri principi di progettazione, abbiamo investito molto nei dati di pre-addestramento. Llama 3 è preaddestrato su oltre 15T token, tutti raccolti da fonti disponibili al pubblico. Il nostro set di dati di addestramento è sette volte più grande di quello utilizzato per Llama 2 e include quattro volte più codice. Per prepararsi ai futuri casi d’uso multilingue, oltre il 5% del set di dati di pre-addestramento di Llama 3 è costituito da dati non inglesi di alta qualità che coprono oltre 30 lingue. Tuttavia, non ci aspettiamo lo stesso livello di prestazioni in queste lingue come in inglese.

Per garantire che Llama 3 sia addestrato su dati della massima qualità, abbiamo sviluppato una serie di pipeline di filtraggio dei dati. Queste pipeline includono l’utilizzo di filtri euristici, filtri NSFW, approcci di deduplicazione semantica e classificatori di testo per prevedere la qualità dei dati. Abbiamo scoperto che le generazioni precedenti di Llama sono sorprendentemente brave nell’identificare dati di alta qualità, quindi abbiamo utilizzato Llama 2 per generare i dati di addestramento per i classificatori di qualità del testo che stanno alimentando Llama 3.

Abbiamo anche eseguito esperimenti approfonditi per valutare i modi migliori per combinare dati provenienti da diverse fonti nel nostro set di dati di pre-addestramento finale. Questi esperimenti ci hanno permesso di selezionare un mix di dati che garantisce che Llama 3 funzioni bene in tutti i casi d’uso, tra cui domande trivia, STEM, codifica, conoscenza storica, ecc.

Per sfruttare in modo efficace i nostri dati di pre-addestramento nei modelli Llama 3, ci siamo impegnati notevolmente per ampliare il pre-addestramento. Nello specifico, abbiamo sviluppato una serie di leggi di scala dettagliate per le valutazioni dei benchmark a valle. Queste leggi di scala ci consentono di selezionare un mix di dati ottimale e di prendere decisioni informate su come utilizzare al meglio il nostro training computing. È importante sottolineare che le leggi di scala ci consentono di prevedere le prestazioni dei nostri modelli più grandi su attività chiave (ad esempio, la generazione di codice valutata sul benchmark HumanEval, vedere sopra) prima di addestrare effettivamente i modelli. Questo ci aiuta a garantire ottime prestazioni dei nostri modelli finali in una varietà di casi d’uso e funzionalità.

Abbiamo effettuato diverse nuove osservazioni sul comportamento di ridimensionamento durante lo sviluppo di Llama 3. Ad esempio, mentre la quantità ottimale di calcolo di addestramento di Chinchilla per un modello con parametri 8B corrisponde a ~200B token, abbiamo scoperto che le prestazioni del modello continuano a migliorare anche dopo che il modello viene addestrato su due ordini di grandezza in più di dati. Entrambi i nostri modelli di parametri 8B e 70B hanno continuato a migliorare in modo log-lineare dopo averli addestrati su token fino a 15T. I modelli più grandi possono eguagliare le prestazioni di questi modelli più piccoli con meno calcolo di training, ma i modelli più piccoli sono generalmente preferiti perché sono molto più efficienti durante l’inferenza.

Per addestrare i nostri modelli Llama 3 più grandi, abbiamo combinato tre tipi di parallelizzazione: parallelizzazione dei dati, parallelizzazione del modello e parallelizzazione della pipeline. La nostra implementazione più efficiente raggiunge un utilizzo del calcolo di oltre 400 TFLOPS per GPU se addestrata su GPU da 16K contemporaneamente. Abbiamo eseguito sessioni di training su due cluster GPU da 24K personalizzati . Per massimizzare il tempo di attività della GPU, abbiamo sviluppato un nuovo stack di training avanzato che automatizza il rilevamento, la gestione e la manutenzione degli errori. Abbiamo inoltre notevolmente migliorato l’affidabilità dell’hardware e i meccanismi di rilevamento della corruzione silenziosa dei dati, oltre a sviluppare nuovi sistemi di storage scalabili che riducono i costi generali di checkpoint e rollback. Questi miglioramenti hanno portato a un tempo di formazione effettivo complessivo superiore al 95%. Combinati, questi miglioramenti hanno aumentato l’efficienza dell’addestramento del Lama 3 di circa tre volte rispetto al Lama 2″.

A cosa serve questo modello di IA di Meta? Risponde l’azienda: “La nostra visione è consentire agli sviluppatori di personalizzare Llama 3 per supportare casi d’uso rilevanti e facilitare l’adozione delle migliori pratiche e il miglioramento dell’ecosistema aperto. Con questa versione forniamo nuovi strumenti di fiducia e sicurezza, inclusi componenti aggiornati con Llama Guard 2 e Cybersec Eval 2 e l’introduzione di Code Shield, un guardrail temporale di inferenza per filtrare il codice non sicuro prodotto da LLM. Abbiamo anche co-sviluppato Llama 3 con torchtune , la nuova libreria nativa di PyTorch per creare, ottimizzare e sperimentare facilmente con LLM. torchtune fornisce ricette di allenamento efficienti in termini di memoria e hackerabili, scritte interamente in PyTorch. La libreria è integrata con piattaforme popolari come Hugging Face, Weights & Biases ed EleutherAI e supporta anche Executorch per consentire l’esecuzione di un’inferenza efficiente su un’ampia varietà di dispositivi mobili ed edge. Per tutto, dalla progettazione tempestiva all’utilizzo di Llama 3 con LangChain, abbiamo una guida introduttiva completa che ti accompagna dal download di Llama 3 fino alla distribuzione su larga scala all’interno della tua applicazione di intelligenza artificiale generativa”.

Meta assicura che ha progettato i modelli Llama 3 per essere estremamente utili, garantendo allo stesso tempo un approccio leader del settore per la loro implementazione responsabile. Per raggiungere questo obiettivo, è stato adottato un nuovo approccio a livello di sistema per lo sviluppo e l’impiego responsabile di Llama. “Immaginiamo i modelli Llama come parte di un sistema più ampio che mette lo sviluppatore al posto di guida. I modelli di lama fungeranno da elemento fondamentale di un sistema che gli sviluppatori progettano tenendo presente i loro obiettivi finali unici. Anche la messa a punto delle istruzioni gioca un ruolo importante nel garantire la sicurezza dei nostri modelli. I nostri modelli ottimizzati per le istruzioni sono stati testati (testati) per la sicurezza attraverso sforzi interni ed esterni. Il nostro approccio di red teaming sfrutta esperti umani e metodi di automazione per generare suggerimenti contraddittori che cercano di suscitare risposte problematiche. Ad esempio, applichiamo test completi per valutare i rischi di uso improprio relativi ad aree chimiche, biologiche, di sicurezza informatica e altre aree di rischio. Tutti questi sforzi sono iterativi e utilizzati per orientare la messa a punto della sicurezza dei modelli rilasciati. Puoi leggere di più sui nostri sforzi nella scheda modello“, spiega Meta.

Meta assicura che Llama 3 sarà presto disponibile su tutte le principali piattaforme, inclusi fornitori di servizi cloud, fornitori di API modello e molto altro. Secondo l’azienda “Llama 3 sarà ovunque. I nostri benchmark mostrano che il tokenizzatore offre una migliore efficienza dei token, producendo fino al 15% in meno di token rispetto a Llama 2. Inoltre, Group Query Attention (GQA) ora è stato aggiunto anche a Llama 3 8B. Di conseguenza, abbiamo osservato che nonostante il modello abbia 1 miliardo di parametri in più rispetto a Llama 2 7B, l’efficienza del tokenizzatore e il GQA migliorati contribuiscono a mantenere l’efficienza dell’inferenza alla pari con Llama 2 7B”.

Sempre per Meta, i modelli Llama 3 8B e 70B segnano l’inizio di ciò che l’azienda intende rilasciare per Llama 3. E c’è molto altro in arrivo. “I nostri modelli più grandi superano i 400 miliardi di parametri e, sebbene questi modelli siano ancora in fase di formazione, il nostro team è entusiasta del loro andamento. Nei prossimi mesi rilasceremo più modelli con nuove funzionalità tra cui la multimodalità, la capacità di conversare in più lingue, una finestra di contesto molto più lunga e capacità complessive più forti. Pubblicheremo anche un documento di ricerca dettagliato una volta terminato l’addestramento di Llama 3. Per darti un’anteprima di dove si trovano oggi questi modelli mentre continuano la formazione, abbiamo pensato di poter condividere alcune istantanee di come sta andando il nostro modello LLM più grande. Tieni presente che questi dati si basano su un checkpoint iniziale di Llama 3 ancora in fase di formazione e queste funzionalità non sono supportate come parte dei modelli rilasciati oggi”.

Quindi dove si può provare Llama 3? Spiega Meta: “Abbiamo integrato i nostri ultimi modelli in Meta AI, che riteniamo sia l’assistente AI leader a livello mondiale. Ora è costruito con la tecnologia Llama 3 ed è disponibile in più paesi attraverso le nostre app. Puoi utilizzare Meta AI su Facebook, Instagram, WhatsApp, Messenger e sul Web per fare cose, imparare, creare e connetterti con le cose che contano per te. Puoi leggere ulteriori informazioni sull’esperienza Meta AI qui. Visita il sito web di Llama 3 per scaricare i modelli e fai riferimento alla Guida introduttiva per l’elenco più recente di tutte le piattaforme disponibili. Presto potrai anche testare Meta AI multimodale sui nostri occhiali intelligenti Ray-Ban Meta”.

Llama 3 applicato: ecco Meta AI, che porta l’intelligenza sulle piattaforme ma non in Italia

In sintesi, Meta AI è l’assistente virtuale, disponibile su WhatsApp, Instagram, Messenger, Facebook, sugli occhiali smart Ray-Ban Meta e presto disponibile anche su Quest 3. Per capire Meta AI, l’azienda ci tiene a spiegare la sua funzione in modo a dir poco naif: “Pensate a Meta AI come a un assistente personale che può aiutarvi a rispondere alle domande e a svolgere attività in modi più creativi. Può aiutarvi, ad esempio, a risolvere un dibattito in una chat di gruppo, a creare l’immagine giusta per esprimere il vostro stato d’animo o a organizzare il vostro prossimo viaggio di gruppo”. Ebbene sì, come se ChatGPT e la IA fosse nata con Meta AI.

Cosa permette di fare Meta AI? Semplice, cose già esistenti ma non in Facebook, WhatsApp o Messenger:

“Cerca o chiedi a Meta AI: ora è possibile porre una domanda a Meta AI direttamente dalle funzioni di ricerca di Facebook, Instagram, WhatsApp e Messenger. Basta iniziare a digitare e Meta AI fornirà suggerimenti oppure si potrà digitare una domanda per esteso. Le risposte riguardanti sport, intrattenimento ed eventi attuali sono fornite dai principali motori di ricerca.

Versione web: è disponibile una versione web dell’assistente AI tramite meta.ai, perfetto per l’assistenza via e-mail, le ricerche e tutto ciò che si fa al computer”.

Non solo. Spiega Meta: “Puoi anche accedere a Meta AI mentre scorri il feed di Facebook. Hai trovato un post che ti interessa? Puoi chiedere a Meta AI maggiori informazioni direttamente dal post. Quindi, se vedi una foto dell’aurora boreale in Islanda, puoi chiedere a Meta AI in quale periodo dell’anno è migliore per osservare l’aurora boreale”.

Animazione che mostra Meta AI nel feed di Facebook

Meta AI è anche disponibile per le immagini: “Stiamo velocizzando la generazione delle immagini, così puoi creare immagini dal testo in tempo reale utilizzando la funzione Immagina di Meta AI. Stiamo iniziando a implementarlo oggi in versione beta su WhatsApp e sull’esperienza web Meta AI negli Stati Uniti. Vedrai apparire un’immagine mentre inizi a digitare e cambierà ogni poche lettere digitate, così potrai osservare come Meta AI dà vita alla tua visione”.

Animazione che mostra le immagini che appaiono durante la digitazione utilizzando la funzione Immagina di Meta AI in una chat di WhatsApp

Anche le immagini generate “sono ora più nitide e di qualità superiore, con una migliore capacità di includere testo nelle immagini. Dalle copertine degli album, alla segnaletica per matrimoni, alle decorazioni per i compleanni e agli outfit, Meta AI può generare immagini che danno vita alla tua visione più velocemente e meglio che mai. Fornirà anche suggerimenti utili con idee per modificare l’immagine, in modo da poter continuare a ripetere da quel punto di partenza iniziale. E non finisce qui. Hai trovato un’immagine che ami? Chiedi a Meta AI di animarlo, di ripeterlo in un nuovo stile o addirittura di trasformarlo in una GIF da condividere con gli amici”.

GIF che mostra la funzione di animazione delle immagini di Meta AI

La doccia fredda arriva quando si apprende in quali Paesi è disponibile Meta AI: “attualmente disponibile in inglese negli Stati Uniti e con l’aggiornamento di oggi è disponibile in nuovi Paesi, tra cui Australia, Canada, Ghana, Giamaica, Malawi, Nuova Zelanda, Nigeria, Pakistan, Singapore, Sudafrica, Uganda, Zambia e Zimbabwe, e altri ancora sono in arrivo”.

meta ai llama 3 igizmo
PANTHEK
GAMEPEOPLE
DIFUZED
FIZZ
PALADONE
OTL
CROCKPOT
MYSTERY BOX
SUBSONIC