Benvenuto benvenuta, io sono Filippo Sozzi e stai ascoltando Avocati Mac Compendium.

Compendium è un podcast in cui ti parlo.

Delle mie esperienze quotidiane con la tecnologia, in particolare con quella Apple.

Compendium fa parte del network Ramten Radio, la Radio Geek.

Questa è la puntata 76, nella quale ti parlerò di come sono riuscito ad avere una finestra di contesto.

Sul mio max studio M1 Max con 32GB di RAM.

Ma prima sigla, alcune comunicazioni di servizio prima di iniziare.

Ti segnalo innanzitutto che probabilmente e possibilmente potresti ascoltare dalla pubblicità inizio e chiusura del podcast.

La pubblicità viene inserita automaticamente.

da Spreaker, la piattaforma su cui poi funziona Runtime Radio e aiuta a finanziare il network Runtime Radio

Come al solito sto registrando la puntata il giorno prima dell'uscita, quindi sono abbastanza malmesso, non c'è la versione YouTube.

Lo segnalo, ho addirittura nell'ultimo periodo ho avuto un po' di problemi, quindi ho dovuto rinviare la lezione il 27 febbraio sul workshop sull'I.

Ripartiremo dal 13 di marzo e quindi poi le registrazioni che farò come al solito le condividerò nella newsletter.

le note dell'episodio ti segnalo solo che nella puntata del podcast le troverai il link diretto alle note dell'episodio

che invece sono su avvocatemac.

it giusto un po' di informazioni perché stanno cambiando alcune cose

Altre comunicazioni di servizio, due, perché nel mentre diciamo sono successe cose, nel mentre stavo preparando la mappa mentale di questa puntata e la sto registrando, diciamo.

Sicuramente ho in previsione di sperimentare con gli agenti EA locali, quindi per ora ho fatto dei test su Open Clow.

Non sono riuscito a farlo funzionare in una configurazione sicura, mentre ho avuto i primi risultati positivi con Agent Zero.

o agente zero, bisogna vedere come lo si denomina ho fatto qualche test non positivo ma ci sta, voglio dire invece

Perché Luca, che ringrazio, mi ha segnalato Craft Agent, che è sostanzialmente un agente AI fatto da quelli che hanno sviluppato Craft.

Anche questo è open source, diciamo è interessante, soprattutto l'interfaccia è molto bellina per gli utenti Apple.

Ma anche qui ho visto che utilizzare modelli locali è abbastanza complicato.

Comunque, nel prossimo futuro sicuramente farò degli approfondimenti negli ultimi due giorni, infatti dovevo registrare questa puntata qualche giorno fa.

Poi, diciamo, sono entrato nel tunnel come si suol dire.

Invece ho sviluppato un'applicazione per anonimizzare i documenti, PDF e file tipo DOCX, ODT e così via.

utilizzando Cloud Code è già pubblica nel senso che l'ho pubblicata su GitHub non è ancora perfetta al 100% io la chiamerei alfa mettiamola in questi termini

Ma appunto sono riuscito in due giorni a sviluppare un'applicazione relativa.

.

cioè complessa no, però diciamo a strutturare tutto il progetto

e ovviamente te ne parlerò nelle prossime puntate nelle note dell'episodio però se sei interessato ti metterò il link al repository dove trovi anche le varie release

le varie creazioni perché sto implementando le varie funzioni pian pianino e devo dire la verità sono rimasto molto stupito dalla cosa ma devo ancora rifletcerci a modo diciamo che negli ultimi due giorni

Però in due giorni ho sviluppato un'applicazione multipiattaforma per anonizzare documenti perlegali, quindi direi che non è male, ovvio che non è.

non è un prodotto commerciale anzi non mai lo sarà fa il suo porco mestiere come direi io e con due o tre ulteriori raffinature

diciamo secondo me è un'applicazione che possono potenzialmente usare in molti comunque te ne parlerò in dettaglio sia sul sito che probabilmente con dei video dove spiegherò come funziona e così via

Però te l'accennavo per i super curiosi che non sono iscritti al canale Telegram di Avvocatiamek, diciamo c'è questa possibilità, anzi sto cercando cosiddetti beta testa, nel senso che.

Adesso per ora alcuni amici la stanno provando per vedere i casi concreti e per vedere poi se tutto funziona come deve perché ovviamente io l'ho sviluppata.

molto velocemente appunto in due giorni poi sviluppata è una parola grossa nel senso ho usato cloud code per svilupparla mettiamola così

Comunque, bando alle chante, finite le comunicazioni di servizio, adesso entriamo nel vivo della puntata.

Una piccola premessa a tutti.

la vicenda perché oggi ti parlo di questa cosa e perché appunto settimana due settimane fa credo mentre sto registrando

o mi si è aperto un nuovo mondo, mettiamole in questi termini.

E diciamo che appunto se non hai strumenti per anonimizzare i documenti, e quindi.

Se non puoi dare alle intelligenze artificiali online documenti anonimizzati

non le puoi utilizzare secondo me, poi dopo ognuno la pensa alla sua maniera ma stringendo il concetto è che da professionista, ma non solo,

questo non è fattibile.

Il problema qual è sempre stato per me è che utilizzando così modelli migliori sul Mac Studio

ho sempre avuto poco contesto a disposizione.

Per elaborare grosse modi di documenti in locali, quindi in rag e non solo, è necessario ovviamente un contesto grosso.

E ovviamente questo contesto è necessario soprattutto in ambito legale, dove effettivamente

Casomai fare un'analisi di un documento è relativamente semplice, se un documento è di 3, 4, 5 pagine.

Ma già se inizia ad essere 10, 15, 20 o iniziano ad esserci 3-4 documenti su cui lavorare, ecco questo diventa difficile.

Nella sostanza, giusto per farti un esempio, i modelli più performanti attualmente che posso girare io, lo ripeto, ho 32 GB di RAM

È ovvio che se tu ne hai solo 16 o addirittura 8, i discorsi sono ancora peggiori, mettiamoli in questi termini.

I modelli che riesco a far già io sono da 32 a 35

miliardi di parametri che abitualmente sono quantizzati cioè sono ridotti comunque nei loro pesi perché se no altrimenti non sarebbe possibile quindi sono già una versione un po' più stupida mettiamola in questi termini

ma che occupano abitualmente intorno ai 20-24 GB di modello, quindi di parametri, all'interno proprio del computer.

e ovviamente il modello deve essere fatto girare all'interno della RAM del Mac sostanzialmente o comunque della GPU che si sta utilizzando

E quindi su 32 GB di RAM che ho per il mio Mac, 2024 vanno dedicati direttamente.

Al modello.

Quindi cosa succede?

Che restano le briciole per il contesto.

Se si considera appunto che facciamo i conti con il mio Mac Studio

Ho 32 GB di RAM, almeno 5 devono essere lasciati e dedicati al sistema operativo e quindi sostanzialmente.

32-24 meno 5 in pratica ho 3 giga potenzialmente da dedicare al contesto che qualcosa è ma non è tanta roba mettiamola in questi termini

Per cui uno dei limiti che mi sono sempre trovato ad affrontare lavorando col Make Studio e con modelli di grosse dimensioni per il mio Mac Studio

è sempre stato quello di poter arrivare a contesti intorno ai 10.

000 token più o meno.

1015.

Poi ovviamente più il modello è chiamiamolo così, piccolo, più posso dargli spazio a livello di token.

Giusto per farti l'esempio, perché secondo me ne ho parlato nella scorsa puntata, ministra il 14B.

Potevo dare un contesto intorno ai 20.

000 token proprio perché il modello era da 14 miliardi di parametri,

e anche se avevo scelto una quantizzazione un po' più alta cioè 8 bit comunque mi occupava intorno ai 10 GB quindi avevo comunque ben più roba da dedicare al contesto

Bene, cosa ho scoperto sostanzialmente?

Beh, tutto è nato, diciamo, dalla mia solita pregherizia, nel senso che

L'amico Roberto Alma ogni tanto mi snocciala i conti di quanto occupa il contesto nella RAM e così via, ma oggettivamente ogni volta che me li ha snocciolati io sono entrati da un orecchio e sono usciti dall'altra.

Quindi una volta mi sono.

.

ho deciso di far fare i conti ovviamente a Perplexity.

E in questa attività, diciamo.

Ho specificato per Plexity tutta la mia configurazione, quindi che avevo un Max Studio configurato in una certa maniera, che per OLAM avevo questi parametri e così via.

E qui ho scoperto tutta una serie di informazioni di cui ti voglio parlare.

e che hanno dato poi origine a questa scoperta perché effettivamente sono riuscito a far girare dei contesti dai 64 ai 120 milioni di token per modello.

Questo vuol dire avere la possibilità di ovviamente far girare, avere dei contesti che iniziano a essere interessanti, mettiamoli in questi termini.

e che quindi mi permettono di fare cose che prima non ero in grado di fare sui sistemi locali.

Veniamo quindi ai trucchi per massimizzare la RAM a disposizione del contesto.

Allora, innanzitutto troverai nelle note dell'episodio un comando per rendere più disponibile maggior RAM alla GPU.

Nella sostanza cosa succede?

Nei Mac, soprattutto nei Mac con grandi quantità di RAM, diciamo, solo il 70%

di questa RAM abitualmente da sistema operativo può essere dedicata alla GPU.

La RAM del MAC è una RAM condivisa tra CPU, quindi quella che fa i calcoli base.

e la GPU che invece è il processore grafico che nel mondo dell'intelligenza artificiale è quello che viene utilizzato di più.

Apro e chiudo una parentesi

Giusto solo per darti un'idea, visto che questa puntata esce in continuità a stretto giro, sono usciti gli M5 Pro e Max.

e su questi nuovi chip di Apple è stato aggiunto un pezzo per appunto avvelocizzare alcuni passaggi dell'intelligenza artificiale.

Oggi non ne parleremo.

o ne parleremo incidentalmente per dire due cose però ti segnalo proprio che Apple sta lavorando proprio per ottimizzare questi colli di bottiglia e

Un altro modo appunto c'è questo comando che ovviamente va dato a terminale, non te lo dico neanche perché se sei interessato a lanciarlo.

E lo troverai nelle note dell'episodio.

Questo comando sostanzialmente permette di dare maggiore RAM

alla GPU, quindi andare oltre il livello base.

Io abitualmente portavo a 27 GB la RAM dedicata

alla GPU recentemente ho fatto alcune modifiche e credo di essere arrivato addirittura a 30 gigabyte quindi dei 32 GB può prenderne

fino a 30.

Ma ovviamente attenzione, più si va in là, mettiamola in questi termini, e più c'è la possibilità che il computer abbia dei problemi sostanzialmente, perché

parte della RAM va per forza di cose al sistema operativo quindi ci possono essere instabilità del sistema attualmente mentre scrivo dai miei test non ho notato cose

Clamorose, però te lo segnalo perché è importante.

Io appunto il consiglio che ti do è comunque chiedere a un LLM cosa è possibile fare con la tua configurazione, quindi dali proprio tutta la tua configurazione, cioè come è strutturato il tuo computer.

e dove si riesce a ottimizzare le cose.

Quindi ottimizzazione, cioè dare il più RAM possibile ai large linguaggio mode è il primo trucco.

Il secondo trucco è ottimizzare le impostazioni di Allama.

Anche qui era una cosa che avevo già fatto ma che non avevo capito bene come funziona.

Qui è un po' tecnico, mettiamolo in questi termini.

ma è importante discuterne poi anche qui se c'è interesse casomai farò farò un articolo un po' più dettagliato dove si può leggere dove si può capire però nella sostanza

Oltre a quantizzare i modelli, quindi renderli, chiamiamoli così, un po' più stupidi, ma ovviamente modelli più grossi possono a questo punto, anche se un po' più stupidi, possono girare su un computer che abitualmente non li avrebbe potuti ospitare.

Si può quantizzare anche il contesto.

Ovviamente anche qui il contesto a questo punto non è più stupido perché non può esserlo.

ma è più blando, cioè è meno preciso, mettiamola in questi termini, e quindi ovviamente c'è un trade-off sostanzialmente, cioè

Posso utilizzare più contesto, quindi posso buttarli dentro più informazioni, ma queste informazioni non sono così precise.

È ovvio che è una cosa, anche qui si fa tutto con dei comandi, purtroppo a terminale, da quello che ho visto io.

visto che recentemente sto utilizzando un po' di più LM Studio, teoricamente l'M Studio ha alcune funzioni che

che possono essere ottimizzate diciamo da interfaccia grafica sostanzialmente per cui se sei interessato casualmente ti suggerisco di approfondire anche qui

LM Studio, a me non piace particolarmente, ma adesso appunto mentre facevo tutti questi esperimenti con la mia applicazione di.

anonimizzazione utilizzando anche l'arger language model, l'amico Alberto Arma appunto mi ha suggerito di anche testare lì perché è più semplice vedere alcune cose quindi riuscire a fare un po' di.

di controllo dei flussi di lavoro dell'applicazione.

L'ultimo trucco che anche qui è tutto merito di Roberto sono alcuni modelli cosiddetti performanti

E qui bisogna parlare di alcune cose un po' tecniche, ma appunto è importante capirci.

Diciamo, esistono due tipologie di modelli di large language model, i modelli cosiddetti densi, cioè in cui vengono utilizzati tutti i parametri del modello.

e invece i modelli che si chiamano Mixture of Expert, cioè modelli dove ci sono

chiamiamoli così una squadra di 35 specialisti, mettiamoli in questi termini, che vengono attivati solo in base al contesto.

chiamiamolo così della risposta quindi pur avendo pur essendo un modello di grosse dimensioni o di dimensioni maggiori rispetto ad altre

si attivano non tutti i parametri contemporaneamente ma alcuni parametri.

Abitualmente un modello tradizionale, quello denso, fa lavorare tutti i 35

specialisti in contemporanea per ogni risposta invece l'MOE per ogni token generato si attiva solo due o tre specialisti scelti dinamicamente

E questi e gli altri dormono e non consumano memoria in elaborazione.

Questo cosa vuol dire?

Che modelli di grosse dimensioni

o di dimensioni maggiori rispetto ad altri, diciamo, quindi con maggiore capacità anche, che è così, intellettuale, anche se così non è, possono.

possono invece essere fatti girare e performare meglio, quindi dare anche delle risposte più velocemente rispetto ad altri.

Io attualmente sto utilizzando, e ti consiglio di utilizzare, due modelli che ho trovato notevolmente validi.

sono il Queen 3.

5 da 35 miliardi di parametri, ha 35 miliardi di parametri totali ma ne attiva solo 3 miliardi per token

e sostanzialmente su Maple Silicon richiede circa 21-22 GB di RAM invece dei 70 GB che servirebbero per un modello

denso equivalente.

Ti segnalo tra l'altro che Queen Punto 3 ha avuto una serie di vicessitudini notevoli.

Quello che ci interessa qui è dire che oltre al modello da appunto 35 miliardi di parametri, ce ne sono i modelli della stessa classe, diciamo, ce ne sono i modelli più piccoli, ovviamente i modelli più piccoli sono meno performanti.

ma in base al computer che hai può essere interessante perché ci sia quello da 4 miliardi di parametri, da 9 e da 27 miliardi di parametri, ovviamente oltre 35 c'è quello da 122

e poi addirittura quello full che addirittura è 397 miliardi di parametri ma ovviamente ci vogliono dei computer decisamente diversi mettiamoli in questi termini

Giusto per darti un'idea, quello da 122 miliardi di parametri occupa 21 GB.

ci vuole un computer, diciamo, ci vuole un Mac Studio con 128 GB di RAM sostanzialmente per farlo girare.

Più ci sono parametri più il risultato

che ottieni dall'inferenza è migliore però già con quello da 35 miliardi di parametri devo dire la verità ho ottenuto dei risultati interessanti

L'altro e con velocità di generazione dei token, perché anche questo è importante, piuttosto buone.

Quindi comunque con risposte.

non paragonabili forse agli LLM online ma comunque sufficientemente veloci da ricevere delle risposte nel giro di qualche minuto ok quindi

anche qui utilizzabile diciamo per fare svariate cose e l'altro modello molto interessante che doveva essere di Nvidia è il nemotron 3 nano

che utilizza anche qui stesso principio, ha 30 miliardi di parametri, ma ne usa solo 3 attivi per ogni token.

Appunto grazie alla sua architettura

hybrid latent Moe qui in punto 3, piccola parentesi, aggiunge un'ulteriore ottimizzazione esclusiva, cioè il 65% dei layer

Di dei parametri, usa l'attenzione lineare tramite il datagate, tramite il

Gated Delta Network, invece, la classica full attention, questa riduce ancora drasticamente la KV cake, ovvero la memoria temporanea che il modello accumula man mano che legge il contesto.

precisazione, sì, sto utilizzando tutta una serie di informazioni abbastanza dettagliate e me ne scuso, ma purtroppo.

se si vuole spremere il massimo diciamo dall'hardware che si ha a disposizione bisogna anche conoscere bene questi nuovi strumenti e queste.

.

queste nuove funzioni alcune precisazioni 1 purtroppo gli sviluppatori di Queen che sono Alibaba

C'è stato un problema in paradiso, come si suol dire, Queen 3.

5 forse è uno dei migliori modelli open in circolazione ad oggi.

Ma sostanzialmente buona parte degli sviluppatori se n'è andata da Queen e quindi probabilmente rimarrà un oggetto interessante in questo periodo.

ma non vedrà futuri sviluppi e quindi questo è da tenere comunque presente però ovviamente una volta che appunto

si sono scoperte queste tecniche e sono state utilizzate per Gianà un modello open abitualmente altri modelli poi seguono la vicenda

È ovvio che tutte queste informazioni bisogna digerirle, io ho cercato anche attraverso l'intelligenza artificiale di rendertele più semplici da digerire.

ma vanno approfondite perché appunto bisogna un minimo capire il loro funzionamento e utilizzarle con.

Cognizione di causa.

La Kivi Cash o KV Cash è sostanzialmente la cash del modello e del pensiero del modello.

E nella sostanza una cosa da tenere presente è che più è grosso il contesto, più quindi generato

il pensiero gli è stato dato un prompt di grosse dimensioni più il modello cioè più il Mac soprattutto rallenta

Più fa fatica.

Quindi è ovvio che anche qui, quando si utilizzano i contesti grossi, attenzione, perché ci mette un sacco di tempo.

Giusto per farti un esempio, perché ho fatto sempre con Roberto, abbiamo fatto degli esperimenti.

mi ha dato un prompt da 86.

000 token e non mi ricordo più se Nemotron ci ha messo 18 minuti a dare la risposta finale

invece Quen 3.

5 ci ha messo 32 minuti quindi anche qui è ovvio che più cresce il contesto più questi strumenti cioè sono performanti perché appunto una cosa del genere non sarei mai riuscita a farla

Sul mio Mac Studio, ma il computer viene spremuto al massimo della sua potenza e quindi non aspettate cose clamorose senza avere dei.

dei trade-off come si suol dire quindi questi sono i concetti di base come ho quindi sbloccato la situazione come ti dicevo appunto ho messo insieme cose che già sapevo sull'IA

ma che non avevo mai capito in dettaglio e un po' spero di avertelo spiegato infatti appunto più che altro è stato

È stato chiedere di fare i conti, diciamo, a Perplexity per ottimizzare alcune cose, infatti, sostanzialmente

quando ho fatto questa cosa e quando gli ho dati i parametri di configurazione ho scoperto per esempio che anche qui,

facendo dei compromessi ovviamente per il model di lavorazione diciamo o comunque di performance

potevo avere un contesto maggiore.

In particolare cosa mi ha detto l'intelligenza artificiale?

Innanzitutto che io avevo messo come lavori paralleli di Olama

quattro lavori paralleli in contemporanea volendo questo però vuol dire che se è vero che da una parte un lama può lavorare quattro prompt in contemporanea chiamiamole così anche qui

oggettivamente sulla mia macchina era poco fattibile mettiamola così e tra l'altro cuocendo di poi io non ho mai utilizzato questa funzione cioè raramente lanciavo due prompt in contemporanea

Abbassandole a 1 però poteva aumentare drasticamente il contesto, quindi la RAM dedicata al contesto

per quel singolo compito quindi ho abbassato a uno appunto i lavori paralleli di Olama

e ho ridotto la KV cache a 8 bit, addirittura errivato a 4 bit

Però appunto facendo poi degli approfondimenti sostanzialmente ho visto, il consiglio che mi ha dato l'intelligenza artificiale è quello di mantenerla a 8, che comunque si guadagna contesto ma si riesce a fare cose interessanti.

Giusto per darti un'idea, quantizzando con un modello quantizzato a 4K, a 4 bit

e che vi cache a 4 bit con solo un modello parallelo riuscivo su certi modelli ad arrivare

a utilizzare un contesto da 256.

000 parametri

che non è affatto male.

Addirittura su alcuni se il modello lo permetteva perché non tutti i modelli hanno la possibilità di gestire questo contesto

potevo arrivare addirittura a 384.

000 di contesto.

E questo ovviamente mi apre potenzialmente tutta una serie di opzioni.

Vediamo però, giusto per darti un'idea più specifica, che cos'è la KV Cache e Key Value Cache è la memoria di lavoro del modello durante la generazione del testo.

Ogni volta che il modello legge i token precedenti, quindi tutta la conversazione o il tuo documento, calcola dei vettori matematici chiamati chiavi.

appunto K e valori V per ciascun token per ogni layer di attenzione invece di ricalcolare ogni volta che genera un nuovo token li salva appunto in questa cache

e quindi velocizza poi tutte le operazioni nella sostanza quando ho creato questo prompt te lo leggo velocemente perché il prompt è relativamente semplice poi probabilmente

si può migliorare ma il prompt è questo, ragiona passo passo e segui un filo logico, il contesto è un Mac Studio M1 Max con 30 GB di RAM

Queste sono le impostazioni di OLAM nel file zshrc che è sostanzialmente il file di configurazione della shell del terminale di.

di MECOS, adesso sostanzialmente Olama Nam Run è 1, Olama Flash Attention è 1 e Olama Kivi Cache Type è Q80

Ok, adesso te l'ho letto velocemente, poi eventualmente ti metterò il prompt nell'altro episodio.

Ho anche aumentato la RAM a disposizione della GPU con questo comando, il comando che ti raccontavo.

Qui nel caso specifico era arrivato a 27 GB, ma addirittura in una successiva conversazione mi ha detto che potevo tirare fino a 30 sostanzialmente.

Quanto contesto posso avere?

Fammi i conti e spiegali in modo preciso, sto usando il modello e gli dicevo, solitamente addirittura gli mettevo il link

Per perplexity gli mettevo il link alla libreria dei modelli di Olama e nel caso specifico gli dicevo OQEN 3.

535B.

Quindi in questa maniera ovviamente il Large Language Model sapeva anche come funzionava lo specifico modello e quindi mi ha fatto i budget della memoria.

e mi ha detto in pratica cosa potevo utilizzare come quantità di RAM dedicata alla singola cosa.

Nella sostanza, rifacendo i conti con questo sistema, diciamo, potevo arrivare tranquillamente a 27 milioni di token se non utilizzavo quello a 8 bit.

e appunto recentemente li ho fatto fare con la cache, la Kiwi Cache a 4 bit, addirittura posso utilizzare dei contesti veramente veramente enormi.

È ovvio che se vado a 4 bit, cioè se ho bisogno di avere i risultati perfetti diciamo, è meglio andare su 8 bit, infatti io attualmente la tengo a 8 bit di base.

Però se ho bisogno di lavorare in locale con un contesto enorme, a questo punto la tiro giù a 4 bit e riesco a ottimizzare.

Quindi anche qui è importante sapere questi trucchetti, diciamola.

perché in base a quello che devo fare, cioè ho veramente un documento enorme o una serie di documenti enormi che voglio fare analizzare

allora posso andare a 4 bit sapendo però che l'analisi sarà un meno precisa meno puntuale

di quella 8 bit, ma ovviamente se fosse 8 bit non potrei metterci dentro tutto quel contesto

e quindi è ovvio che addirittura non riuscirei a farlo.

Quindi ovviamente c'è da valutare appunto questo discorso di scegliere qual è l'opzione migliore per lo specifico compito e la specifica attività.

Alcune avvertenze finali, ma ne ho già parlato, quindi andiamo veloci.

Quantizzare vuol dire sacrificare informazione e precisione del modello.

Non è quindi un miracolo, ma è un baratto sostanzialmente, capacità conto precisione.

Come ti dicevo anche qui prima, i tempi di risposta aumentano a dismisura, ne ho parlato probabilmente nelle scorse puntate, ma gli approccili con sono lenti nel caricamento del prompt.

ma hanno una buona velocità nell'inferenza, cioè nella produrre invece l'output.

Più la finestra di contesto è grossa,

Più tempo ci vuole.

Ecco, adesso sono stato bravo, ma nella sostanza gli esempi erano corretti, alcuni esempi ho utilizzato un contesto da 68.

token di contesto e giusto per darti un'idea sono più o meno 45-50.

000 parole per intenderci

e QN 3.

5 35 miliardi di parametro a 4 bit ci ha messo 32 minuti per rispondere

né Motron 3 né Nano ce ne ha messi 18 quindi comunque i tempi sono veramente grossi e lunghi ma effettivamente il risultato è positivo

e comunque è riuscito a fare cose che mai avrei pensato di poter fare tranquillamente sul mio Mac Studio.

Quindi ovvio, poi più il modello è piccolo, più addirittura posso utilizzare contesti di grande dimensioni.

Ve lo ripeto, ne ho parlato secondo me la puntata scorsa.

Ho fatto tradurre dall'intelligenza artificiale locale un libro e per farlo tradurre l'escamotage c'è stato che un lingo inglese e in italiano l'ho spezzettato in pezzettini, ovviamente, in modo che questi pezzettini stessero.

nel contesto in quest'ottica qua probabilmente potevo dare l'intero libro ovviamente ci metteva appunto comunque una quantità di tempo non indifferente

ma teoricamente, e dico teoricamente, avrei potuto dare comunque dei pezzi di libro più grossi e farli ovviamente digerire con questi contesti, quindi fare meno passaggi.

Ultime considerazioni finali prima di salutarti, non ne ho parlato perché non ho avuto fisicamente il tempo di fare ulteriori esperimenti.

Ma c'è anche da guardare quello che è possibile fare con MLX, che è lo standard per gli Apple Silicon.

Questo perché?

Perché abitualmente l'LMX consuma un 30% in meno di memoria, perché ovviamente i modelli LMX sono ottimizzati per Apple Silico.

Sicuramente ci sono un sacco di cose da fare, anche qui c'è la possibilità addirittura di sto.

sto scoprendo pian piano di fare cache dei prompt, cioè avere già i vettori calcolati per il prompt A

e quindi se il prompt A viene modificato di qualche parola la GPU deve fare solo i conti di quello che manca, mettiamoli in questi termini.

E questo ovviamente velocizza particolarmente l'appels silicon perché appunto il grosso del calcolo viene fatto la prima volta, ma se il prompt è simile o se appunto il prompt fa parte di una grossa conversazione, quindi.

Tutta la parte precedente, la conversazione è stata già elaborata.

Ti deve fare solo il pezzo che manca.

Insomma, ci sono tutta una serie di ulteriori tecniche per ottimizzare.

Ovviamente sono tecniche avanzate.

ma che ti permettono di esprimere al massimo questi strumenti, tirando le somme, quindi.

Sicuramente è puntata molto tecnica, ma.

credo possa essere molto interessante per chi come sottoscritto vuole spremere tutta la potenza diciamo del processore Apple Silicon

dai propri Mac con l'utilizzo dell'intelligenza artificiale locale.

L'intelligenza artificiale locale è ormai la mia convenzione per il mondo professionale è il futuro, nel senso che oggi.

non ancora sufficientemente performante e comunque ha dei costi piuttosto alti ma secondo me in un futuro diventerà comunque il

Punto d'arrivo per tutti.

Apro chiudo una parentesi veloce, sì, sto sviluppando io e tra l'altro non sono io.

ma ci sono altre conosco almeno due progetti commerciali che stanno sviluppando dei sistemi di anonimizzazione dei documenti

Il problema dell'anonimizzazione però dei documenti è che non è al 100%, secondo me, non è al 100% automatizzabile.

Questo per un motivo semplicissimo, perché le entità, cioè trovare Pippo Pluto, Paperino, date di nascita, luogo e così via, non è qualcosa di deterministico.

e quindi lasciare un dato è sempre possibile quindi ci vuole comunque una revisione dell'anonimizzazione

da parte di chi vuole utilizzare quel documento con i modelli online.

Invece avere un modello locale che ovviamente non fa uscire da nessuna parte

i propri dati o comunque che restano nell'intranet locale è il vantaggio vero quindi secondo me nel momento in cui ci sarà diciamo

il costo per token dei modelli online aumenterà drasticamente il vantaggio di avere dei modelli locali

che girano sul proprio hardware aumenterà drasticamente e quindi computer che oggi diciamo sono fuori

Dalla portata di molti potrebbero diventare computer, quindi parlo del Mac Studio con 512 GB di RAM, anche se ad oggi, per esempio, non è più acquistabile, mettiamoli in questi termini.

Però.

Questi computer che costavano intorno ai 12.

000 euro iniziano ad avere un loro senso se i modelli migliorano ancora.

e in locale si riescono a fare cose che online non si possono fare senza ovviamente dei baratti.

Quindi sicuramente

Se oggi quello che ci sto raccontando è frontiera e probabilmente interessa a poche persone, sono argomenti che però devono essere approfonditi, io lo faccio proprio in quest'ottica qui.

Perché, secondo me, il futuro va in questa direzione.

E sicuramente, già con questi trucchi, diciamo, e con queste novità sia tecnologiche che di ottimizzazione, mettiamole in questi termini.

Mac da costi non eccessivi mettiamola così perché ormai 32, anzi addirittura credo i Mac Pro hanno 48 GB di RAM a livello base, mettiamola così.

iniziano ad essere strumenti molto interessanti e su cui si possono fare cose decisamente potenti.

Bene, come al solito siamo arrivati alla fine della puntata.

Se ti piaciuto quel che hai ascoltato, ti propongo di iscriverti.

alla mia newsletter ogni mese mando una mail con link ad articoli che ho trovato interessanti avviso dei nuovi podcast dei nuovi articoli degli eventuali nuovi video

e spesso volentieri faccio un commento a livello mensile sulle cose che sto facendo quindi ti tengo aggiornato sui miei esperimenti adesso il podcast è in zona

Molto limitrofa a quello che sto facendo, quindi c'è meno gap, ma confido a stretto Gio di recuperare insomma un po' di terreno e quindi di registrare il podcast.

a circa un mese di distanza dalla sua pubblicazione.

Trovi sempre come sempre le note dell'episodio all'indirizzo http.

S2.

slash slash www.

avvocati mac.

it slash podcast slash 76 che è il numero di questa puntata.

Come sempre ci sentiamo alla prossima.

Oh