Benvenuto benvenuta,
io sono Filippo Astrozzi e stai ascoltando Avvocati Mac Compendium.
Compendium è un podcast in cui parlo delle mie esperienze quotidiane con la tecnologia,
in particolare con quella Apple.
Questa è la puntata 52 nella quale parlerò delle novità in arrivo con Apple Intelligence in italiano e dei miei esperimenti con la cosiddetta RAG agentica.
Ma prima,
sigla!
Il primo argomento di questa puntata,
che sarà un po' più variegata,
mettiamolo in questi termini,
è sul ritardo e i miei test sulla versione italiana,
in uscita breve,
di Apple Intelligence.
Teoricamente Apple Intelligence dovrebbe uscire ad aprile,
probabilmente tu ascolterai questa puntata ad aprile,
quindi ci sono giusto.
Io sto registrando oggi,
il 12 di marzo,
e ho testato il tutto su delle beta,
ovviamente.
Quindi ho aggiornato il mio iPhone 16 con Apple Intelligence alla 18 iOS 18.4 e il MacStudio a Sequoia 15.4.
A questo punto ho potuto effettivamente fare un po' di test su quello che,
chiamiamolo così,
ci aspetta,
o ti aspetta,
con le novità di Apple Intelligence in italiano.
Fino ad ora,
infatti,
non era possibile utilizzare Apple Intelligence sui dispositivi,
diciamo,
europei / italiani.
Devo dire la verità,
le mie prime impressioni sono abbastanza conformi,
diciamo,
a quello che avevo immaginato e forse avevo già detto in scorse puntate.
Allora,
la cosa da segnalare di più,
diciamo,
è che sull'iPhone 16,
utilizzando soprattutto le Gemmoji,
quindi la generazione d'immagine con intelligenza artificiale,
se lo fai ovviamente per due,
tre,
quattro,
cinque volte con l'immagine,
l'iPhone inizia a scaldarsi significativamente e il consumo della batteria,
devo dire la verità,
io non ne ho mai parlato qui,
ma devo dire la verità,
per l'utilizzo che sto facendo io dell'iPhone 16,
devo dire che i risultati a livello di batteria sono eccezionali.
Io oggettivamente uso poco il telefono,
in particolare l'iPhone,
però la batteria non scende sotto il 25% di consumo,
quindi mi rimane intorno sempre al 75% durante tutto l'arco della giornata o consumi relativamente ridotti.
Un discorso a parte,
però,
è quando si inizia a giocare con l'intelligenza artificiale,
lì,
soprattutto l'intelligenza artificiale per generare immagini,
lì effettivamente si sente di più e si sente anche perché l'iPhone si scalda visibilmente,
anzi sensibilmente,
devo dire la verità.
Per quanto riguarda invece il MacStudio,
ovviamente non ho notato particolari segnali,
ma il MacStudio ha ampie capacità di gestire tutto,
pur essendo un MacStudio M1,
quindi ormai con qualche anno alle spalle.
Diciamo che il giudizio complessivo che posso dare è di Apple Intelligence in italiano,
chiamiamolo così,
è carino ma abbastanza inutile.
Carino perché secondo me,
appunto,
certe funzioni di scrittura sono utili per l'utente medio,
cioè l'utente che non è abitato a scrivere.
Allora sì,
le revisioni del testo,
mettiamolo in questi termini,
quindi a rendere per esempio un'e-mail più professionale,
rendere un'e-mail più amichevole,
quindi il testo di un'e-mail,
possono essere strumenti abbastanza utili ma sicuramente per un professionista che dovrebbe essere abituato diciamo a scrivere quotidianamente,
quindi aveva una certa capacità in quello che fa,
diciamo è abbastanza inutile nella sua struttura.
La cosa forse più carina,
anche se ovviamente dipende molto dal testo che si gli si dà in pasto,
è la possibilità di estrapolare delle tabelle dal testo,
quindi se ci sono argomenti,
o comunque se è un testo che diciamo parla di cose e si può potenzialmente,
se tutto il sistema funziona bene,
strutturarle in una tabella.
Devo dire la verità,
non mi aspettavo molto,
è effettivamente quello che è,
probabilmente per l'utente medio,
però queste funzioni possono essere interessanti e devo dire la verità,
a prescindere dal fatto che,
appunto,
ci sono tutta una serie di problemi che sono emersi in questo periodo mentre sto registrando,
cioè a marzo del 2025.
Devo dire la verità,
secondo me l'approccio che ha utilizzato Apple,
molto conservativo da una parte,
ma dall'altro molto utile per chi non è avvezza all'utilizzo di intelligenza artificiale,
secondo me è abbastanza azzeccato.
Le gemmoji e poi conseguentemente anche le emoji modificate o generate dall'intelligenza artificiale.
Le gemmoji sono un giochino divertente perché effettivamente sono un modo abbastanza semplice,
mettiamoli in questi termini,
per generare immagini cartoon.
Devo dire la verità,
le immagini che vengono,
secondo me,
meglio sono quelle proprio cartoon,
stile pixar disney,
mettiamole in questi termini.
Le altre,
disegni e così via,
almeno io personalmente,
ho fatto le prove con me stesso,
mettiamole in questi termini.
Mentre per le immagini cartoon ho trovato delle somiglianze,
e anche se non è sempre perfetto,
è divertente,
mettiamole in questi termini.
Per le immagini più pittoriche,
il risultato è,
dal mio punto di vista,
abbastanza mediocre,
ma probabilmente anche lì dipende molto,
sia dalle foto che gli ho dato io,
sia anche dalla base di gestione,
mettiamole in questi termini.
Una cosa,
diciamo,
che ho notato,
ma questo probabilmente è perché io nel mentre sto giocando con strumenti molto più avanzati di quelli di apple intelligence,
è che se si va a vedere sostanzialmente l'immagine nel dettaglio,
quindi la sia ampia rispetto a quella che è la grandezza normale,
ecco,
allora qui si vedono tutti i difetti tipici delle immagini generate con l'AI,
e devo dire la verità,
personalmente mi ha lasciato un po' esterefatto che apple abbia scelto questo livello di compromesso,
perché spesso e volentieri,
non so,
i denti si vede che non sono fatti correttamente,
il solito problema delle mani nella generazione,
questo è tipico dell'intelligenza artificiale,
non so,
le pupille degli occhi,
se le vai a vedere a modo,
non sono vere pupille,
ma sono delle cose sfocate,
anche un po' strane,
quindi se si va a vedere nel dettaglio l'immagine,
spesso e volentieri,
l'immagine è di scassissima qualità.
Nel complesso l'immagine stessa funziona bene,
diciamo,
se la vedi da lontano,
ma non funziona bene se vai a guardare nel dettaglio.
Esistono sistemi,
recentemente,
non ne ho mai parlato,
anche perché credo di averne parlato solo con la amica Roberto Marin,
recentemente ho iniziato anche a giocare con la creazione di immagini con l'intelligenza artificiale e devo dire la verità,
si possono ottenere,
ho visto ottenere,
perché io oggettivamente ho ottenuto risultati interessanti,
ma non così interessanti,
mettiamola così,
però ho visto fare cose molto molto molto interessanti,
risultati professionali,
da quello che posso dire io,
ma anche potenzialmente su Mac,
perché tutto quello che ho testato,
l'ho testato sul MacStudio,
ma bisogna utilizzare degli strumenti più avanzati,
tendenzialmente su Mac si può utilizzare o di Fusion B,
che è quello più semplice,
o Confi UI,
che è quello meno semplice,
ma diciamo che permette di fare cose molto molto interessanti.
Con questi sistemi si riesce veramente a fare delle immagini di livello elevato,
in particolare utilizzando oltre a Stable Diffusion,
che è quello più generale diciamo,
ma meno interessante,
Flux è sicuramente il modello attualmente che fa cose incredibili a livello di immagini.
Apple Intelligent non ha tutte queste cose,
anzi i modelli,
io li ho confrontati ovviamente sul MacStudio,
mettiamole in questi termini,
ma i modelli di Apple caricano veramente poco rispetto alla potenza del MacStudio,
capisco benissimo che ovviamente Apple ha generato questi modelli perché funzionino ovviamente per tutti i loro dispositivi,
ma devo dire la verità,
sono rimasto abbastanza deluso,
anche se non mi aspettavo molto.
L'ultima considerazione da fare sui modelli di Apple perché qui appunto ho avuto un confronto con l'amico Roberto Marin,
occupano decisamente molto spazio,
o meglio anche lì,
dipende dai punti di vista,
ma sull'iPhone rispetto a un'occupazione del sistema operativo di circa 11 gigabyte,
considera che l'iPhone 16 e il Pro hanno come taglio minimo il 128 gigabyte,
però rispetto agli 11,
che quindi comunque sono una buona già quota dello spazio,
un 10 per cento dello spazio,
si arriva intorno ai 18,
per ovviamente avere a disposizione,
perché i modelli vanno caricati ovviamente sul sistema operativo e così via.
Veniamo alla news,
che poi mi ha fatto anche preparare questo piccolo pezzo nella scaletta,
che sono le funzioni sostanzialmente interessanti di Apple Intelligence,
che non usciranno a breve.
Nella particolarità,
è una notizia recentemente al registo,
cioè inizio marzo,
però Siri più intelligente e l'interfaccia con l'intelligenza artificiale con le applicazioni di iOS e anche di macOS è in ritardo.
Poi lo inserirò nella nota dell'episodio un articolo di Federico Viticci,
che fa tutta una serie di considerazioni.
Devo dire la verità,
la mia considerazione specifica è che,
oggettivamente,
per ottenere dei buoni risultati con l'intelligenza artificiale è complesso e soprattutto è complesso gestirli in maniera sicura,
come presumo voglia fare Apple.
Questo ci sta,
però su questo fronte Apple ci sta facendo decisamente una brutta figura,
più che altro perché queste funzioni erano state annunciate al WWDC del 2024.
Siamo a sostanzialmente un anno di distanza,
queste funzioni non sono presenti e non saranno presenti pare a breve.
Tra l'altro,
sempre in questo periodo,
esce Alexa Intelligente e quindi effettivamente a livello di marketing c'è stato probabilmente un doppio errore da parte di Apple.
Secondo me tra l'altro il problema più grosso,
i problemi più significativi sono i dispositivi mobili.
Infatti,
anche ormai i Mac entry-level hanno comunque dei chip,
gli ultimi sono gli M3 e gli M4,
decisamente potenti,
mentre per un iPhone 16 è decisamente meno capace,
secondo me,
di gestire l'intelligenza artificiale di di alto livello,
chiamiamoli in questi termini,
sia per una questione di RAM e quindi di poter dedicare parte della RAM del sistema operativo all'intelligenza artificiale e ai modelli che sono necessari.
Devo dire la verità,
andando a livelli più elevati,
dalla mia esperienza personale sono molto soddisfatto ovviamente di quello che fa il mio MacStudio M1 con 32GB di RAM,
ma per le attività complesse anche questo Mac,
che comunque non è un Mac normale,
mettiamolo in questi termini,
fa fatica e per fare operazioni complesse richiede svariati minuti di lavoro delle GPU e così via.
Pur essendo un'ottima macchina,
ma è una macchina che oggettivamente,
a prescindere dal fatto che io l'ho comprata e usata,
sicuramente non è una macchina che per tutti,
mettiamola in questi termini,
e già avere 32GB di RAM su un Mac è qualcosa di inusuale.
Quindi sicuramente Apple ha sbagliato varie cose,
probabilmente ha fatto da una parte il marketing in parte sbagliato,
dall'altra credo invece abbia centrato abbastanza bene il fatto che offrire alle masse,
mettiamola in questi termini,
dell'intelligenza artificiale chiamiamola così stupida,
nel senso sciocchina,
mettiamola in questi termini,
ma probabilmente che è più interessante mettiamola così per tante persone,
piuttosto che un'intelligenza artificiale molto verticale,
che probabilmente è molto più efficace,
ma che comunque richiederebbe condizioni e capacità,
esperienze più complicate.
Poi vedrai a breve,
o avrai la possibilità,
se ovviamente ai nuovi sistemi operativi,
ai nuovi soprattutto dispositivi,
perché anche qui Apple Intelligence sostanzialmente sui dispositivi mobili è possibile avercela solo col 15 Pro credo,
il 16 e il 16 Pro,
quindi comunque anche con pochi modelli oggettivamente rimane.
Mentre Apple Intelligence su Mac,
diciamo su un parco macchine relativamente recente,
parliamo degli M1,
hanno già almeno 4-5 anni,
quindi iniziano ad esserci Mac relativamente non recentissimi già con gli M1,
lì secondo me si possono fare cose interessanti,
ma anche lì il mio consiglio personale,
almeno da smanettore quali sono,
è quello di non utilizzare gli strumenti Apple o comunque non limitarsi a utilizzare gli strumenti solo Apple,
ma utilizzare appieno la possibilità di questi dispositivi e quindi utilizzare Ollama piuttosto che altre soluzioni molto molto interessanti.
Cambiando argomento,
invece ti voglio parlare brevemente di alcune cose che ho fatto recentemente di alcuni modelli,
soprattutto che ho utilizzato di recente,
che sono QWQ a 32 billion di parametri,
quindi a 32 miliardi di parametri,
e OpenSync sempre a 32 milioni di parametri.
Questi modelli io li ho utilizzati quantizzati a 4 bit,
quindi una versione media mettiamola in questi termini,
devo dire la verità funzionano relativamente bene e senza troppi problemi sul MacStudio M1 con 32 giga di ram.
Diciamo che su macchine con meno ram fanno fatica a girare e girare bene.
La particolarità diciamo di questi due modelli è che sono modelli che "pensano",
nel senso che utilizzano prima di darti la risposta una catena di pensiero,
una catena sostanzialmente di ragionamenti precedenti alla risposta,
che però grazie a questo sistema diciamo danno delle risposte più centrate e soprattutto,
quello che ho notato io,
se la domanda cioè il prompt non è particolarmente efficace,
mettiamola in questi termini,
cioè non è molto dettagliato e chiaro,
ragionando appunto sulla domanda fatta dall'utente solitamente,
dico solitamente,
ottengono dei risultati migliori a livello di risposta.
Il primo modello è stato creato da Alibaba e sostanzialmente la cosa interessante è che dai benchmark,
mettiamolo in questi termini,
rivaleggia con DeepSeek R1 di dimensioni invece decisamente più grosse,
cioè quello effettivo,
da 670 mila milioni di parametri.
L'OpenSync invece è una cosa interessante perché praticamente
hanno utilizzato appunto DeepSeek R1 per generare questo
sistema che è un po' più centrato e che pur essendo piccolo,
mettiamolo in questi termini,
ragiona piuttosto bene.
Altra cosa che segnalo per chi fosse interessato,
diciamo questo un po' più tecnico,
ma nella sostanza con il mio MacStudio M1 sono riuscito a far gerare,
a tenere in ram tutti e due questi modelli,
ma soprattutto a farli funzionare con una finestra di contesto tra i 9.000 e i 10.000 token.
Questo cosa significa?
Significa che effettivamente si riescono a fare cose interessanti,
almeno dal mio punto di vista,
perché si riescono a dare dei prompt abbastanza complessi,
nel senso che per rag o per altri,
o per prompt complessi,
mettiamolo in questi termini,
dove casomai prima si passano testi piuttosto lunghi,
i sistemi reggono e quindi riescono a utilizzare come base dati,
chiamiamolo in questi termini,
un prompt relativamente ben fatto.
Ovviamente questi modelli hanno avuto un training minimo sull'italiano,
non parlano malissimo in italiano,
ma non lo parlano neanche benissimo,
in particolare qwq,
che oggettivamente è inglese cinese,
perché appunto Alibaba è un'azienda cinese,
per cui a volte è meglio farli rispondere in inglese e poi il trucco che utilizzo io,
per esempio,
è quello di chiedere la risposta appunto in inglese,
ma poi farla tradurre in italiano da "mistral small",
che invece gira anche questo molto bene sul MacStudio e che ha un ottimo italiano,
chiamiamolo così,
perché poi Mistral abitualmente,
essendo una azienda francese,
utilizza non solo appunto l'inglese e poche altre lingue,
ma solitamente ha anche abbastanza,
un buon archivio di materiali in italiano e,
dal mio punto di vista,
tutti gli LLM di Mistral sono,
per quello che ho visto io,
quelli che parlano,
chiamiamolo così,
in italiano meglio.
Bene,
concludo la puntata,
ma non è ancora conclusa perché la parte più ciccia,
diciamo,
di questa puntata sono gli esperimenti che ho fatto recentemente con la cosiddetta RAG agentica o "agentic rag".
Allora,
innanzitutto bisogna fare alcune premesse.
Diciamo che questo argomento e gli approfondimenti che ho fatto sono nati a seguito,
sostanzialmente,
di un video che ho visto,
che troverai ovviamente il link in descrizione.
L'autore sta costruendo un workflow,
quindi un flusso di lavoro avanzato in N8n,
di cui ho parlato in puntata precedente,
appunto per avere una agentic RAG.
La cosa interessante è che ha creato un sistema per interagire in modo locale con i documenti,
quindi non è solo un'istanza di N8n nuda e cruda,
e non è semplicemente un workflow di N8n,
ma ha creato,
sostanzialmente,
sulla base di uno stack,
diciamo,
creato dai creatori di N8n,
ha aggiunto,
diciamo,
dei pezzi,
mettiamoli in questi termini,
in particolare un database vettoriale che funziona anche con SQL.
Non sto a raccontarti nel dettaglio tutte queste sigle e cosa fanno,
ma questo permette di avere in locale tutta una serie di funzioni molto avanzate e molto specializzate e,
soprattutto,
la cosa carina è che il sistema,
con le dovute accortezze,
diciamo,
è relativamente semplice da installare su qualsiasi macchina,
visto che è dockerizzato,
quindi si può installare un po' come se fosse un'applicazione,
prendila con le pinze,
nel senso che c'è tutto il discorso di docker e così via,
però c'è tutta una serie di configurazioni,
una minore necessità di configurazioni e,
appunto,
avendo già dei workflow,
chiamiamoli così,
preinstallati,
pronti,
la cosa interessante è che è possibile crescere su questi workflow di base.
Adesso,
però,
prima di entrare nel vivo e perché mi interessa tutta questa cosa,
ti devo spiegare alcune cose.
Innanzitutto,
che cos'è un agente?
Diciamo,
l'agente è qualcosa di più di un semplice LLM e,
sostanzialmente,
è il futuro,
o comunque quello che tutte le grosse case e aziende che lavorano con gli LLM si stanno direzionando verso.
Diciamo che,
mentre l'LLM,
cioè Large Language Model,
è uno strumento linguistico,
sostanzialmente,
di autocompletamento e che permette di interfacciarsi,
diciamo,
con computer in modo lessicale,
spiegando,
parlando con la macchina,
diciamo,
gli agenti sono programmi,
in sostanza,
strumenti per risolvere un compito che utilizzano l'LLM come interfaccia,
in pratica.
Nel video dell'autore,
infatti,
mostra varie possibilità da lui implementate per gestire,
attraverso diversi flussi dell'agente,
diciamo,
alcune cose.
Per esempio,
elencazione dei documenti caricati,
una RAG vera e propria.
Anche qui,
dopo ti spiego che cos'è la RAG per sicurezza.
La ricerca dei dati in un foglio di calcolo,
cosa che,
abitualmente,
un LLM farebbe notevolmente fatica a fare perché lavorerebbe solo sulla finestra del contesto e,
quindi,
probabilmente non riuscirebbe ad avere i dati,
ma in questa maniera,
utilizzando appunto degli agenti specifici e pensati per questo specifico compito,
riesce appunto a estrapolare dati da un foglio di calcolo.
In questa maniera si riesce a unire RAG e agenti.
Allora,
di RAG te ne ho parlato nella puntata 50,
sostanzialmente,
ma giusto per rendere le cose abbastanza chiare,
la RAG è sostanzialmente un modo per fare allucinare di meno e per,
appunto,
permettere agli LLM di conoscere cose,
diciamo,
nuove,
mettiamole in questi termini.
Spesso e volentieri si utilizza la RAG dicendo che ti permette di chattare con i tuoi documenti.
Nella realtà dei fatti cosa succede?
In pratica i documenti,
pezzi di documenti,
vengono passati al prompt della domanda e,
in questa maniera,
siccome,
appunto,
l'LLM è un sistema di autocompletamento,
sostanzialmente,
avendo nel prompt,
in pratica,
già una parte della risposta,
riesce a generare una risposta che è più vera e corretta in termini generale.
La RAG agentica,
come la chiamo io,
permette di fare qualcosa di più,
cioè l'LLM non solo può,
appunto,
estrapolare dati da documenti pertinenti e,
caso mai,
non fanno parte della base dati su cui è stato fatto il training dell'LLM,
ma addirittura permette,
in maniera autonoma,
in base al materiale che ha trovato,
di cercare altre cose e quindi di rispondere con una RAG,
ma con,
appunto,
elementi che possono essere non solo estrapolati da,
appunto,
chunk,
da pezzi del documento,
ma anche da altre situazioni.
Nel caso dell'autore che ha fatto questo flusso di lavoro,
appunto,
può fare una ricerca all'interno di,
appunto,
un foglio di calcolo,
estrapolare i dati rilevanti,
sostanzialmente,
addirittura a fare dei conti,
questo qui non lo fa l'LLM,
ma lo fa,
appunto,
il programmino,
mettiamo così,
nel caso specifico,
la query sql che serve e,
appunto,
restituirti,
per esempio,
valore medio di un'azione piuttosto che un'informazione specifica contenuta,
appunto,
nel foglio di calcolo,
quindi nel database.
Ne ho già parlato,
quindi andrò veloce,
ma il workflow è già pronto e preparato dall'autore.
In particolare,
la cosa interessante di questo sistema è che utilizza SuperBase.
SuperBase è un database vettoriale e,
ovviamente,
il workflow che mi interessava molto era quello che mi permetteva,
e che permette sostanzialmente,
di utilizzare Ollama sia come LLM,
sia per fare gli embedding,
quindi per convertire,
diciamo,
il testo in vettori,
i documenti in vettori,
e lavorare,
ovviamente,
tutto in locale.
Quindi,
sostanzialmente,
io posso,
appunto,
utilizzarlo per il mio lavoro ad avvocato,
proprio perché tutti i dati che vengono passati a LLM sono direttamente sul mio computer e nulla va fuori.
Una considerazione molto importante,
che spesso non viene fatto,
è che se tu utilizzi ChargePT o i suoi emuli per,
chiamiamoli così,
chattare con dei documenti,
questi documenti per forza di cose devono essere non solo inviati ai server di OpenAI e così via,
ma per poter,
appunto,
chattare occorre convertirli in vettori,
quindi fare l'embedding e quindi,
sostanzialmente,
anche se i documenti,
casomai,
con un flusso di lavoro tipo questo,
diciamo,
ma che utilizza come l'API di OpenAI,
i pezzi di documenti che vengono convertiti in vettori devono essere,
comunque,
inviati ad OpenAI e,
quindi,
non solo le domande a risposta vengono tutte tracciate,
ma anche tutti i documenti,
pur lavorando,
tra virgolette,
con i documenti locali,
cioè senza averli caricati direttamente su OpenWebUI.
La cosa di questo flusso di lavoro che mi interessava molto era la possibilità,
ovviamente,
di convertire i pdf in maniera piuttosto semplice in testo,
però,
siccome sto giocando con vari strumenti che mi permettono di convertire i pdf in Markdown in maniera più efficiente,
ho provato e ho giocato per tutto il weekend scorso per creare,
sostanzialmente,
un sotto-workflow,
quindi un sub-workflow,
come lo chiamano in n8n,
per passare il primer pdf che viene caricato o da una cartella o da una via ftp,
sostanzialmente,
fare tutta la conversione con Docklink e poi,
appunto,
farlo mangiare,
diciamo,
al database vettoriale.
Cos'è Docklink?
Docklink è un convertitore di vari formati di documenti,
pdf,
docx,
anche file di powerpoint,
in Markdown e questo perché,
l'ho detto nella puntata 50,
gli llm lavorano bene con il Markdown,
che è sostanzialmente un formato di testo semplice con del markup,
in pratica,
e quindi il sistema è molto efficace.
Il problema qual è?
Il problema era che Docklink è un'applicazione che si può installare,
diciamo,
a righe di comando,
quindi può funzionare a righe di comando sul computer o attraverso,
in parte,
api utilizzando python.
appunto,
anche se il mio amico Roberto Alma mi flagella ogni volta che ne lo dico,
non amo sporcarmi troppo le mani col codice e anzi,
appunto,
la piattaforma come dn8n mi permette,
diciamo,
di creare dei flussi di lavoro in maniera simile a comandi rapidi,
quindi shortcut,
perché appunto ha dei cubetti che si uniscono l'uno con l'altro e posso creare,
appunto,
dei flussi di lavoro anche relativamente complicati.
Su n8n sto ancora iniziando a padroneggiare,
diciamo,
questo sistema,
ma quello che mi interessava a questo punto era trovare,
e devo dire la verità,
l'ho trovato,
un API,
cioè un modo per interfacciarmi ad Docklink,
con delle chiamate http.
Questo perché n8n permette di collegarsi,
appunto,
a svariate tipologie di pagine web,
soprattutto quelle più avanzate come l'API,
che sono in pratica dei sistemi per poter dialogare con un server remoto via web.
Quindi,
già che c'ero,
appunto,
ho tirato su un container,
appunto,
con le API di Docklink e ho trovato un progetto già pronto che permetteva,
appunto,
di convertire i file in markdown.
Il problema che mi sono reso conto facendo tutte queste operazioni è che Docklink,
per fare tutte queste conversioni e tutti i prodotti similari,
richiedono molte risorse.
Quindi ho scoperto che le migliori performance,
sostanzialmente,
e neanche tanto stranamente,
si ottengono lavorando direttamente sul mio MacStudio.
Il problema è che a questo punto,
e ci ho messo del tempo a capire tutte queste cose,
non posso utilizzare questo sistema di API perché,
in pratica,
il più grosso difetto,
diciamo,
dei Mac per quanto riguarda intelligenza artificiale e utilizzo delle GPU è che,
attualmente,
via docker non è possibile fare il cosiddetto passthrough,
cioè passare le risorse della GPU all'interno dei programmi che girano all'interno dei container.
Questo,
normalmente,
è possibile farlo sull'architettura Linux,
ma sui chiparm,
o almeno attualmente sui chiparm di Apple,
non è possibile farlo.
Quindi anche qui c'è,
appunto,
un ulteriore problema,
anche se c'è un modo,
chiamiamolo così,
per risolvere tutti questi inghippi,
mettiamola in questi termini,
devo fare tutta una serie di lavori vari ed eventuali per poter,
in pratica,
utilizzare a pieno le potenzialità,
appunto,
del sistema.
Anche perché,
se no,
effettivamente,
avevo fatto tutto quello che ti sto raccontando,
sostanzialmente l'ho fatto con dei container sul mio iMac 27 pollici,
da cui sto registrando in questo momento,
e ho notato,
effettivamente,
delle grosse difficoltà del sistema.
Dai miei primi test ho usato,
sbagliando,
dei documenti che avevo già a disposizione.
Nella sostanza,
forse lo saprai se hai ascoltato le precedenti puntate del podcast,
recentemente ho fatto tutta una serie di ricerche per un corso,
per la scuola,
su GDPR e altro.
Quindi avevo anche proprio il GDPR vero e proprio,
ho convertito il GDPR in Markdown utilizzando Docklink.
Ho fatto vari test,
però ho notato una cosa abbastanza inquietante,
ma corretta,
da un certo punto di vista,
cioè che la RAG agentica con N8n,
diciamo,
non è super performante su ricerche,
diciamo,
relativamente semplici,
cioè su RAG relativamente semplici.
Infatti,
praticamente,
la RAG agentica ha un suo "perché",
mettiamola così,
nel momento in cui ho effettivamente documenti molto differenti,
informazioni sparse,
appunto,
in più contesti e con maggiore necessità.
Quindi dove,
in pratica,
la gente ha una sua ragione d'essere,
perché si trova a dover affrontare territori diversi e quindi approcci,
in pratica,
per reperire al dato,
mettiamoli in questi termini,
differenti.
Per esempio,
per fare delle domande sul GDPR,
mi sono reso conto che una semplicissima RAG,
utilizzando Open Web UI,
era maggiormente performante,
perché alla fine faceva solo quello.
La RAG agentica,
l'altro,
chiamiamola così,
difetto,
che è un pregio,
ovviamente,
se utilizzata correttamente,
è che richiede molto tempo,
perché non fai una domanda secca all'LNM,
lui va a recuperare,
diciamo,
i pezzi di testo che sembrano essere più pertinenti e poi ti dà la risposta.
No,
la RAG agentica è più complicata,
ragiona,
il sistema sostanzialmente procede a fare un ragionamento,
quindi dice "devo fare questo,
questo e quest'altro",
fa le ipotesi che ha creato,
diciamo,
e quindi appunto la gente proprio,
è una parola scorretta,
"utilizzare pensiero",
ma diciamo si utilizza e funziona molto bene con questi LNM,
con la catena di pensiero,
sostanzialmente,
proprio per questo motivo,
perché l'LNM fa un ragionamento,
in questi termini,
si dà uno scopo,
si dà una serie di attività da svolgere,
una volta che le ha svolte,
una volta che sa cosa deve svolgere,
può demandare il singolo compito,
diciamo,
allo specifico tool che è a disposizione dell'agente,
quindi anche qui,
per esempio,
avrebbe molto più senso e diciamo che è quello che cercherò di fare,
se ne avrò le capacità,
diciamo che alcuni pezzi sono riuscito già a crearli o a farli funzionare in parte,
dare per esempio a questi strumenti,
se hai per esempio necessità di informazioni,
per esempio,
tutta la normativa sul GDPR,
quello è sicuramente utilissimo,
perché in questa maniera il LNM conosce,
tra virgolette,
il GDPR e quindi riesce a rispondere anche relativamente bene.
La domanda che avevo fatto,
secondo me,
era cosa fare quando si ha un data breach e effettivamente andando,
diciamo,
a pescare,
sia considerando sia nella normativa del GDPR,
il sistema è riuscito a darmi delle risposte abbastanza azzeccate,
non clamorose,
ma abbastanza azzeccate,
utilizzando solo appunto il testo del GDPR.
Però,
per esempio,
una cosa molto utile che potrebbe potrebbe venire comodo,
anche in questo specifico frangente,
è quello di poter interrogare internet e quindi andare a fare ricerche online.
Ecco,
quello che sto iniziando a fare con questi strumenti,
quindi di unire appunto sia l'informazione,
quindi come testo documentale,
sia l'informazione presente casomai online,
sia l'informazione presente in altri formati,
quindi la possibilità di interrogare un database,
per esempio,
la possibilità appunto di estrapporare dati da tabelle.
Tutto questo,
diciamo,
può diventare uno strumento molto avanzato per ottenere effettivamente dei risultati complessi e pertinenti,
ma anche qui tutto dipende,
come al solito,
dalla base dati che si deve andare a interrogare,
che si deve andare a scoprire,
mettiamolo in questi termini.
Sicuramente,
appunto,
e te ne ho voluto parlare proprio per questo motivo,
sicuramente questi strumenti sono gli strumenti del futuro,
sono strumenti complessi che appunto anch'io non ho ancora,
non padroneggio minimamente bene,
ma appunto credo che sia importante andare in questa direzione e imparare a utilizzare questi strumenti proprio per questo motivo.
N8n,
dal mio punto di vista,
infatti,
è molto utile proprio perché mi permette di poter creare dei piccoli programmini,
diciamo,
che sfruttino da una parte l'intelligenza artificiale,
ma che dall'altra,
appunto,
anche si interfacciano con documenti e con altri sistemi che sono sostanzialmente fondamentali per fare tutte queste cose.
Bene,
siamo arrivati in fondo,
quindi,
come sempre,
se ti è piaciuto quel che hai ascoltato,
ti propongo di iscriverti alla mia newsletter.
Ogni mese scrivo una mail,
sostanzialmente,
dove ti porto i link ad articoli che ho trovato interessanti e che ho catturato,
che ho elencato nel corso del mese.
Ti avviserò,
ovviamente,
di nuovi podcast quando escono,
dei nuovi articoli e,
eventualmente,
dei nuovi video che ci sto lavorando.
Non si vede,
ma ci sto lavorando sotto.
Come sempre,
trovi le note all'episodio all'indirizzo https://www.avocati-e-mac.it/podcast/52 che il numero della puntata.
Come sempre,
ci sentiamo.
Alla prossima!