Dice MisterAkko, il quale se ne intende, ci lavora, ci fa lavorare sviluppatori, che su un odierno Mac Studio con M5 Ultra e Ram massimizzata a cinquecentododici gigabyte di Ram si può fare girare in locale la versione di mezzo di GLM e che, per avere in locale la versione full, servirebbero ottocentosessanta giga.

Dico io, da semplice utilizzatore e curioso che a livello di implementazione si è fermato all’esplorazione, che a fine duemilaventisette (probabilità tipo cinquanta percento) o a fine duemilaventotto (probabilità tipo ottanta percento) avremo un Mac Studio (o succedaneo equivalente) con un terabyte di Ram, capace di operare in locale con un LLM open-weight a piena potenza, senza più alcuna dipendenza fissa da un motore remoto.

All’oggi, si può dire che un Mac Studio è la macchina ideale per fare cose significative con gli LLM in locale. E un Mac mini è la macchina, ragionevolmente economica, per avvicinarsi a questo risultato.

Ci sono altri sistemi venduti da Nvidia e altri, ma per affidabilità ed esperienza di utilizzo, nonché probabilmente di esperienza complessiva di utilizzo, non ci sono alternative vere e massicce a Mac.

Questo dovrebbe dire molto rispetto ai risultati della strategia di Apple di controllare in proprio la produzione dei suoi processori e avere la massima integrazione tra hardware e software.

Un Mac Studio con un tera di Ram, tra uno o due anni, costerà quasi come un SUV ed evidentemente non sarà accessibile a chiunque, tutt’altro. Neanche Apple però può fare miracoli.

C’è invece un’ultima domanda da porsi, interessante: che cosa succederà, nel momento in cui la Ram per fare funzionare gli LLM sarà dentro le macchine singole, a chi oggi sta facendo incetta di Ram per datacenter che, in prospettiva, perderanno un numero consistente di collegamenti.