Uno dei settori in cui la mani del momento può effettivamente tornare anche molto utile è la consultazione della documentazione. Se le cose sono fatte con criterio e i dati vengono passati al modello in modo ordinato e preciso, i risultati possono essere buoni.

Hackacad ha pubblicato un tutorial su come dare la documentazione di FreeBSD in pasto a Ollama (uno dei motori open source tecnicamente più accessibili).

Per essere materiale riguardante installazione e configurazione di un LLM, il procedimento è lineare e sembra veloce. Ci sono da installare alcune dipendenze ma sembra tutto abbastanza tranquillo. Interessante è il fatto che il tutorial sia scritto su Apple Silicon e macOS, per via del supporto della GPU. Apple Silicon è stata concepita con dello sguardo verso il futuro prossimo, evidentemente. In ogni caso, dicono gli autori, dovrebbe funzionare anche su altri sistemi operativi.

La cosa più interessante di tutte è che il risultato può essere fatto funzionare in locale. Ho qualche dubbio sui requisiti effettivi di Ram nel momento in cui si cercasse di attivare una consultazione in italiano. Secondo me, con sedici gigabyte di Ram e pretese ragionevoli si può ottenere un riscontro accettabile in inglese (parliamo dopotutto della documentazione di un sistema operativo Unix open source diverso da Linux). Non velocissimo, certo, ma usabile sì.