Nei commenti del blogghino si conduce una interessante discussione sulle capacità emergenti degli Llm.

Mi è sovvenuto di avere scritto qualcosa nel luglio di due anni fa, con riferimento a un documento che avevo potuto leggere e definiva capacità emergente qualcosa che non si vede nei motori piccoli, ma appunto emerge in quelli grandi.

In un elenco di centotrentasette abilità emergenti comparivano, tra l’altro, le seguenti:

Conoscenza dell’hindu
Storie strane
Frasi inclusive in tedesco
Comprensione dello sport
Identificazione dell’ironia
Riconoscimento di parole in ASCII
Comprensione di metafore
Proverbi russi in inglese
Individuazione di fallacie logiche
Domande di fisica
Comprensione delle fiabe
Verifica di fatti sulle vitamine

Mi domandavo e continuo a domandarmi di che cosa si stia parlando. Se un chatbot comprende l’hindu, è stato addestrato con parole hindu e allora mi sembra la cosa più naturale del mondo (che poi non è comprensione ma generazione di testo su base stocastica ma lasciamo stare).

Se un chatbot non è stato addestrato con parole in hindu e comprende l’hindu, siamo di fronte a un fatto sconvolgente per la storia dell’umanità, in primo grado; in secondo grado gli chiederei come ha fatto a conoscere l’hindu e scoprirei la ricetta dell’intelligenza digitale o giù di lì.

Che nessuna delle due situazioni si sia verificata, a mia conoscenza, mi lascia nel dubbio che le capacità emergenti siano tali per gli addestratori che non si sono accorti di tutto quello che buttavano nel modello. Attendo repliche.