Wordfreq era una iniziativa open source di ricerca sullo scritto umano, che usava il traffico sul web per analizzare il tipo e la frequenza delle parole usate, basata su una libreria Python.

Era, perché la libreria continua ovviamente a funzionare ma raccoglie dati di nessun interesse e così il corpus di dati raccolti su oltre quaranta lingue non verrà più aggiornato.

Il motivo: il web si è riempito di testi prodotti dagli assistenti generativi, che inquinano gravemente il risultato delle analisi.

Il web è pieno di slop generato dai grandi modelli linguistici, scritto da nessuno per comunicare niente. Inserire questo slop nei dati altera le frequenze delle parole.

C’è sempre stato spam nelle fonti di dati per wordfreq, ma era gestibile e spesso identificabile. I grandi modelli linguistici generano testo che si maschera da linguaggio autentico con uno scopo, anche se lo scopo non c’è, e spunta da tutte le parti.

Da un punto di vista culturale, si tratta di un danno incommensurabile. Il linguaggio sul web non è più umano, sostituito dal prodotto di macchine che non sono intelligenti.

Se avessimo in atto la singolarità di Ray Kurzweil e il web si fosse popolato di messaggi scritti da creature artificiali senzienti, anche più di noi, si tratterebbe di un’occasione formidabile, mai accaduta prima nella storia, capace di rivoluzionare le scienze umane oltre ogni immaginazione.

Invece sono accrocchi acefali che scimmiottano il linguaggio umano senza alcuna nozione del perché.

Non resta che aspettare che il disastro assuma proporzioni rilevanti al punto da compromettere il training dei nuovi modelli e così colpire i responsabili primi nel portafogli. D’altronde, che i modelli avrebbero finito per imparare da sé stessi, era stato previsto veramente da chiunque dotato di un microgrammo di buonsenso. Ma nessuno ha il coraggio di fermare la valanga di fango, che frutta tanti soldi.

Ognuno di noi ha a questo punto la responsabilità di usare gli strumenti in modo onesto e sobrio, per contenere quanto possibile il degrado. Tra gli assistenti generativi e i de-generati che si ostinano a restare umani vinceranno questi ultimi, dopo molto dolore purtroppo. Facciamo il meglio che possiamo.