Piccole soddisfazioni. In un thread di Facebook che non riesco più a trovare, dedicato al problema dei chatbot che passano problemi ed esami normalmente ostici per gli umani, ho teorizzato che bisognerebbe rivedere (e tenere aggiornati) esami e prove in modo che siano ostici per i chatbot e così l’umano debba ricorrere alla propria conoscenza.

Mi è stato risposto che era qualcosa di praticamente impossibile.

Ora leggo che la prestigiosa (per altri famigerata) William Lowell Putnam Mathematical Competition ha creato un set di 236 problemi contenenti un set di variazioni funzionali. Detto semplice da loro:

Mediante l’alterazione programmatica di elementi dei problemi come variabili e costanti, possiamo generare in numero illimitato problemi sempre nuovi e ugualmente sfidanti, non disponibili online.

Il risultato è che i chatbot, già piuttosto a disagio con i problemi originali, quando incontrano una variazione non presente online (che quindi difficilmente è entrata nel loro database di addestramento) subiscono una importante riduzione nella precisione.

Praticamente impossibile? Forse; di Putnam ce n’è una sola. Ma evidentemente fattibile.