Per oggi disponiamo di un racconto edificante che ci rammenta i limiti e le possibilità dell’odierna sedicente intelligenza artificiale, legato all’ambiente di NetHack, uno dei più affascinanti ed enigmatici roguelike in circolazione.
E insomma questi due ricercatori lavorano all’addestramento di una rete neurale capace di giocare a NetHack con qualche profitto (non è banale). Solo che succede qualcosa e la rete neurale perde improvvisamente efficacia e punteggi.
So here's a story of, by far, the weirdest bug I've encountered in my CS career.
— Bartłomiej Cupiał (@CupiaBart) May 24, 2024
Along with @maciejwolczyk we've been training a neural network that learns how to play NetHack, an old roguelike game, that looks like in the screenshot. Recenlty, something unexpected happened. pic.twitter.com/AFTgRm1gtv
Provano, riprovano, ripristinano, reinstallano, riconfigurano, rivedono, testano, indagano ma nulla, le prestazioni della rete neurale continuano a risultare appannate.
Fino che, in modo completamente fortuito, appare la soluzione. NetHack tiene conto delle fasi lunari e, quando c’è la luna piena, il gioco modifica leggermente una serie di parametri interni.
I ricercatori ignoravano questo dettaglio (non li biasimo; lo ignoravo anch’io). Più importante, nell’addestramento della rete neurale mancava questo dato. La rete neurale non sapeva di dover diventare mannara.
Il sistema giocava senza sapere che la luna piena cambia le cose in NetHack.
Quello che è fuori dal modello di addestramento rimane fuori dalla comprensione del mondo da parte della rete neurale.
Le reti neurali (compresi i grandi LLM, da ChatGPT in avanti) possono stare sedute su terabyte di dati. Tuttavia mancherà sempre qualcosa che è rimasto fuori dai dati, è rimasto fuori dalla conoscenza e mai verrà appreso salvo intervento umano.