Sto elaborando il nuovo paper di Krakauer, Krakauer & Mitchell sull’emergenza negli LLM insieme al recente lavoro di Michael Levin su ingressing mind e c’è molto da digerire. Entrambi stanno affrontando la questione di dove viene l’ordine nei sistemi intelligenti, ed entrambi rifiutano la pigra conflazione tra accumulo di conoscenza e intelligenza.

La memorabile formulazione di Krakauer — “l’intelligenza è fare di più con meno” — non riguarda solo l’efficienza. Riguarda sistemi che scoprono schemi di compressione così potenti da rivelare qualcosa di fondamentale sulla struttura della realtà. Quando descrive la vera emergenza come qualcosa che richiede “coarse-graining che produce descrizioni nuove e più parsimoniose”, potrebbe indicare la stessa intuizione che Levin articola: che certi pattern hanno una realtà indipendente dalla loro istanziazione fisica.

Il paper di Krakauer stabilisce criteri chiari per l’emergenza genuina: riorganizzazione interna, rottura delle leggi di scaling, basi nuove che permettono descrizioni radicalmente semplificate. Sono giustamente scettici sugli LLM, vedendoli come sistemi massivi di knowledge-in che accumulano capacità attraverso la forza bruta invece di scoprire principi eleganti. Come dice Krakauer altrove, sono “programmazione davvero di merda” che ha bisogno di enormi quantità di linguaggio naturale per raggiungere obiettivi che un sistema veramente intelligente potrebbe raggiungere attraverso l’intuizione.

Pattern spaziali ricchi che emergono da semi matematici Figura 6 dal paper di Levin: (A) Un campione di mappa di Halley di una funzione breve nei numeri complessi come z³+7. (B-D) Pattern “biomorfi” che emergono da altre funzioni nei numeri complessi.