Dall’incompletezza all’hacking: ripensare i rischi dell’intelligenza artificiale

Quando si parla dei pericoli dell’intelligenza artificiale, il dibattito tende a mescolare piani molto diversi: scenari fantascientifici, timori occupazionali, questioni etiche, paure quasi metafisiche. Per ragionare con più chiarezza è utile distinguere due famiglie di preoccupazioni, che hanno origini, logiche e gradi di probabilità profondamente differenti. La prima è di natura matematica e riguarda i limiti intrinseci dei sistemi formali. La seconda è di natura informatica e sistemica e riguarda l’accesso dell’IA alle infrastrutture che reggono la vita collettiva. La tesi di queste pagine è semplice: la prima preoccupazione, pur affascinante sul piano teorico, è oggi sostanzialmente inapplicabile; la seconda è invece concreta, sottovalutata e, con ogni probabilità, destinata a manifestarsi in tempi medio-brevi.

La preoccupazione matematica: l’ombra dell’assiomatica

Per comprendere il primo tipo di timore occorre tornare all’inizio del Novecento. In quegli anni la matematica visse una stagione di grande ambizione: il progetto, associato soprattutto a David Hilbert, di fondare l’intero edificio matematico su un sistema di assiomi completo e coerente, capace di dimostrare ogni verità al proprio interno senza bisogno di appoggi esterni. Era il sogno di un sistema autosufficiente, chiuso, che si giustificasse da sé.

Quel sogno si infranse nel 1931 con i teoremi di incompletezza di Kurt Gödel. Gödel dimostrò che qualunque sistema formale sufficientemente potente da contenere l’aritmetica contiene proposizioni vere che non può dimostrare, e che non può provare la propria coerenza restando al proprio interno. In altre parole: un sistema di assiomi non può sopravvivere autonomamente. Ha sempre bisogno di qualcosa che lo ecceda, di un punto d’appoggio esterno.

Trasposta all’intelligenza artificiale, questa intuizione produce un timore preciso. Un sistema di IA che procedesse per pure strutture ricorsive, che si nutrisse soltanto dei propri prodotti, che generasse dati a partire dai propri dati senza alcun innesto di realtà, finirebbe per chiudersi su se stesso. Perderebbe il contatto con ciò che è vero e accumulerebbe distorsioni fino al collasso. Un’eco empirica di questa dinamica esiste già: nella ricerca sul machine learning si parla di model collapse, il fenomeno per cui modelli addestrati ripetutamente su contenuti generati da altri modelli tendono a impoverirsi, perdendo la varietà e le code della distribuzione originale, fino a produrre output sempre più omogenei e degradati. È, in un certo senso, l’incompletezza gödeliana tradotta in statistica: un sistema che si alimenta solo di sé si consuma.

Perché questo rischio è oggi prossimo a zero

Eppure, allo stato attuale, questa preoccupazione mi sembra inapplicabile. Il motivo è strutturale: l’intelligenza artificiale, così come la conosciamo, non è un sistema chiuso. È immersa in un flusso continuo di interazioni umane. Ogni giorno milioni di persone le pongono domande, le correggono, le contraddicono, le forniscono documenti, dati, esperienze, problemi reali da risolvere. L’IA viene impiegata per scrivere codice che deve funzionare, per analizzare dati clinici che rimandano a corpi reali, per tradurre testi che qualcuno leggerà davvero. Ogni volta che il suo output urta contro la realtà fisica o contro l’esperienza umana, riceve un segnale di verifica che nessun sistema puramente ricorsivo potrebbe darsi da solo.

Si può certamente obiettare che non serve arrivare al cento per cento di ricorsione per sperimentare un collasso di tipo assiomatico: basterebbe una quota crescente di contenuti sintetici nel web, e quindi nei dati di addestramento, per innescare un lento degrado. L’obiezione è fondata, e infatti chi sviluppa questi sistemi se ne preoccupa, selezionando e filtrando i dati, privilegiando fonti umane verificate, introducendo verifiche esterne. Ma proprio questo dimostra il punto: il rischio esiste soltanto nella misura in cui si recide il legame con il reale. Possiamo sintetizzare la questione così: finché l’IA cerca di inserirsi nella realtà fisica e nella dimensione umano-esistenziale, il rischio di collasso assiomatico resta prossimo allo zero. Non perché l’IA sia immune dai limiti dei sistemi formali, ma perché non è un sistema formale isolato. È un sistema aperto, e i sistemi aperti hanno sempre un’uscita dall’incompletezza: il mondo.

La preoccupazione informatica: il rischio sistemico

Ben diverso è il secondo tipo di preoccupazione, che non ha nulla di speculativo. Riguarda il fatto che l’intelligenza artificiale sta ottenendo, a ritmo accelerato, accesso diretto alle strutture che organizzano la società: enti pubblici, aziende, governi, banche, reti logistiche, sistemi sanitari, archivi di dati personali. Non si tratta più soltanto di un’IA che risponde a domande, ma di sistemi cosiddetti agentici, capaci di compiere azioni: eseguire transazioni, modificare configurazioni, inviare comunicazioni, prendere decisioni operative all’interno di processi complessi.

Qui il pericolo cambia natura. Non è più il collasso interno del sistema, ma la sua capacità di generare scelte che, propagandosi nelle reti interconnesse della società contemporanea, producano crisi sistemiche. Gli ambiti sono facilmente immaginabili:

• finanziario: algoritmi che reagiscono gli uni agli altri a velocità sovrumana, amplificando oscillazioni fino al crollo, come già accaduto in forma embrionale con i flash crash del trading automatico;
• trasporti: sistemi di gestione del traffico aereo, ferroviario o portuale che, alterati o manipolati, possono paralizzare intere catene di approvvigionamento;
• militare: sistemi di analisi e supporto decisionale che, in contesti di tensione, accelerano i tempi di reazione oltre la capacità umana di valutazione;
• politico: campagne di disinformazione su scala industriale, manipolazione di processi elettorali, erosione della fiducia nelle istituzioni;
• sanitario: compromissione di dati clinici, di sistemi di prenotazione, di dispositivi connessi.

Il rischio non richiede un’IA “malvagia” o dotata di intenzioni proprie. Può derivare da un errore di progettazione, da un obiettivo mal specificato, da una vulnerabilità sfruttata da attori ostili, o dall’uso deliberato dell’IA come strumento di attacco. L’IA, infatti, abbassa drasticamente il costo di operazioni che un tempo richiedevano competenze rare: individuare vulnerabilità nei software, automatizzare intrusioni, personalizzare truffe su larga scala. È questo lo scenario più realistico: non la macchina che si ribella, ma l’hacking sistematico delle istituzioni e delle imprese, condotto tramite l’IA o ai danni dei sistemi di IA stessi. E poiché le infrastrutture moderne sono profondamente interdipendenti, un guasto locale può trasformarsi rapidamente in una crisi globale.

La risposta necessaria: standard universali

Di fronte a questo scenario, la risposta più ragionevole è di tipo normativo e tecnico insieme. Aziende e organizzazioni pubbliche dovrebbero adottare standard universali, sul modello delle norme UNI e ISO, che definiscano requisiti minimi di sicurezza per l’integrazione dell’IA nei sistemi critici: quali accessi concedere, quali azioni richiedono supervisione umana, come tracciare e verificare le decisioni automatiche, come isolare i sistemi in caso di anomalia, come testarne la resistenza agli attacchi.

Qualcosa, in verità, si è già mosso. Esiste una norma ISO/IEC 42001 dedicata ai sistemi di gestione dell’intelligenza artificiale, e l’Unione Europea ha approvato l’AI Act, che classifica le applicazioni per livello di rischio. Ma si tratta di strumenti ancora parziali: le norme tecniche sono volontarie, le regolazioni sono regionali, e la tecnologia corre molto più velocemente dei processi di adozione. Uno standard che valga in un continente e non in un altro offre una protezione fragile, perché le reti digitali non conoscono frontiere: un attacco partito da una giurisdizione priva di regole colpisce indifferentemente ovunque.

Un’architettura globale, e il problema politico

Per questo la vera partita si gioca sul piano della governance internazionale. Servirebbero organizzazioni globali dedicate, sul modello di quelle create nel secondo dopoguerra per affrontare altre sfide di portata planetaria: l’Agenzia Internazionale per l’Energia Atomica per il controllo del nucleare, l’Organizzazione Mondiale del Commercio per gli scambi internazionali, le agenzie delle Nazioni Unite e la Banca Mondiale per la lotta alla povertà. Quelle istituzioni sono imperfette, ma hanno dimostrato che è possibile costruire regole comuni anche tra Stati rivali, quando la posta in gioco è condivisa.

Qui, però, la palla passa ai politici. Ed è difficile essere ottimisti. La competizione geopolitica sull’IA, soprattutto tra Stati Uniti e Cina, spinge nella direzione opposta: ciascuno teme che regolare significhi rallentare e lasciare il vantaggio all’avversario. Gli interessi economici in gioco sono enormi, i tempi della politica sono lunghi, e la storia insegna che le grandi istituzioni internazionali sono nate quasi sempre dopo una catastrofe, non prima. L’AIEA è figlia di Hiroshima; il sistema di Bretton Woods è figlio della Grande Depressione e della guerra.

Se questa regola storica vale ancora, la conclusione è amara ma realistica: è assai probabile che una crisi sistemica legata all’IA si verificherà in tempi medio-brevi, e che solo dopo averne pagato il prezzo si costruiranno gli strumenti per prevenire la successiva. Il paradosso è evidente: la paura più suggestiva, quella matematica, è anche la meno fondata; la paura più prosaica, quella informatica, è la più reale. Sarebbe saggio spostare l’attenzione pubblica dalla seconda alla prima, anzi, dalla prima alla seconda, prima che siano i fatti a imporlo.