Nel giro di pochi giorni, due figure chiave della sicurezza dei modelli in Anthropic hanno lasciato l’azienda con dichiarazioni che meritano più attenzione tecnica di quanta ne stiano ricevendo. Jacob Coxon, ex ricercatore, ha scritto su X che i sistemi di intelligenza artificiale potrebbero presto diventare abbastanza potenti da auto-migliorarsi in modo ricorsivo, violare sistemi informatici in autonomia e accumulare un livello di potere difficile da arginare. Mrinank Sharma, che guidava il team Safeguards Research — quello responsabile delle difese contro l’uso improprio dei modelli — si è dimesso con parole ancora più dirette: “il mondo è in pericolo”.
Per chi lavora nel settore, la distinzione tra questi due ruoli non è un dettaglio. Coxon si occupava di ricerca sulla sicurezza a monte, sugli scenari di rischio esistenziale a lungo termine. Sharma dirigeva l’implementazione pratica delle difese — i meccanismi che dovrebbero impedire, oggi, che un modello venga usato per sintetizzare un patogeno o scrivere codice malevolo su scala. Quando è quest’ultimo, non il teorico, a dire che il mondo è in pericolo, il segnale ha un peso diverso: non è un allarme accademico sul futuro remoto, è un giudizio operativo su cosa sta accadendo adesso, dentro l’azienda che si è costruita l’intera identità pubblica sulla sicurezza come priorità numero uno.
Le ragioni che Sharma ha dato per l’addio meritano di essere lette per intero, non riassunte in uno slogan. Ha parlato di un’azienda spinta dalla necessità di raccogliere miliardi di dollari a fare compromessi crescenti: collaborazioni con il Dipartimento della Difesa americano, con Palantir, l’accettazione di investimenti da regimi non esattamente democratici, un sostegno pubblico a Donald Trump che stride con la retorica fondativa dell’azienda. È il classico problema di allineamento tra incentivi economici e missione dichiarata — solo che qui non riguarda un algoritmo, riguarda l’organizzazione che quell’algoritmo lo costruisce.
Sul piano tecnico, vale la pena spiegare perché lo scenario che Coxon descrive non è fantascienza da tenere a distanza. Un sistema capace di auto-miglioramento ricorsivo — che riscrive parti del proprio addestramento o della propria architettura in modo più efficace di quanto farebbe un team umano — è esattamente il meccanismo alla base di ogni previsione seria sull'”intelligence explosion”: una volta che un sistema supera la soglia in cui può migliorare se stesso più velocemente di quanto gli umani possano supervisionarlo, il controllo umano smette di essere garantito per definizione, non per un errore di progettazione specifico. Evan Hubinger, altro ricercatore Anthropic, ha confermato che lo scenario è plausibile, stimando però una probabilità sotto il 10% nei prossimi dieci anni — una cifra che, su un rischio di questa portata, è tutt’altro che rassicurante.
Il paradosso di fondo è strutturale, non aneddotico: negli Stati Uniti la regolamentazione dell’IA resta quasi interamente affidata all’autoregolamentazione delle stesse aziende che competono a costruire i sistemi più potenti possibile nel minor tempo possibile. A luglio quasi 1.400 addetti ai lavori del settore avevano firmato una lettera aperta chiedendo regole più severe; il responsabile scientifico di OpenAI, Jakub Pachocki, ha ammesso pubblicamente che le capacità dei modelli crescono più in fretta della capacità dei ricercatori di monitorarle in modo affidabile. Quando chi costruisce il prodotto lascia l’azienda dicendo che il mondo è in pericolo, e lo fa non una volta ma due nello stesso mese, il problema non è più se prendere sul serio l’allarme. È perché, ancora, nessuno stia facendo abbastanza per rispondervi.
di MR Lutzen