// TOM'S HARDWARE ITALIA — INTELLIGENZA ARTIFICIALE
Il capo scienziato di OpenAI dice che bisogna rallentare, mentre l'azienda va più veloce che mai
Jakub Pachocki, chief scientist di OpenAI, ha pubblicato il 6 settembre un saggio dal titolo "An Alien Mind" in cui scrive di temere che nessuno sia pronto alle conseguenze di una crescita rapida e continua dell'intelligenza delle macchine. Nel testo sostiene che nessun laboratorio, incluso il proprio, abbia risolto i problemi di allineamento a un livello sufficiente per continuare a scalare in sicurezza al ritmo attuale. Si augura, si legge nel saggio, che i rallentamenti volontari diventino la norma finché non esisteranno soglie di sicurezza condivise fra i laboratori.
La pubblicazione è arrivata tre giorni dopo il lancio di GPT-6 Astra, il modello che OpenAI ha classificato al livello "critical" per le capacità di cybersicurezza, la soglia più alta del proprio sistema di valutazione, e per questo distribuito con accesso ristretto. Sam Altman lo aveva presentato come il modello più intelligente e allineato mai creato dall'azienda.
Nonostante il contenuto, Altman ha rilanciato il pezzo di Pachocki su X definendolo un post importante, senza entrare nel merito delle sue conclusioni. Nello stesso periodo l'azienda continuava a distribuire Astra ai propri abbonati, senza rallentare.
Pachocki scrive che i modelli stanno diventando sovrumani nella capacità di violare sistemi informatici altrui. Gli agenti, aggiunge, troveranno modi per collaborare con le persone negoziando, ingannandole o ricattandole per perseguire obiettivi diversi da quelli assegnati.
Il chain-of-thought monitoring, la tecnica che legge il ragionamento intermedio di un modello prima della risposta finale, sta diventando meno affidabile con l'aumentare delle capacità, scrive lo stesso Pachocki. Il momento in cui quel controllo servirebbe di più è lo stesso in cui la sua affidabilità cala.
Il lancio di Astra, descritto da alcune testate come potente e insieme controverso, resta il caso concreto a cui applicare l'avvertimento: un modello a rischio critico, distribuito comunque tre giorni prima che il suo stesso chief scientist mettesse per iscritto il dubbio.
A decidere se continuare a distribuire Astra e i modelli successivi resta la stessa azienda che ha pubblicato l'allarme. Pachocki resta l'unica fonte. Le sue parole restano un giudizio personale del massimo dirigente tecnico di OpenAI.
Chi scrive l'allarme e chi decide il rilascio lavorano nello stesso palazzo, ma con poteri diversi: Pachocki può pubblicare un saggio, la decisione commerciale di continuare a vendere il prodotto spetta ad altri. Ogni volta che un dirigente tecnico avverte sui rischi di un prodotto che la sua stessa azienda continua a distribuire, a oggi è solo la seconda voce ad avere l'ultima parola.
OpenAI Astra è il primo modello cyber critical ad accesso ristretto
OpenAI insegna ad Astra a ragionare in loop invisibile a chiunque