// TOM'S HARDWARE ITALIA — INTELLIGENZA ARTIFICIALE
NVIDIA e Cerebras vantano record AI lontani dall'uso reale
NVIDIA ha annunciato che i rack Groq-3 LPX sono entrati in produzione, accompagnando il debutto con un risultato di 3.400 token al secondo sul modello Gemma 4 31B. La prestazione, ottenuta con un input da 100.000 token, sarebbe quattro volte superiore a quella della piattaforma rivale presa come riferimento. Cerebras ha replicato presentando dati quasi equivalenti per i propri acceleratori di nuova generazione, attesi a fine anno.
I numeri non sono falsi e possono essere riprodotti nelle medesime condizioni, ma descrivono una configurazione poco rappresentativa dei servizi commerciali. Entrambe le dimostrazioni sembrano infatti basarsi su un batch size 1: il sistema genera token per una sola richiesta alla volta, assegnandole tutte le risorse disponibili. Un operatore di inferenza deve invece servire numerosi utenti contemporaneamente, bilanciando latenza, capacità e costo.
Le architetture impiegate da NVIDIA e Cerebras privilegiano grandi quantità di SRAM vicine alle unità di calcolo. La banda elevata permette di alimentare rapidamente gli acceleratori durante la fase di generazione, spingendo verso l'alto la velocità per singolo utente. La stessa memoria, tuttavia, è meno capiente rispetto alle soluzioni esterne normalmente adottate dalle GPU e limita il numero di richieste che possono essere mantenute in esecuzione.
Il caso di Gemma 4 31B mostra con chiarezza il vincolo. Alla precisione di 8 bit, i pesi richiedono circa 31 GB: considerando i 500 MB disponibili su ogni acceleratore, servono approssimativamente 64 unità solo per caricare il modello. Una sequenza di input da 100.000 token aggiunge poi circa 8 GB di KV cache. Su un rack con 256 LPU, la stima porta a un batch massimo di circa 12 sequenze prima di esaurire la memoria.
Il rack CS-4 di Cerebras adotta tre acceleratori WSE-3T con 44 GB di SRAM ciascuno, per un totale di 132 GB. Il margine disponibile è superiore, ma il risultato pratico rimane simile: anche questa configurazione arriverebbe a circa 12 sequenze da 100.000 token. Non è un limite della potenza di calcolo; per aumentare il batch occorre aggiungere rack, accorciare i prompt o modificare la distribuzione del carico.
Un chatbot con richieste asincrone e finestre di contesto più contenute potrebbe servire molti più utenti rispetto a questa simulazione semplificata. Il throughput aggregato, il consumo energetico e il costo per token diventano quindi più indicativi della velocità assegnata a una singola sessione. È lo stesso equilibrio infrastrutturale affrontato nel potenziamento dello storage NVIDIA destinato ai carichi AI, dove la prestazione di un componente deve tradursi nella capacità dell'intero sistema.
I 3.400 token al secondo rappresentano dunque la velocità massima raggiungibile, non quella che gli utenti vedranno necessariamente in produzione. Le piattaforme con molta SRAM possono risultare particolarmente efficaci come acceleratori dedicati alla fase di decode, affiancati da altri sistemi per il prefill e la gestione del contesto. Il confronto decisivo sarà sulla capacità di mantenere una bassa latenza con molte richieste simultanee, senza moltiplicare rack, consumi e costi.
Aggiungi Tom's Hardware alle tue fonti preferite su Google