In Breve
- Cosa è Jalapeño?
- Jalapeño è un chip per inference sviluppato da OpenAI, progettato per migliorare le prestazioni energetiche.
- Quando è previsto il lancio di Jalapeño?
- Il primo dispiegamento è previsto entro la fine del 2026, con una distribuzione più ampia nel 2027.
- Quali sono i vantaggi di Jalapeño rispetto ai concorrenti?
- Jalapeño offre un numero maggiore di token per utente e una maggiore throughput per kilowatt rispetto ai chip attuali.
Durante la conferenza Hot Chips, OpenAI ha svelato Jalapeño, un chip innovativo progettato per migliorare le prestazioni nell’inference. I risultati preliminari dei benchmark condotti su InferenceX di Semianalysis mostrano che Jalapeño offre un numero maggiore di token per utente e una throughput per kilowatt superiore rispetto ai processori di inference attualmente considerati all’avanguardia.
Il confronto è stato effettuato con un sistema Nvidia Blackwell, ma OpenAI avverte che la concorrenza potrebbe evolversi prima della piena distribuzione del prodotto. Jalapeño è stato sviluppato in stretta collaborazione con Broadcom e integra i modelli di OpenAI nel processo di progettazione, con l’obiettivo di creare una piattaforma multigenerazionale in grado di coordinare chip, memoria e modelli.
L’architettura del chip è stata progettata per ridurre i ritardi nelle fasi di prefill e comunicazione, che rappresentano spesso colli di bottiglia durante l’inference. Come spiegato nel comunicato aziendale, “Abbiamo progettato Jalapeño per minimizzare il movimento dei dati e i ritardi di comunicazione”. Questo approccio consente di allocare e mantenere localmente lo stato del modello, inclusa la KV cache utilizzata durante la generazione delle risposte, mentre il sistema attiva la combinazione adeguata di calcolo, memoria e rete per ciascuna fase di inference.
Richard Ho, responsabile hardware di OpenAI, ha dichiarato: “I risultati mostrano un avanzamento delle prestazioni molto significativo rispetto allo stato dell’arte. Jalapeño può gestire un maggior carico di lavoro AI per unità di energia, restituendo risposte più rapidamente. È molto efficiente nel servire un gran numero di clienti, mantenendo anche una bassa latenza”.
OpenAI prevede un primo dispiegamento in volumi ridotti entro la fine del 2026, con una distribuzione più significativa attesa per il 2027. Questo sviluppo rappresenta un passo importante nel campo dell’intelligenza artificiale, promettendo di migliorare notevolmente l’efficienza e la velocità dei servizi AI.
