Nel corso della GTC 2023, NVIDIA ha presentato una nuova scheda video AI: si chiama H100 NVL, ed è studiata appositamente per i grandi modelli di elaborazione del linguaggio naturale, insomma come ChatGPT di OpenAI. La sua caratteristica chiave è la memoria video (HMB3e) a bordo: parliamo di ben 94 GB. La scheda è in realtà doppia, grazie al protocollo NVLink (donde la sigla NVL nel nome). La memoria video totale ammonta quindi di fatto a 188 GB.

NVIDIA dice che quattro di queste schede in un singolo server possono offrire prestazioni dieci volte superiori a quelle di un tradizionale server DGX A100 con 8 GPU. La società dice inoltre che la scheda è in grado di elaborare in tempo reale oltre 175 miliardi di parametri di ChatGPT, e che le H100 NVL possono operare anche in parallelo, e che sono in sviluppo sistemi in grado di ospitare due e quattro coppie di schede.

H100 NVL è una variante della H100 regolare, e la GPU, basata sull’architettura Hopper, è identica - ci sono “solo 14 GB di memoria in più”. Ognuna delle due schede richiede il proprio slot PCIe 5.0. Vista la particolare modalità operativa, possiamo dire che la potenza di H100 NVL è doppia rispetto alla H100: si parla quindi di 1.979 TFLOPS in FP32 tensor core, o 68 TFLOPS in FP32 “normali” con cui si classificano anche le schede video più generaliste. Naturalmente qui aumenta il bus di memoria, a 6.144 bit, per una banda totale di 7,8 GB/s.

Contestualmente, NVIDIA ha lanciato anche la scheda L4 con GPU ad architettura Ada Lovelace, l’erede della T4 (Turing) indirizzata all’elaborazione di audio e video su cloud. Verrà impiegata per esempio da Google per le sue VM di prossima generazione per servizi AI come Descript; ha un form factor a basso profilo e riceve alimentazione solo dallo slot PCIe, non ne richiede di aggiuntiva.