Economia e mercato 05 Mag
Lo scorso mese di aprile sono comparsi i primi dettagli sulle intenzioni di Microsoft in ambito intelligenza artificiale, e in questo caso si parla di hardware. Pare che il colosso di Redmond voglia ridurre la dipendenza da Nvidia per quanto riguarda i chip AI dedicati, lavorando a una propria generazione nascosta sotto il nome di Project Athena.
Il rapporto non confermato a opera di The Information affermava che Microsoft sta sviluppando un suo processore per alimentare i server di intelligenza artificiale generativa, ma ora ne è emerso un altro che sostiene che Microsoft non lavorerà da sola. A quanto pare c'è una collaborazione in corso con AMD per sviluppare un chip AI.
Ne ha parlato per la prima volta Bloomberg, che basandosi su fonti anonime sostiene che Microsoft sta fornendo supporto finanziario ad AMD per entrare nel mercato dei chip AI. A sua volta, secondo quanto riferito, AMD sta assistendo Microsoft nella realizzazione del processore interno Athena AI. Non si conosce la portata dell'operazione e nemmeno lo stato di avanzamento, ma la fonte parla di diverse centinaia di persone impegnate sul progetto di sviluppo.
Al momento AMD e Microsoft si sono guardate bene dal confermare la notizia, ma il gran numero di dettagli offerti dalla fonte non può far pensare che qualcosa di vero ci sia.
Se tutto si rivelasse corretto, avremmo la certezza che anche AMD stia cercando di sottrarre quote di mercato a NVIDIA nel campo dell'intelligenza artificiale, dove da sempre l'azienda domina. Allo stato attuale, ad esempio, sono i processori come l'H100 a fornire la potenza necessaria ai server che alimentano Bing Chat di Microsoft e altri servizi di intelligenza artificiale.
Microsoft e AMD sono vecchi amici quando si tratta di partnership hardware, pensiamo ad esempio ai chip AMD personalizzati che sono stati all'interno delle console Xbox One, Xbox Series S e Xbox Series X.
Commenti
Si è nato anche per sostituire quello.
Ultimamente hanno annunciato Vulkan Video, per supportare anche l'acceleratore hardware per codec audio video. Diciamo che ora lo sforzo è concentrato su gaming e codifica(ha un bel potenziale).
Però è un linguaggio di livello più basso, permette di compilare in un codice intermedio e quindi puoi farci potenzialmente molte cose
Sul fatto che debbano esserci grosse aziende alle spalle non ci sono dubbi(d'altronde non è così anche per le GPU? Forse anche di più).
Le soluzioni proprietarie proposte sono le TPU e i vari modelli ARM.
Per il resto si, le GPU sono tremendamente versatili, e a dir la verità stanno sempre più sovrapponendosi alle CPU anche in ambiti che prima non erano previsti
si ok, su questo siamo d'accordo.
Si ma ti sto dicendo che se tu fai un acceleratore con la relu in hardware e poi, come è capitato per esempio con i transformer, la relu non la usi più, hai sprecato silicio.
E questo è uno dei tanti esempi in cui hai problemi con hardware "ottimizzato". Anche le stesse TPU erano molto difficili da usare e debuggare se usavi modelli "non standard".
relu in hw la fai con un comparatore. non serve chissaché. leaky relu o altre variante della relu seguono lo stesso concetto, al massimo moltiplichi per una costante. tanh e varianti c'è il cordic e varianti, ma tanto anche lì sono valori fissi in memoria. per la sigmoid è uguale.
E' pieno di acceleratori che la ReLU in hardware, peccato che sui transformer ormai si usi altro. Banalmente anche lato consumer come quelli nella NPU di M1.
va beh non è sempre così, quelli basati su systolic array hanno una buona riutilizzabilità. specialmente con parti riprogrammabili.
poi sul transformer non mi sono mai interessato ad acceleratori, nvidia sull'H100 li ha ma i dettagli non li so (naturalmente, fanno parte di ciò che è secretato).
sulle attivazioni, considera che non ho più visto implementare funzioni complicate con sistemi di calcolo precisi, tipo per la tanh ci sarebbero strutture, ma chi le usa più? si finisce col salvare delle costanti moltiplicative e far fare un giro di moltiplicazioni in più.
Non hai capito: la maggior parte degli acceleratori ha in mente un certo tipo di modelli quando vengono progettati, ma siccome ogni anno o due anni ne escono di nuovi e profondamente diversi, è probabile che i "vecchi" chip non performino affatto bene. Basta che cambi la funzione di attivazione (a volte integrata in hardware), per far diventare inutile un pezzo di silicio.
I transformer sono l'esempio migliore di ciò.
Ed è per questo che è molto più difficile lavorare con acceleratori specifici che con GPU, e alla fine tutti continuano a usare GPU NVIDIA dopo ormai anni e anni che vari tipi di acceleratori sono stati messi sul mercato.
non è per un problema architetturale quello, basta vedere qualche paper su acceleratori semplici per rendersi conto che l'ottimizzazione a quel livello è più che possibile, il vero ed unico problema semmai è l'ottimizzazione degli accessi in memoria e i compilatori per la traduzione. due problemi che hanno anche le gpu, ma per i quali nvidia fa già ottimizzazione da anni e aggiungere qualche caso per la gestione di qualche nuova sequenza di operazioni è più che naturale (basta vedere per esempio le ottimizzazioni dell'H100 sui transformer per l'appunto).
non so sai se sia una follia, avevo visto tempo fa una conferenza in cui c'era chi elogiava il lavoro di nvidia a "mappare" correttamente il software sulle proprie GPU, ora, questi stessi dicevano che per leziosità hanno provato a fare lo stesso usando i generici loop su tre livelli, spostando la memoria a mano ecc, con però risultati estremamente negativi. allora lì si capisce bene che quei risultati con cuda nvidia li ottiene con una caratterizzazione che a tradurre da cuda a vulcan non ci sarebbe stata a meno di non fare allo stesso modo una precisa caratterizzazione, che tanto stanno facendo con ROCm, ed è lì il punto, è lì che costa!
meglio tardi che mai!
La parte in cui dice che stanno cercando di sottrarre mercato ad NVIDIA.
Un chip dedicato a una manciata di server non sottrae nulla, nvidia passerà (forse, ma proprio forse) dal 95% al 94% di mercato.
Per sottrarle mercato ci vuole ben altro.
scusa ma credo che il succo della notizia sostenga esattamente l'opposto: in questo caso chi fa il SW si fa fare l'HW ad hoc. Quale ottimizzazione maggiore ci può essere? Probabilmente alcune parti saranno scritte direttamente in assembly...
infatti. una domanda, quindi vulkan oltre a sostituire openGL sostituisce anche openCL ? nzomma "one api to rule them all" ?
PS comunque da utente linux visto il supporto dato da AMD dopo decenni nvidia ho fatto il passaggio ed è bellissimo avere il supporto upstream completo
Come azienda più ricca del mondo, in un futuro medio-lungo, ho pochi dubbi su SpaceX. Non appena l'interesse per l'estrazione mineraria diventa tangibile ed iniziano ad essere disponibili i veicoli automatizzati. Quelli hanno il monopolio assoluto della logistica spaziale e continueranno ad averla.
?? Chiunque faccia ML usa solo Linux+NVIDIA.
Non sono le più ottimizzato, il punto è che su una GPU puoi far girare di tutto con pochissimo sforzo mentre su un acceleratore ottimizzato se vai fuori dal seminato o il modello non gira o gira con prestazioni pessime. Tralasciando che una GPU è un processore general purpose e quindi ci puoi far girare l'intera pipeline invece del solo modello DL.
E visto che i modelli DL cambiano più o meno ogni 6 mesi, questo è un vantaggio immenso.
Motivo per cui anche AMD e Intel puntano sulle GPU (anche se intel ha i Gaudi).
Ed è il motivo per cui la gran parte delle alternative si è rivelata fallimentare tranne soluzioni estreme stile cerebras o che avessero colossi alle spalle, tipo le TPU (che comunque rappresentano una parte insignificante del mercato).
La concorrenza non c'è sia perchè Nvidia fa bene il suo lavoro sia perchè molti utenti del settore gpu snobbano da anni AMD a prescindere non permettendogli una facile risalita.
Quel produttore non ci arriva al 95% (il market share in ambito compute è del 95%, non 70) se gli altri fanno qualcosa di interessante, cosa che non è successa per 10 anni.
Tra l'altro DirectML c'entra ben poco in questo discorso, e semmai parliamo di OpenCL, non OpenGL.
L'unico motivo per cui NVIDIA ha dominato è perchè ha prodotto una soluzione ottima e ha fatto scelte intelligenti (tipo rilasciare CUDA per tutte le GPU invece che per 3 modelli da 15 mila dollari), AMD dormiva ed è stata di una lentezza esasperante, Intel ha provato varie soluzioni fallimentari, tipo Xeon Phi e solo ora sta provano a rimettersi in carreggiata (meglio tardi che mai).
Se MS, FB & co. avessero iniziato qualche anno fa quello che per esempio ha fatto OpenAI con triton, forse le cose non sarebbero come sono ora.
Le architetture GPU non sono neanche le migliori per AI. Esistono già soluzioni molto più avanzate e c'è da capire come Nvidia è messa in questo campo.
Per il resto per i prossimi 10 anni avranno il dominio assoluto del mercato
Standard terzo che però non può imporre a Nvidia di utilizzarlo, quindi di fatto se Nvidia decide di non supportarlo o di supportarlo con i piedi, considerando che intel ha un micromercato e amd non può da solo fare tutto ecco che poco si può fare.
La speranza poteva essere Linux, peccato che anche lì Nvidia ha fatto di tutto per sabotare e AMD è arrivata in ritardo ed in maniera confusa.
Basta guardare il lavoro che ha fatto una sola persona, di RedHat, indipendentemente per supportare OpenCL.
In 6 mesi ha tirato su DA 0 una libreria openCL scritta in RUST, per imparare un nuovo linguaggio di programmazione. In mesa 23 è stato già fatto il merge. Con un poco di sforzo Vulkan avrebbe sbancato.
Poi però AMD ha speso una marea di soldi per ROCm e HIP, decidendo di usare una terza architettura propria(follia). Se avessero fatto un software di conversione CUDA to Vulkan avrebbero avuto il triplo del supporto esterno, così di fatto si son tagliati fuori loro stessi e hanno creato unn software poco appetibile, mentre con Vulkan aveva molto più senso(hai molti più campi di utilizzo e motivi per impare a usarlo).
Come se fossero librerie semplici poi
DirectML e openGL sono stati ostacolati da tutti.
Inutile fare uno standard terzo fatto bene e quanto vuoi, se un produttore che ha più del 70% del mercato decide di non supportarlo o supportarlo male per spingere i propri prodotti.
si si infatti il problema non è nvidia con le sua api ma che tutti gli altri sono stati a dormire pensando che rimanesse un mercato di nicchia e quindi anche lasciandolo a nvidia sarebbe cambiato poco
Non è che puoi vietare a un'azienda di sviluppare le sue API ovviamente.
Comunque il punto non è tanto cuda_cpp, ma il fatto che AMD è di una lentezza esasperante nel supportare le librerie.
tanto quanto directx e vulkan non devono essere in mano a amd o nvidia, ma ad un ente terzo che puo essere microsoft o ancora merglio un consorzio come khronos, dovrebbe essere la stessa cosa per le api di calcolo accellerato. se non sbaglio teoricamente esistono directML e openCL ma credo siano molto indietro rispetto a CUDA.
penso che l'unico ad investire pesantemente su questo è stata nvidia ed ora si vedono i risultati.
E' il solito lavoro senza nulla di ufficiale (è tipo da RDNA che va così):
https://www.phoronix.com/news/ROCm-5.5-ReleasedChe poi, chi sviluppa seriamente con pytorch sotto windows?
Con ROCm i vari "adesso funziona" vanno tradotti in "adesso funziona********".
nell'ultima versione di ROCm uscita in questi giorni hanno aggiunto il supporto alle gpu serie 6xxx, 7xxx e per qualche motivo le "fury", adesso amd supporta anche pytorch sotto windows finalmente.
E perchè non c'è concorrenza?
Perchè sono migliori delle altre.
Comunque mi riferivo alla potenza che solo lei avrà per l'IA.
Il problema di AMD non è così grave per quanto riguarda l'hardware (anche se stanno sotto pure lì), ma per quanto riguarda il software, dove c'è una distanza siderale.
MS, google, facebbok & co. avrebbero dovuto aiutare in ambito open in modo che NVIDIA non dominasse il mercato, e magari spingendo AMD a rilasciare ROCm anche per le GPU consumer, visto che nessuno svilupperà librerie per 5 mila gpu server che è anche impossibile usare.
Io credo che Nvidia diventerà la ditta più ricca e potente del mondo.
E questi l'hanno capito.