
Economia e mercato 23 Feb
Qualcomm ha pubblicato una demo video del celebre elaboratore di immagini basato sull'intelligenza artificiale, Stable Diffusion, che per la prima volta vediamo in esecuzione su uno smartphone Android alimentato da un SoC Snapdragon 8 Gen 2. L'azienda dice che in effetti si tratta della prima dimostrazione di questo genere su un hardware pensato per il segmento mobile.
Stable Diffusion è un modello di apprendimento automatico divenuto molto popolare molto popolare e che rientra nella categoria delle intelligenze artificiali generative. È in grado di creare immagini fotorealistiche da un qualsiasi input di tipo testuale e riesce a farlo con tempistiche dell'ordine di poche decine di secondi.
Dovendo processare oltre 1 miliardo di parametri, inizialmente Stable Diffusion era stato principalmente limitato all'esecuzione nel cloud, ma questa demo mostra che la soluzione può essere eseguita anche su uno smartphone Android. Scopriamo così che Qualcomm AI Research ha eseguito ottimizzazioni AI full-stack utilizzando Qualcomm AI Stack per implementarlo su questo dispositivo.
L'azienda spiega che l'intelligenza artificiale sul dispositivo offre molti vantaggi tra cui affidabilità, latenza, privacy, uso efficiente della larghezza di banda della rete e costi complessivi. Ecco cosa dice Qualcomm a tal proposito.
Eseguire Stable Diffusion su uno smartphone è solo l'inizio. Tutta la ricerca e l'ottimizzazione dell'intero stack che hanno reso possibile tutto ciò, confluiranno nello stack AI di Qualcomm. La nostra unica roadmap tecnologica ci consente di scalare e utilizzare un singolo stack di intelligenza artificiale che funziona non solo su dispositivi finali diversi, ma anche su modelli diversi. Ciò significa che le ottimizzazioni per Stable Diffusion per funzionare in modo efficiente sui telefoni possono essere utilizzate anche per altre piattaforme come laptop, cuffie XR e praticamente qualsiasi altro dispositivo alimentato da Qualcomm Technologies. L'esecuzione di tutta l'elaborazione AI nel cloud sarà troppo costosa, motivo per cui un'elaborazione AI edge efficiente è così importante. L'elaborazione Edge AI garantisce la privacy dell'utente durante l'esecuzione di Stable Diffusion (e altri modelli di intelligenza artificiale generativa) poiché il testo di input e l'immagine generata non devono mai lasciare il dispositivo: questo è un grosso problema per l'adozione di applicazioni sia consumer che aziendali. Le nuove ottimizzazioni dello stack AI significano anche che diminuirà anche il time-to-market per il prossimo modello di base che vogliamo eseguire sull'edge. Questo è il modo in cui ci ridimensioniamo tra dispositivi e modelli di base per rendere l'IA edge davvero onnipresente.
Qualcomm ha anche pubblicato una demo video che vi proponiamo a seguire.
Commenti
AI-IA-AI-IA-AI-IA-AI-IA
In realtà la prima ad integrare una vera NPU fu Huawei con il SoC del Mate 10 Pro, ma anche in quel caso essa veniva utilizzata soprattutto per il software di sistema.
Per il software commerciale non è così semplice, perché occorrerebbe mantenere linee di prodotto per macchine distinte
Esistono comunque limiti fisici.
Attualmente per mantenere una singola sessione complessità neurale prossima a quella di un rettile particolarmente intelligente o un piccolo mammifero si consuma uno spazio fisico pari a mezza lavatrice.
Questo significa che un sistema capace di mantenere decine di milioni di sessioni attive, la norma per un motore di ricerca, occuperebbe lo spazio di una città.
Nucleare a manetta.
Questo improvviso interesse sull Ia sara' qualche altro trucco dei governi per rubare informazioni e spiare
Non GW ma TW, almeno usando tecnologie attuali.
In questo momento non sarebbe possibile rendere realmente "mainstream" le IA geberative, né per potenza di calcolo installata né per quantità di energia elettrica necessaria.
Però questo rappresenta solo uno stimolo alla ricerca verso tecnologie più adatte, perché adesso che è stata dimostrata la possibilità di far estere vere intelligenze artificiali, si è anche dimostrato che è altrettanto possibile il più grande business della storia.
Quindi i capitali non mancheranno.
Se tutti i Green N4z1 presenti su questo blog fossero coerenti con se stessi dovrebbero essere qui a stracciarsi le vesti dato che una singola operazione su una intelligenza artificiale (che sia ChatGPT, il nuovo Bing o SD o Midjourney) consuma quanto migliaia e migliaia di normali operazioni effettuate fino ad oggi.
Chissà con cosa produrranno tutti quei GW necessari a farle funzionare quando saranno mainstream.
un professore di programmazione durante una spiegazione sull'hardware del pc, ci disse che in realtà questi processori non verranno mai sfruttati pienamente perché i conduttori attuali sono dei colli di bottiglia
se parli della CPU e GPU sono d'accordo, per quanto riguarda tutti i coprocessori non sarei cosi sicuro che siano sfruttati al massimo su tutti i device. parlo di Image Signal Processor e Digital signal processor.
notevole!
io vorrei i cyborg di atomic heart da t0mb4re
Questo è un mito comune. I processori moderni vengono sfruttati. In picchi e non costantemente ma vengono sfruttati.
Davvero impressionante. Non so perché Qualcomm non rilascia alcune applicazioni per sfruttare realmente il processore. Questa tecnologia o la implementa il produttore (Samsung, xiaomi…) oppure rimane sullo scaffale a a prendere polvere