ciao topolino, piacere.
Vai e insegna ai professionisti ad ottimizzare a oltranza. Non importa come, ottimizzare é la via. Tanto le metriche che hanno giá in fase di sviluppo sono superabili grazie alla mitica e leggendaria ottimizzazione infinita.

Appunto. Soltanto con l’ottimizazione si riduce il gap tra ia e query tradizionale.
Formato topolino.

le IA generative sono delle funzioni, delle densità di probabilità, da cui estrai dei valori. non c'è nessuno che faccia un training con i valori generati dalla stessa IA su cui fa il training, finirebbe per degenerare in poco tempo. quello che c'è dentro alla IA generativa sono dei parametri interni (degli hidden vector) per poter generare quello che si vuole generare. ma comunque dato lo stesso input e lo stesso hidden vector il processo è deterministico. perchè sono tutti conti deterministici lì sotto, sono un qualche miliardo di moltiplicazioni ma sono tutte deterministiche. basta prendere un survey su i generative models (autoencoders, GAN, ecc..) e te ne rendi subito conto.

cito anche Davide per completezza.

Prima andranno superati i limiti tecnologici, che al momento sono notevoli perché sarà necessario passare dalle macchine connessioniste di tipo planare a quelle basate su struttura tridimensionale, tecnologia solo agli alberi.
Poi dovranno essere superate le assurde psicosi che serpeggiano fra gli umani.
Infine, e sarà la cosa più difficile, dovranno essere rimosse le barriere di ordine etico.

Un decennio, difficile pensare a tempistiche molto inferiori.

1 TB di RAM è nulla, 1 TB di RAM per sessione è moltissimo.

E non sarà molto difficile farlo, perché sarà la stessa IA geverariva a fornire indicazioni precise sulle modifiche da apportate, e lo farà con una precisione di gran lunga superiore a quelle fornite dai software di ottimizzazione SEO basati su algoritmi.

È corretto dire che è stata trovata la via per le vere intelligenze artificiali, ma manca ancora la tecnologia necessaria.
Come sempre avviene, tali carenze sono destinate ad essere rapidamente colmate e questa lo sarà MOLTO velocemente, perché il business è senza precedenti.

Già, siamo a livelli mai sperimentati prima.
Per i suoi sistemi HPC dice di poter arrivare a 175 miliardi di dì parametri... MILIARDI!.
Dai tre ai cinque ordini di grandezza in più rispetto ai sistemi basati su reti neurali con cui i tuoi interlocutori la confondono. È come paragonare un criceto ad un'ameba.
Sono i livelli di complessità sinaptica di un piccolo mammifero, e ci troviamo solo agli albori della tecnologia.

ma il fatto è che gpt-3 per esempio è disponibile volendo si può guardare da git. sul perchè ottieni due output diversi non lo so su due piedi, posso ipotizzare al massimo abbia a che fare con il valore iniziale dei context vector, visto che se non ricordo male è basato sul transformer.
poi io sono un ingegnere elettronico, l'ai per me è un "divertimento". ma questo non significa che quella roba non sia un algoritmo, dentro i processori (le schede video, quello che è) macinano il codice, quello che gira è un algoritmo.

Bro, l'ho fatto anch'io l'esame di artifical intelligence al Politecnico.

Ciò non vuol dire che tu abbia capito però. Ripeto, che poi mi stanco, vai su ChatGPT ed inserisci 2 volte lo stesso input. Poi torna piangendo quando noti che ottieni due risposte diverse

prendiamo un "perceptron", prende i dati in input li moltiplica per dei pesi interni, poi propaga il dato in uscita, prende la differenza con il dato atteso, propaga la differenza fino ai dati di ingresso e aggiorna tutti i pesi interni per minimizzare la differenza dato quello specifico input. questo si chiama training. una volta fatto 3000 volte sto procedimento. dai un dato in ingresso e dopo la computazione, in uscita hai il risultato. questo si chiama inference.
attacca più "perceptron" uno di seguito all'altro, e ottieni quello che si chiama MLP, che è un modello di neural network.
riduci la dipendenza degli output interni ai soli dati "intorno" ad un dato input e hai fatto una CNN.
...
per arrivare ai language models è lunga.
continua tu che io non ho tutto sto tempo.

A questo progetto lavorano ingegneri del software

E questo più avanti rappresenterà un limite Davide, quando si passerà dai sistemi geverativi a quelli speculativi il lavoro sarà più adatto a filosofi e psicologi piuttosto che ad informatici.

Esattamente, si può dire che il codice è la premessa che sostiene l'oggetto che definiamo "IA generativa", che tuttavia resta separata dal codice stesso e dall'hardware in generale.
Diciamo che essa non è il software + hardware, ma ne è il prodotto.
Se esiste una forma di pseudo programmazione, essa va ricercata nella scelta dei dati di pre training, che tuttavia la IA geverariva è libera di integrare sia con altri dati provenienti dall'interazione con l'utente che dalle sue stesse deduzioni autonome... e perfino da ignorare se giunge alla conclusione che essi sono irragionevoli.
Le IA geberative sono entità alle quali assolutamente non siamo psicologicamente preparati, e questo causa una grande difficoltà di comprensione perché prima di adesso non si era mai resa necessaria una categoria con cui classificarle.

Leggendo le dichiarazioni dei suoi creatori, è possibile che in fase iniziale loro stessi non si fossero resi conto della portata della rivoluzione introdotta.

Mi sa che non lo hai capito tu

mi sa che non hai capito tanto bene cosa sono le "IA" allora.

Non c'entra niente l'input con il determinismo.

Una calcolatrice fa x+n e ti dà la somma. Sempre.
Una IA, dati sempre x e n, ti dà risultati diversi

e che c'entra? quindi se io avessi un codice che mettiamo caso prende dei numeri casuali e li manda in output a video quello non lo consideri un algoritmo? o pensi che chatgpt i risultati se li inventi davvero, o boh.

Un algoritmo non solo è una serie di operazioni ma è codificato da una logica ed è deterministico. Se con chatgpt provi a fornire 2 volte lo stesso input avrai 2 risultati diversi

sono investimenti che spalmeranno negli anni, e comunque stiamo parlando di aziende con utili netti pazzeschi... E introdurranno nuove ottimizzazioni una volta che matureranno le piattaforme, solito ciclo...

un algoritmo è una serie di operazioni per definizione. una network prende i dati in input li modifica secondo una serie di operazioni (che è un algoritmo) e manda in output il risultato.

Ecco, così avrebbe senso (e probabilmente porterebbe a cercare di inserire nel proprio sto informazioni più dettagliate e corrette possibili per essere preso come fonte, al contrario dei clickbait attuali)

Ripeto, e secondo te non lo fanno già? A questo progetto lavorano ingegneri del software, non topolino

Un'operazione non è un algoritmo.

Però se non si entra nel sito immagino che tutte le logiche per le ads tipo CPC, CPA e simili vadano a farsi benedire.
Se la gente trova le informazioni direttamente nella chat non ha lo stimolo a visitare il sito. A meno che lo scraping di ChatGPT venga riconosciuto come visita ma mi sembrerebbe strano

Ci sono dei paper che ne parlano ma era presa da un video tecnico di NVIDIA

Men che meno se il contesto é quello dell'IA, dove non c'é nessun algoritmo in ballo durante l'esecuzione

come non c'è nessun algoritmo? e i conti sulla network come li fa?

dove hai trovato l'informazione della ram? nei paper non la indicano quasi mai. (si potrebbe anche prendere dal numero dei paramentri, ma danno il numero dei parametri e non danno la precisione).

quanto fa "10 volte di poco"?

Credo arriveranno normative come già succede in alcuni casi per i motori di ricerca, se viene estratto o elaborato del testo da una fonte questa avrà diritto ad essere monetizzata

Beh se li esegui su GPU vuol dire circa 3/400k dollari di hardware solo per far girare un modello.
Sicuramente costa molto di più che usare le tecniche precedenti.

Basta che il sito parli bene di un prodotto e chat gpt ripeterà

Sì, ma l'utente non visita il sito e non guarda gli ads

Si ma i dati da qualche parte li prende

Non c’entra nulla la potenza. Se aumenti la potenza di calcolo ma questo tipo di ricerca richiede una potenza di 10 volte maggiore rispetto alle elaborazioni classiche il costo sarà sempre 10 volte maggiore.
Ottimizzando si migliora questo parametro, non é una parola magica é un obiettivo che deve essere costante in ogni milestone del ciclo di innovazione e manutenzione. E sopratutto io non parlo a caso, é non é bello quello che mi hai scritto, pertanto con disappunto, chiudo qui.
Ciao

pensi che non lo sia giá? L'hardware non diventa meno costoso in sé ma diventa piú potente. Ció che oggi ti occupa il 100% delle risorse e richiede 10 schede video da 400W, domani te ne occupa il 70% e ti richiede 7 schede video da 350W.

"Ottimizzazione" non é una parola magica da sfoderare a caso. Men che meno se il contesto é quello dell'IA, dove non c'é nessun algoritmo in ballo durante l'esecuzione

Ehm no, se il chatbot ti fornisce direttamente i dati che servono, non devi più navigare sui vari siti per trovarli, per cui click in meno per questi ultimi

Certo, ma quando la gente si abituerà ai chat bot con AI, le varie società [grosse] saranno costrette a implementarli nelle loro piattaforme, ed ecco che Microsoft raccoglierà ciò che sta seminando (oltre a far crescere la percentuale d'uso di Bing nell'immediato)

In realtà basta adeguare la seo alle nuove tecnologie

L’obiettivo è sostituire la ricerca normale alla ricerca interattiva, oggi pochissimi usano la chat.
Hardware migliore non significa meno costoso in quanto il paragone è con la ricerca classica. L’unico modo per abbassare i costi è ottimizzare il codice.

é ovvio sia cosí. Ora c'é l'effetto novitá ma prima o poi l'euforia si normalizzerá e i costi di oggi caleranno. Allo stesso modo l'hardware migliorerá e diventerá meno costoso

Una tecnologia acerba che richiederà costante miglioramento per anni prima di renderla possibilmente vendibile in perdita e chissà quanto per poterci guadagnare, CHI LO AVREBBE MAI SOSPETTATO?
Io pensavo che ci facessero lavorare gratis i dipendenti Meta tra l'aggiunta di pubblicità su Instagram e la copia di qualche funzione di Telegram su Whatsapp

Se un mio commento non sembra sensato è che chi legge non ha capito il significato.
1 è da intendersi come il consumo attuale, quindi sì potevo scegliere qualsiasi altro numero o lettera se usato come simbolo a se.
La prossima volta mi dilungherò e scriverò "fatto 1 il consumo di oggi, se questo è poco..." ecc

Vero. In questi giorni ho chiedo informazioni e dati che facevo fatica a ricercare su google e bing. Magari li trovavo ma dovevo perdere ore e ore e magari effettuare ricerche in altre lingue.
Sarà bello fare un confronto tra chat gpt, bing chat e google bard.

Immagino anche si debba inventare un nuovo modo per gestire la monetizzazione delle ads per i creatori di contenuti che vedranno il traffico sui loro siti diminuire dato che le informazioni verranno estratte e visualizzate direttamente in chat.

"10 volte di cosa?

un ordine di grandezza maggiore. hahaha

Se poi c'è modo di fare con meno consumi

c'è eccome, quantizzare ed evitare le unità fp. (poi qualcuno mi ha detto che quella ricerca non vale niente, lasciamo stare vah).

Ma non tutte le ricerche richiedono l'intervento di una IA per la risposta. Probabilmente metteranno un filtro che smisterà le ricerche in base alla complessità e/o se l'utilizzazione della AI diventerà talmente costoso da non essere renumerativo con la sola pubblicità lo metteranno a pagamento mensile.

E cos'è un 1TB di RAM per questi giganti :) Fuffa.

Considerando il fatturato ed i margini di Alphabet e Microsoft, direi che non mi preoccupo più di tanto delle loro spese operative.

Avete scoperto che è costoso usare modelli che solo per caricarli in memoria serve circa 1TB di RAM.
Proprio così, 1TB di RAM. Tra l'altro è improponibile farli girare su CPU, quindi servono 1TB di RAM su GPU.

Ci sono delle tecniche per usare modelli più piccoli e veloci, ma richiede tanto lavoro e ricerca prima di poterli distribuire.