Tutti i prezzi sono validi al momento della pubblicazione. Se fai click o acquisti qualcosa, potremmo ricevere un compenso.

AWS offrirà team umani di benchmarking per testare i modelli AI

30 Novembre 2023 3

Durante la conferenza AWS re: Invent, il vicepresidente di database, analisi e apprendimento automatico di AWS, Swami Sivasubramanian ha annunciato Model Evaluation on Bedrock, ora disponibile in anteprima, per i modelli presenti nel suo repository Amazon Bedrock.

Model Evaluation si basa su due componenti: la valutazione automatizzata e la valutazione umana. Nella versione automatizzata, gli sviluppatori possono accedere alla propria console Bedrock e scegliere un modello da testare. Possono quindi valutare le prestazioni del modello su metriche come robustezza, accuratezza o tossicità per attività come riepilogo, classificazione del testo, domande e risposte e generazione di testo. Bedrock include popolari modelli AI di terze parti come Llama 2 di Meta, Claude 2 di Anthropic e Stable Diffusion di Stability AI. Sebbene AWS fornisca set di dati di test, i clienti possono portare i propri dati nella piattaforma di benchmarking in modo da essere meglio informati su come si comportano i modelli. Il sistema genera quindi un rapporto.

Se sono coinvolti esseri umani, gli utenti possono scegliere di lavorare con un team di valutazione umana AWS o con il proprio. I clienti devono specificare il tipo di attività (riepilogo o generazione di testo, ad esempio), le metriche di valutazione e il set di dati che desiderano utilizzare. AWS fornirà prezzi e scadenze personalizzati per coloro che lavorano con il suo team di valutazione.

Il vicepresidente di AWS per l'intelligenza artificiale generativa Vasi Philomin ha detto a The Verge in un'intervista che ottenere una migliore comprensione di come si comportano i modelli guida meglio lo sviluppo. Consente inoltre alle aziende di vedere se i modelli non soddisfano alcuni standard di AI responsabile, come sensibilità alla tossicità troppo basse o troppo elevate, prima di costruire utilizzando il modello.

"È importante che i modelli funzionino per i nostri clienti, sapere quale modello si adatta meglio a loro e stiamo dando loro un modo per valutarlo meglio"

Sivasubramanian ha anche affermato che quando gli esseri umani valutano i modelli AI, possono rilevare altre metriche che il sistema automatizzato non è in grado di identificare, come l'empatia o la cordialità.

AWS non richiederà a tutti i clienti di eseguire il benchmarking dei modelli, ha detto Philomin, poiché alcuni sviluppatori potrebbero aver lavorato con alcuni dei modelli di base su Bedrock in precedenza. Le aziende che stanno ancora esplorando quali modelli utilizzare potrebbero trarre vantaggio dal seguire il processo di benchmarking.

AWS ha affermato che mentre il servizio di benchmarking è in anteprima, addebiterà solo l'inferenza del modello utilizzata durante la valutazione. Sebbene non vi sia uno standard particolare per il benchmarking dei modelli AI, ci sono metriche specifiche che alcune industrie generalmente accettano. Philomin ha affermato che l'obiettivo del benchmarking su Bedrock non è valutare i modelli in modo generale, ma offrire alle aziende un modo per misurare l'impatto di un modello sui loro progetti.


3

Commenti

Regolamento Commentando dichiaro di aver letto il regolamento e di essere a conoscenza delle informazioni e norme che regolano le discussioni sul sito. Clicca per info.
Caricamento in corso. Per commentare attendere...
Federico

La cosa mi lascia un po' perplesso.
Nel senso che o si tratta di team enormi ed interdisciplinari, o trovo difficile credere che un test umano sia realmente possibile.

Rocco Siffredi

Dal titolo pensavo si volessero offrire in sacrificio i clienti che fanno troppi resi

Dante Lanzinetti (*_^)

Io l'AI la farei testare da un'altra AI.
Giusto per coerenza.

Recensione

Recensione Corsair MP700, il prezzo dell'alta velocità

Tecnologia

AI PIN, abbiamo provato l'anti smartphone al MWC. Eccolo in VIDEO

HDMotori.it

Xiaomi SU7 Max, la supercar elettrica in mostra al MWC di Barcellona | Video

Articolo

Prime Video: tutti i film e le serie TV in arrivo a marzo 2024