Adobe Super Resolution aumenta i pixel delle nostre foto. Come funziona

15 Marzo 2021 72

Immaginate di avere una foto da 10MP e di volerla ridurre a 5MP: il downsizing è semplice e immediato, vengono persi dettagli in favore di una dimensione più contenuta del file. E ora immaginate invece il processo contrario, l'upsizing da 10 a 40MP. Possibile guadagnare dettagli in post-produzione? Con Super Resolution sì, è possibile, ed è una funzionalità introdotta da Adobe su Camera Raw 13.2 e che presto verrà estesa anche a Lightroom e Lightroom Classic.

Il suo sviluppo nasce da Enhance Details, strumento basato sul machine learning tramite cui i file RAW vengono interpolati sino ad ottenere un risultato particolarmente fedele alla realtà con pochi artefatti e molti dettagli. Super Resolution altro non è che una sua evoluzione in cui l'obiettivo consiste nel migliorare la qualità dello scatto aumentandone la risoluzione, senza tuttavia che questo processo comporti una perdita di dettagli. Ciò viene reso ancora una volta possibile dall'aiuto del machine learning. E dietro ad una elaborazione dei dati complessa c'è una facilità d'uso dello strumento quasi disarmante, così come già avviene ad esempio su Photoshop con Adobe Sensei per sostituire il cielo: basta premere un tasto, e via, la nostra foto viene sovradimensionata mantenendo tutte le caratteristiche del file originale.

A COSA SERVE

Pensiamo alle foto che abbiamo all'interno dei nostri album di 20-30 anni fa, o al crop che vorremmo fare per isolare un particolare dello scatto - un animale, per esempio. Ecco allora l'utilità di Super Resolution, che con un click ci permette di far risaltare i dettagli di una vecchia foto o di evidenziare importanti particolari quando si desidera fare un ingrandimento. In altre parole, è una sorta di zoom digitale senza perdita di dettagli.

Con Super Resolution è possibile effettuare un crop sull'animale senza perdere dettagli: il crop risultava di 2,5MP, con Super Resolution l'upsizing è arrivato a 10MP.
COME FUNZIONA

Al sistema sono state date in pasto migliaia di immagini croppate delle dimensioni di 128x128 pixel di coppie di soggetti come alberi e rami, mattoni e tegole. Insomma, con pochi dettagli e molte texture: la struttura su cui si basa l'apprendimento si chiama Deep convolutional neural network, processo di contestualizzazione tramite cui si insegna al sistema che per campionare un determinato pixel bisogna analizzare i pixel circostanti.

"Esattamente come accade quando si insegna a camminare a un bimbo, anche i modelli di machine learning non capiscono immediatamente come eseguire la demosaicizzazione e l'upsize della foto". Serve dunque tempo, e man mano che il sistema impara si ottengono risultati sempre più vicini alla realtà. Utilizzando i file RAW il processo di apprendimento risulta essere più rapido, e ciò che si ottiene come output mostra solitamente una qualità superiore rispetto ad altre alternative.

Super Resolution raddoppia la risoluzione lineare della foto: da uno scatto originale da 20MP si otterrà dunque un nuovo file da 80MP. E la qualità complessiva della foto - in termini di dettagli e riproduzione dei colori - sarà generalmente superiore rispetto all'upsizing ottenuto con interpolazione cubica.

UTILIZZO

Tasto destro sulla foto, "Enhance...", click su Super Resolution e via, il gioco è fatto. Si otterrà un file DNG che potrà a sua volta essere sottoposto a modifiche e miglioramenti. I file compatibili sono RAW (con Bayer e X-Trans il processo di miglioramento tramite Super Resolution include anche Enhance Details), JPEG, PNG, TIFF ed ha attualmente un limite massimo di 500MP per file.


Adobe consiglia l'utilizzo di SSD e di una GPU performante ottimizzata per CoreML e Windows ML, considerando che l'elaborazione richiede milioni di calcoli: pochi secondi di attesa potrebbero nei casi peggiori trasformarsi in lunghi minuti. Alcuni esempi? Apple Silicon dei nuovi Mac, o ancora le GPU NVIDIA RTX.


72

Commenti

Regolamento Commentando dichiaro di aver letto il regolamento e di essere a conoscenza delle informazioni e norme che regolano le discussioni sul sito. Clicca per info.
Caricamento in corso. Per commentare attendere...
LoZio

Butta un occhio a Topaz Gigapixel AI, decisamente meglio

biggggggggggggg

Si, diciamo che è questo. Ovviamente l'implementazione è diversa

ffmarco

scusa l'ignoranza, ma non è proprio questo il dlss?

obey

ahahah vero

al

assurdo shadowba... persone che ne capiscono qualcosa e lasciare libertà di parola a gente che prende i like con commenti in cui dicono bugie o flammano.
Non so se ti ricordi di me ma verso ottobre (con un altro acc) ti chiesi consigli su cosa studiare per il ML.
Mi sono messo a studiare sui testi che mi consigliasti (Understanding ML, cuda) ed anche altro ed ho seguito anche tutte le videolezioni di stanford sul ML/DL/RL.
Purtroppo ho anche scoperto che in italia carriere relative a questo campo sono un miraggio, una vera delusione. Quindi continuerò lo studio per fatti miei (cultura personale).
In italia le aziende "tipo" cercano solo programmatori che ti fanno il sitarello (o serverino) male, in poco tempo, a poco prezzo.
Tu intanto che hai fatto? Hai finito la magistrale?

al

cerca sul tubo:
AI-Powered Video Conferencing with NVIDIA Maxine

In tempo reale, dipende dall'hardware, da quanto è grande la rete neurale e da quali tecniche sono state usate per migliorarne le prestazioni

biggggggggggggg

Perchè è shadowbannato probabilmente per colpa di quel poveretto di connor/thechild

AmIkiddingyou

Wow, grazie. Quindi la tecnologia è già sufficiente per applicare questi algoritmi in tempo reale o accadrà in un prossimo futuro?

Blasco73

Ma in CSI lo usano da sempre... :/

al

certo che migliora la qualità

al

Perché in quel caso non c'è correlazione tra i pixel, ma se hai un numero sufficiente di pixel allora puoi upscalare ed i pixel inventati sono molto buoni e corrispondono quasi alla realta

al

è un po' che non frequento questo sito,
tu sei big pharma?
Perche non commenti con il vecchio account?

al

Non è vero

al

Hai scritto una bugia ed hai preso 18 like.
Spiega perché non si possono guadagnare dettagli ed io ti spiegherò perché è falso quello che dici

al

I pixel nell'immagini sono tremendamente correlati tra loro, questo consente di comprimere e upscalare tantissimo senza problemi.
Se nell'immagine originale c'è sufficiente informazione allora puoi upscalare creando correttamente i pixel mancanti (es: non si può upscalare correttamente una faccia composta da 10px, ma una con un numero sufficiente si).
Se si upscala un immagine e si ritrova la faccia dell'indagato allora è lui

al

Certo che esistono, e sono molto efficienti (e spesso sono una parte degli algoritmi di upscaling). Nvidia ne sta sviluppando un tipo che permette le videochiamate con compressioni inimmaginabili, ci sono video sul tubo.
Si può fare anche crittografia omomorfa con il machine learning.

Pistacchio
Dark!tetto

Le impronte digitali a 20 metri di distanza con una CCD analogica da 480px...e magari da un riflesso su un bicchiere

fabrynet

D'altronde ormai la realtà "virtuale" sta prendendo il posto di quella reale.

ericantona5

In risoluzione alta è a pagamento remove BG. Comunque è fighissimo

GianlucaA

Insomma è l'AI a decidere chi è l'assassino

AmIkiddingyou

Sarebbe interessante sapere se sono stato sviluppati algoritmi AI di compressione in maniera complementare alle loro controparti di upscaling, cioè badando su machine learning anche la compressione, ovvero sfruttando migliaia di upscaling effettuati per istruire un AI di compressione.

Slartibartfast

Dubito che verrà mai usato per gli scopi che hai elencato, ma anche se fosse, non credo che oggetti/dettagli grandi 4 o 9 pixel possano essere usati per fini legali o per provare qualcosa.
Anche il cervello umano vede cose dove non ci sono, quando le informazioni sono scarse, per cui immagino si prendano le dovute precauzioni e solo immagini dove si vede ben chiaramente qualcosa di imteressante possano essere usate come prove.

momentarybliss

Beh davo per scontato che il servizio la garantisca, peraltro quando si portavano i rullini a sviluppare il fotografo vedeva di tutto di più immagino

Harry

Lo trovo eticamente interessante, nel senso che qui si "indovina" a "inventare" dettagli che sono stati irrimediabilmente persi quando la foto venne scattata per ovvi limiti tecnologici e/o fisici (anche la foto più dettagliata non è una 'scansione' della realtà). Okay che ognuno di noi vedene filtra il mondo tramite la propria soggettività, ma qui si lascia a degli algoritmi il compito di indovinare cosa o come la foto diventa più corrispondente alla suddetta 'realtà'. Tutto utile con le foto di gattini e bonazzi/e in metro, ma trovo piuttosto seri i rischi di 'migliorare' foto di scene del crimine, eventi pubblici o politici etc andando a modificare i dettagli effettivi (intenzionalmente o meno).

The_Th

L'upscaling viene fatto perchè il pannello è 4k e l'immagine spesso a risoluzione inferiore, ma questo upscaling non migliora la qualità

mister x

Ma dai, lo sanno tutti che esistono dagli anni '80, in ogni film leggevano targhe delle auto fotografate da lontanissimo!

pollopopo

esistono diversi di software che fanno questo genere di lavoro, ho usato una foto da 10mb per un poster di 3x2.5mt (con il resize pesava un paio di GB) e si contano i peli e la "grana" della pelle sul poster

Dea1993

lui non stava parlando di adobe super resolution, credo intendesse a livello generico dicendo smeplicemente che un upscale non puo' certo diminuire la qualita'... mal che vada non migliora, ma non puo' peggiorare (artefatti a parte)

Pip

Strano, tra tutti quelli a cui l'ho fatto provare non ho mai sentito di artefatti...

Pip

Fidati che il guadagno dei dettagli c'è eccome, fai tu stesso una prova con gigapixel AI.
I dettagli te li crea lui, e sono assurdamente perfetti

KenZen

ma senti da che pulpito :D
Saluti

SteDS

QuickPic di Cheeta Mobile (sotto falso nome)? Ma anche no! :D

my_two_cents

Ho fatto una prova rapidissima con un dng del drone..
Direi strabiliante il risultato finale.

Davvero davvero tanta roba! Grazie per la dritta!

Mostra 1 nuova risposta

La fantascienza rimane fantascienza. Se la faccia di un uomo è determinata in originale da 4 pixel in tutto nessuna IA potrà tirare fuori qualcosa che non sia inventato di sana pianta...

Ikaro

sarà il pc mio (provato solo sul portatile) ma gigapixel introduce parecchi artefatti mi sono trovato meglio con un servizio in cloud come https://imglarger.com/

Ikaro

c'è già https://imglarger.com/

BLERY

Posso aumentare la risoluzione anche con QuickPic

Choz Chozzy

Cavolo, provati entrambi, e già Topaz lavora bene, ma Remini è semplicemente spaventoso. Ho upscalato un volto e una foto intera, sono senza parole...

MrTec

DaVinci Resolve Studio 17, con la Neural Engine, lo fa già. E non è l’unico, vedi anche Topaz Video Enhance AI.

Tuttavia, anche i più potenti PC attualmente in commercio faticano e non poco.

GeneralZod

Esatto. Però sono frequenti i casi in cui i risultati ottenuti siano stati di gran lunga superiori alle aspettative degli stessi ricercatori.

Danylo

Alcuni televisori fanno gia' l'upscaling. Magari vorresti maggiore qualita'

Danylo

> aumentandone la risoluzione, senza tuttavia che questo processo comporti una perdita di dettagli
Quando si fa' upscaling non c'e' mai PERDITA di dettagli (e perche' mai dovrei perdere dettagli?). Quello che manca e' il GUADAGNO di dettagli, e possono essere introdotti artefatti.

fabrynet

Bello discutere costruttivamente con gli utenti del blog. C'è una bella community.

poi l'azienda ha anche un bel nome LOL

Lorenzo Poli

Bellissimo, quando zoommava la foto fino all'inverosimile e vedere il riflesso del fotografo nello specchio che nella realtà della foto era grande si e no 1 mm. Ed il dettaglio era sempre massimo

Ho scaricato la versione di prova...che dire, i risultati sono impressionanti!

MrTec

Provato.
Premesso che a mio parere nessuna IA è ancora utilizzabile negli ambiti seri/professionali, trovo Topaz Gigapixel AI di molto superiore.

Dike Inside

I prodotti della Suite Topaz sono molto interessanti.
Ma sull'upscale delle foto, e in particolare dei volti, non lo trovo eccezionale.
Trovo al contrario fantastico, Remini, una app su smartphone che applica le stesse tecnologie attraverso il cloud. Ti danno 5 foto gratis al giorno, e gli upscale dei volti sono davvero qualcosa che sembra stregoneria.

App e gadget low cost per imparare a suonare la chitarra durante il lockdown

La (mia) postazione da Creator: dal Desktop MSI al Monitor 5K Prestige

Recensione Honor MagicBook Pro, occhio ai paragoni azzardati!

Huawei Watch Fit, GT 2 Pro, FreeBuds Pro e MateBook 14 AMD | Prezzi e Anteprima