NVIDIA Research permette ai creatori di contenuti di trasformare le foto in meravigliosi oggetti 3D

redazione

Il jazz è tutta questione di improvvisazione – e NVIDIA ha deciso di rendere omaggio a questo genere musicale attraverso una ricerca sull’intelligenza artificiale che un giorno potrebbe consentire ai creator di produrre oggetti 3D nel lasso di tempo necessario a una jam session.

Il metodo, NVIDIA 3D MoMa, potrebbe consentire ad architetti, designer, concept artist e sviluppatori di giochi di importare rapidamente un oggetto in un motore grafico per lavorarci, modificando la scala, il materiale o sperimentando diversi effetti di illuminazione.

NVIDIA Research ha presentato questa tecnologia attraverso un video che celebra il jazz e la sua città natale: New Orleans. Inoltre, il documento alla base del 3D MoMa sarà presentato questa settimana in occasione della Conference on Computer Vision and Pattern Recognition.

Estrazione di oggetti 3D da immagini 2D

Il rendering inverso, una tecnica che permette di ricostruire una serie di foto in un modello 3D di un oggetto o di una scena, “è da tempo un Santo Graal che unisce la computer vision e la computer grafica“, dichiara David Luebke, Vicepresidente della Ricerca Grafica di NVIDIA. Formulando ogni parte del processo di rendering inverso come una componente accelerata da una GPU, NVIDIA 3D MoMa utilizza i macchinari di IA più moderni e la potenza di calcolo grezza di NVIDIA per produrre rapidamente oggetti 3D che i creator possono importare, modificare ed estendere senza riscontrare limitazioni negli strumenti esistenti“.

Per risultare più utile a un artista o a un ingegnere, un oggetto 3D deve avere una forma che possa essere inserita in strumenti di uso comune come i motori di gioco, i modellatori 3D e i renderizzatori cinematografici. Questa forma è un triangolo con materiali texturizzati, il linguaggio comune utilizzato da questi strumenti 3D.

Le mesh triangolari sono le cornici sottostanti utilizzate per definire le forme nella grafica e nella modellazione 3D.

Tradizionalmente, gli studi di videogiochi e i creator producono oggetti 3D come questi attraverso complesse tecniche di fotogrammetria che richiedono un notevole dispendio di tempo. Il recente lavoro sui campi neurali possono generare rapidamente la rappresentazione 3D di un oggetto o di una scena, ma non in un formato di maglia triangolare che può essere facilmente modificato.

NVIDIA 3D MoMa genera modelli di mesh triangolari in una sola ora su una singola GPU NVIDIA Tensor Core. L’output del lavoro è direttamente compatibile con i motori grafici 3D e gli strumenti di modellazione che i creatori già utilizzano.

La ricostruzione della catena di lavoro comprende tre caratteristiche: un modello di mesh 3D, materiali e illuminazione. Il mesh è come un modello di cartapesta di una forma 3D costruita da triangoli. Con essa, gli sviluppatori possono modificare un oggetto per adattarlo alla loro visione creativa. I materiali sono texture 2D sovrapposte ai mesh 3D, come se fosse una pelle. Inoltre, la stima di NVIDIA 3D MoMa dell’illuminazione della scena consente ai creatori di modificare in seguito l’illuminazione degli oggetti.

Accordare gli strumenti per la Jazz Band virtuale!

Per mostrare le capacità di NVIDIA 3D MoMa, i team di ricerca e di creatività di NVIDIA hanno iniziato raccogliendo circa 100 immagini di cinque strumenti che compongono una jazz band – tromba, trombone, sassofono, batteria e clarinetto – da diverse angolazioni.

NVIDIA 3D MoMa ha ricostruito queste immagini 2D in rappresentazioni 3D di ogni strumento, rappresentate come mesh. Il team di NVIDIA ha quindi estratto gli strumenti dalle scene originali e li ha importati nella piattaforma di simulazione 3D NVIDIA Omniverse per modificarli.

In qualsiasi motore grafico tradizionale, i creator possono facilmente scambiare il materiale di una forma generata da NVIDIA 3D MoMa, come se vestissero il mesh con abiti diversi. Il team ha fatto questo con il modello di tromba, ad esempio, convertendo istantaneamente la plastica originale in oro, marmo, legno e sughero.

I creator possono quindi inserire gli oggetti appena modificati in qualsiasi scena virtuale. Il team di NVIDIA ha inserito gli strumenti in una scatola Cornell, classico test grafico per la qualità del rendering. È stato dimostrato che gli strumenti virtuali reagiscono alla luce proprio come farebbero nel mondo fisico, con gli strumenti in ottone lucido che riflettono in modo brillante, mentre le pelli opache dei tamburi assorbono la luce.

Questi nuovi oggetti, generati attraverso il rendering inverso, possono essere utilizzati come elementi costitutivi di una scena animata complessa, che nel finale del video viene presentata come una jazz band virtuale!

Il documento che racconta nel dettaglio NVIDIA 3D MoMa sarà presentato in una sessione del CVPR il 22 giugno alle ore 13:30. Si tratta di uno dei 38 documenti degli autori NVIDIA che saranno presenti alla conferenza. Per saperne di più sulla ricerca NVIDIA al CVPR: https://www.nvidia.com/en-us/events/cvpr/