編輯：拉燕桃子
來源：新智元
導讀：近日，英偉達發布了最新的GET3D模型，能快速生成虛擬世界的對象，而且只需要一塊GPU每秒就能產出大約20個模型。
Abracadabra
在2D生成3D模型上，英偉達亮出了自稱「世界級」研究：GET3D。
通過2D圖像訓練後，該模型可生成具有高保真紋理和復雜幾何細節的3D形狀。
形狀、紋理、材質自定義
GET3D之所以得名，是因為它能夠生成顯式紋理3D網格（Generate Explicit Textured 3D meshes ）。
論文地址：https://arxiv.org/pdf/2209.11163.pdf
也就是說，它創建的形狀是三角形網格的形式，就像紙模型一樣，上面覆蓋著紋理材質。
關鍵是，這個模型可以生成多種多樣，且高質量的模型。
比如，椅子腿上的各種輪子；汽車的車輪，燈和車窗；動物的耳朵、角；摩托車的後視鏡，車輪胎上的紋理；高跟鞋，人類衣服…
街道兩旁的獨特建築，不同的車輛呼嘯而過，還有不同的人群穿梭而過…
若想通過手動建模做出同樣的3D虛擬世界非常耗時。
儘管先前的3D生成AI模型雖然比手動建模更快，但它們在生成更多豐富細節模型的能力還是欠缺。
即便是，最新的逆向渲染方法也只能基於從各個角度拍攝的2D圖像生成3D對象，開發人員一次只能構建一個3D物體。
GET3D可就不一樣了。
開發者可以輕鬆地將生成模型導入到遊戲引擎、3D建模器和電影渲染器中，對它們進行編輯。
當創建者將GET3D生成的模型導出到圖形應用程序，他們就可以在模型所在的場景中移動或旋轉時應用逼真的照明效果。
如圖所示：
如圖所示：
另外，GET3D還可以做到文本引導形狀生成。
通過使用英偉達的另一個AI工具StyleGAN-NADA，開發人員可以使用文本提示為圖像添加特定的風格。
比如，可以將渲染後的汽車變成一輛燒毀的汽車或出租車
將一個普通的房子改造成磚房、著火的房子，甚至是鬼屋。
或者將老虎紋、熊市貓紋、還有《辛普森一家》的特色應用在任何動物身上…
簡直就是辛普森一家的「動物森友會」…
英偉達介紹，在單個英偉達GPU上訓練，GET3D每秒可以生成大約20個對象。
在此，它所學習的訓練數據集越大、越多樣化，輸出的多樣性和詳細程度就越高。
英偉達稱，研究團隊僅用2天時間，就使用A100 GPU在大約100萬張圖像上訓練了模型。
研究方法與過程
GET3D框架，主要作用是合成有紋理的三維形狀。
生成過程分為兩個部分：第一部分是幾何分支，可以輸出任意拓撲結構的表面網格。另一部分則是紋理分支，它會產生一個紋理場，由此可以在表麵點上進行查詢。
在訓練過程中，一個可微分光柵化器被用來高效渲染所產生的紋理網格，並渲染成二維的高分辨率圖像。整個過程是可分的，允許通過傳播二維判別器的梯度，從圖像中進行對抗性訓練。
之後，梯度從二維判別器傳播到兩個發生器分支。
研究人員又進行了廣泛的實驗來評估該模型。他們首先將GET3D生成的三維紋理網格的質量與現有的使用ShapeNet和Turbosquid數據集生成的做比較。
接下來，研究人員根據對比結果在之後的研究中對模型進行了優化，並做了更多實驗。
GET3D模型在幾何形狀和紋理能夠實現相分離。
如圖，在每一行中展示了由相同的幾何隱藏代碼生成的形狀，同時更改了紋理代碼。
在每一列中展示了由相同的紋理隱藏代碼生成的形狀，同時更改了幾何代碼。
另外，研究人員在每一行中相同的紋理隱藏代碼生成的形狀，從左到右插入幾何隱藏代碼。
並由相同的幾何隱藏代碼生成的形狀，同時從上到下插入紋理代碼。結果顯示，每個插值對生成模型都是有意義的。
在每個模型的子圖中，GET3D能夠在所有類別的不同形狀之間的生成實現平滑過渡。
在每一行中，通過添加一個小噪聲來局部擾亂隱藏代碼。通過這種方式，GET3D能夠在局部生成外觀相似但略有差異的形狀。
研究人員指出，未來版本的GET3D可以使用攝像機姿態估計技術，讓開發人員訓練模型的現實世界的數據，而不是合成數據集。
未來，通過改進，開發人員可以在各種3D形狀上一次性訓練GET3D，而不需要一次在一個對像類別上訓練它。
英偉達人工智能研究副總裁Sanja Fidler表示，
GET3D讓我們離人工智能驅動的3D內容創作大眾化又近了一步。它即時生成帶紋理3D形狀的能力可能會改變開發人員的遊戲規則，幫助他們用各種有趣的對象快速填充虛擬世界。
作者介紹
論文一作Jun Gao是多倫多大學機器學習小組的博士生，導師是Sanja Fidler。
參考資料：
https://blogs.nvidia.com/blog/2022/09/23/3d-generative-ai-research-virtual-worlds/
https://nv-tlabs.github.io/GET3D/
https://www.engadget.com/nvidia-ai-model-get3d-virtual-worlds-objects-130021127.html
資訊來源：由0x資訊編譯自8BTC。版權歸作者所有，未經許可，不得轉載