Meta 與德國慕尼黑工業大學研發出創新模型 ViewDiff，旨在幫助用戶通過文本、圖像或二者結合使用，快速生成高質量多視角3D 圖像。

　　該模型解決了傳統文本生成多視角3D 圖像領域的三大難點:無法生成真實背景環境、圖像質量和多樣性不理想、缺乏多視角和一致性。通過引入一種創新架構，ViewDiff 采用文生成圖模型作為先驗知識和圖像流生成器，再通過顯式的3D 建模為圖像賦予一致性和多視角能力。

　　為了有效捕獲3D 幾何和全局風格，研究人員對原有 U-Net 架構進行了創新，增強了跨幀注意力層和投影層。跨幀注意力層替換了標準自注意力層，實現跨圖像風格匹配;而投影層將多視圖2D 特征集成為顯式的3D 體素特征，保證了輸出圖像的3D 幾何一致性。在此基礎上，ViewDiff 還開發了自回歸生成模塊，使其能在任意視角上生成更多的3D 一致性圖像，進一步提升了模型的生成能力。

　　該研究的推出填補了文本生成多視角3D 圖像領域的技術空白，有望為游戲開發、元宇宙等行業提供更便捷、高效的模型構建方案。該模型的推出不僅在技術層面上具有重大意義，也將為未來的3D 圖像生成領域帶來更多創新可能。