利用DALL·E從文字合成圖片相信大家已經(jīng)比較熟悉,近年來類似的研究不少,比如Meta前不久公布的Make-A-Video研究,即利用AI才能夠文本合成視頻。近期,谷歌也公布了一項(xiàng)新的AI模型Dreamfusion,該模型的特點(diǎn)是將AI圖像分析模型Imagen與NeRF(神經(jīng)輻射場)結(jié)合,可根據(jù)文本來合成3D模型。
據(jù)青亭網(wǎng)了解,谷歌在2021年底曾推出3D合成AI系統(tǒng)Dream Fields,Dreamfusion則是在此基礎(chǔ)上的演變,區(qū)別是Dreamfusion利用Imagen來取代OpenAI的CLIP圖像分析模型,Imagen是谷歌預(yù)訓(xùn)練的2D文本圖像擴(kuò)散模型。而神經(jīng)輻射場的部分則提供了合成3D視圖的能力,并允許在神經(jīng)網(wǎng)絡(luò)中存儲(chǔ)3D模型,接著通過Marching Cubs三維重建算法,可導(dǎo)出為具有網(wǎng)格的3D模型,并在常見的3D渲染引擎、建模軟件中使用。
簡單來講,Imagen的優(yōu)勢在于使用2D文本圖像即可訓(xùn)練,更容易規(guī)模化。Dreamfusion會(huì)使用Imagen生成的多視角2D圖像來學(xué)習(xí)3D渲染,實(shí)現(xiàn)用文本來合成3D模型。此外相比于Dream Fields,Dreamfusion可合成更高質(zhì)量、具有深度和法線的、可重新照明的3D模型,因此整體效果更逼真。而且,Dreamfision生成的多個(gè)3D模型可縫合到同一個(gè)場景中。

參考:Mixed
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
海報(bào)生成中...
海藝AI的模型系統(tǒng)在國際市場上廣受好評(píng),目前站內(nèi)累計(jì)模型數(shù)超過80萬個(gè),涵蓋寫實(shí)、二次元、插畫、設(shè)計(jì)、攝影、風(fēng)格化圖像等多類型應(yīng)用場景,基本覆蓋所有主流創(chuàng)作風(fēng)格。
9月9日,國際權(quán)威市場調(diào)研機(jī)構(gòu)英富曼(Omdia)發(fā)布了《中國AI云市場,1H25》報(bào)告。中國AI云市場阿里云占比8%位列第一。
9月24日,華為坤靈召開“智能體驗(yàn),一屏到位”華為IdeaHub千行百業(yè)體驗(yàn)官計(jì)劃發(fā)布會(huì)。
IDC今日發(fā)布的《全球智能家居清潔機(jī)器人設(shè)備市場季度跟蹤報(bào)告,2025年第二季度》顯示,上半年全球智能家居清潔機(jī)器人市場出貨1,2萬臺(tái),同比增長33%,顯示出品類強(qiáng)勁的市場需求。