今天凌晨，OpenAI發(fā)布了全新擴(kuò)散模型方法sCM，僅需2步就能生成高質(zhì)量圖片、3D模型等實(shí)現(xiàn)50倍時鐘加速，尤其是在高分辨率任務(wù)上相當(dāng)出色。

　　例如，通過sCM訓(xùn)練了一個15億參數(shù)的模型，在單個A100GPU上無需任何推理優(yōu)化0.11秒內(nèi)就能生成內(nèi)容。

　　目前，擴(kuò)散模型生成圖片最快的是Stability AI開源的SD快速版本，4步就能生成高質(zhì)量圖片。而Scm在保證質(zhì)量的前提下又將推理效率提升了1倍，同時簡化了連續(xù)時間一致性模型的理論公式，允許模型在更大數(shù)據(jù)集上進(jìn)行穩(wěn)定的訓(xùn)練和擴(kuò)展。

　　sCM的核心原理是基于一致性模型思路，通過直接將噪聲轉(zhuǎn)換為無噪聲樣本來生成數(shù)據(jù)。在傳統(tǒng)擴(kuò)散模型中，數(shù)據(jù)生成過程被視作一條從噪聲到數(shù)據(jù)的漸進(jìn)路徑，每一步都通過去噪來逐漸恢復(fù)數(shù)據(jù)的清晰度。

　　一致性模型則恰恰相反，可找到一條更直接的路徑，在單步或少數(shù)幾步內(nèi)直接從噪聲狀態(tài)跳躍到數(shù)據(jù)狀態(tài)。

　　sCM采用了連續(xù)時間框架，使得模型在理論上可以在連續(xù)的時間軸上進(jìn)行操作，從而避免了離散時間模型中的離散化誤差。在連續(xù)時間于一致性模型中，模型的參數(shù)化、擴(kuò)散過程和訓(xùn)練目標(biāo)都被重新定義，以適應(yīng)連續(xù)時間的設(shè)置。

　　例如，模型的參數(shù)化不再依賴于離散的時間步，而是直接依賴于時間本身。這種連續(xù)時間的參數(shù)化方式使得模型能夠更精確地捕捉數(shù)據(jù)生成過程中的動態(tài)變化。

　　在網(wǎng)絡(luò)架構(gòu)方面，sCM引入了改進(jìn)的時間條件、自適應(yīng)組歸一化、新的激活函數(shù)和自適應(yīng)權(quán)重，以提高模型的訓(xùn)練穩(wěn)定性和生成質(zhì)量。改進(jìn)的時間條件使得模型能夠更準(zhǔn)確地感知時間t的變化，從而在生成過程中做出更合理的決策。

　　自適應(yīng)組歸一化則有助于模型在訓(xùn)練過程中保持內(nèi)部特征的穩(wěn)定性，減少訓(xùn)練過程中的噪聲干擾。新的激活函數(shù)被引入以增強(qiáng)模型的非線性表達(dá)能力，使得模型能夠更好地學(xué)習(xí)復(fù)雜的數(shù)據(jù)分布。

　　而自適應(yīng)權(quán)重的引入允許模型根據(jù)訓(xùn)練數(shù)據(jù)的分布動態(tài)調(diào)整損失函數(shù)中的權(quán)重，從而減少了不同時間步長之間的損失方差。

　　為了評估sCM的性能，研究人員在CIFAR-10、ImageNet64×64和ImageNet512×512多個數(shù)據(jù)集上進(jìn)行了綜合評測。結(jié)果顯示，sCM成為目前最高效的擴(kuò)散生成方法。

　　例如，在ImageNet512×512數(shù)據(jù)集上，sCM的模型達(dá)到了1.88FID，同時使用的算力更少、更高效。

　　有網(wǎng)友表示，如果把這個方法用在視頻領(lǐng)域，那實(shí)時視頻可能很快會到來。Sora的推理負(fù)擔(dān)也會降低很多。

　　很高興又看到OpenAI分享技術(shù)論文了。

　　如果把這個技術(shù)用在Sora，它應(yīng)該快公測了吧?

　　這種簡化的模型非常適合需要快速結(jié)果而不影響質(zhì)量的應(yīng)用!

　　這個模型相當(dāng)有前途啊。

　　2步就能生成內(nèi)容，這會再一次改變游戲規(guī)則啊。

　　把這個技術(shù)用在Sora，應(yīng)該就快來了吧?

　　目前，OpenAI已經(jīng)分享了該論文方法，是由兩位華人提出來的。