近日，Picsart AI Research等團(tuán)隊聯(lián)合發(fā)布了一款名為StreamingT2V的AI視頻模型，該模型能夠生成長達(dá)1200幀、時長達(dá)2分鐘的視頻，這在技術(shù)上超越了之前備受關(guān)注的Sora模型。StreamingT2V的發(fā)布不僅在視頻長度上取得了突破，而且它是一個免費開源的項目，可以無縫兼容SVD和animatediff等模型，這對于開源生態(tài)的發(fā)展具有重要意義。

　　在Sora之前，市場上的視頻生成模型如Pika、Runway、Stable Video Diffusion(SVD)等，通常只能生成幾秒鐘到十幾秒的視頻。Sora的出現(xiàn)以其60秒的視頻生成能力成為行業(yè)的新標(biāo)桿。而現(xiàn)在，StreamingT2V的推出，不僅在時長上有所突破，理論上還可以做到無限長，這為視頻生成領(lǐng)域帶來了更多可能性。

　　StreamingT2V的架構(gòu)采用了先進(jìn)的自回歸技術(shù)，能夠創(chuàng)建具有豐富運動動態(tài)的長視頻，同時保持視頻的時間一致性和高幀級圖像質(zhì)量。與現(xiàn)有的文本到視頻擴(kuò)散模型相比，這些模型通常集中在高質(zhì)量的短視頻生成上，而在擴(kuò)展到長視頻時往往會出現(xiàn)質(zhì)量下降、表現(xiàn)生硬或停滯等問題。StreamingT2V通過引入條件注意力模塊(CAM)和外觀保留模塊(APM)，以及一種隨機(jī)混合方法，有效地解決了這些問題。

　　CAM作為短期記憶塊，通過注意機(jī)制調(diào)節(jié)當(dāng)前一代的視頻，以實現(xiàn)一致的塊過渡;而APM作為長期記憶塊，從第一個視頻塊中提取高級場景和對象特征，防止模型忘記初始場景。此外，StreamingT2V還利用高分辨率文本到視頻模型對生成的視頻進(jìn)行自動回歸增強(qiáng)，以提高質(zhì)量和分辨率。

　　目前，StreamingT2V已經(jīng)在GitHub上開源，并在huggingface上提供了免費試玩。盡管服務(wù)器負(fù)載可能較高，但用戶可以嘗試輸入文字和圖片提示來生成視頻。此外，huggingface上也展示了一些成功的案例，證明了StreamingT2V在視頻生成方面的強(qiáng)大能力。

　　StreamingT2V的發(fā)布不僅為視頻生成領(lǐng)域帶來了新的技術(shù)突破，也為開源社區(qū)提供了一個強(qiáng)大的工具，有助于推動相關(guān)技術(shù)的發(fā)展和應(yīng)用。未來，我們或許可以期待更多基于這類技術(shù)的創(chuàng)新應(yīng)用，例如在電影制作、游戲開發(fā)、虛擬世界構(gòu)建等領(lǐng)域發(fā)揮重要作用。