Open-Sora 在開源社區(qū)悄悄更新了，現(xiàn)在，該項目不僅支持長達16秒的單鏡頭視頻生成，而且視頻分辨率最高可達720p，能夠處理各種寬高比的文本到圖像、文本到視頻、圖像到視頻、視頻到視頻以及無限長視頻的生成需求。

　　技術(shù)報告與模型架構(gòu):

　　Open-Sora技術(shù)報告已在GitHub上發(fā)布，詳細介紹了新功能和模型架構(gòu)。

　　作者團隊對STDiT架構(gòu)進行了關(guān)鍵性改進，提高了模型的訓練穩(wěn)定性和整體性能。

　　引入了旋轉(zhuǎn)位置編碼(RoPE embedding)和QK歸一化技術(shù)，以增強訓練穩(wěn)定性。

　　ST-DiT-2架構(gòu)能夠自動縮放位置編碼，處理不同大小尺寸的輸入。

　　多階段訓練方法:

　　Open-Sora采用了多階段訓練方法，通過分步驟引入數(shù)據(jù)，高效實現(xiàn)高質(zhì)量視頻生成。

　　初始階段視頻采用144p分辨率，混訓圖片和更高分辨率視頻。

　　第二階段提升至240p和480p分辨率，第三階段進一步增強至480p和720p。

　　統(tǒng)一的圖生視頻/視頻生視頻框架:

　　基于Transformer，DiT架構(gòu)可支持圖像到圖像及視頻到視頻任務(wù)。

　　提出掩碼策略來支持圖像和視頻的條件化處理。

　　掩碼策略配置:

　　引入了隨機掩碼策略，以隨機方式選擇并取消掩碼的幀，提高模型處理圖像條件化的能力。

　　支持多時間/分辨率/長寬比/幀率訓練:

　　通過分桶策略，使用原始視頻的分辨率、長寬比和長度進行訓練，增加采樣靈活性。

　　數(shù)據(jù)收集和預(yù)處理流程:

　　作者團隊提供了詳盡的數(shù)據(jù)收集與處理指南，分享了自動化的數(shù)據(jù)處理流程。

　　性能全方位評測:

　　Open-Sora能夠?qū)⑽淖置枋鲛D(zhuǎn)化為動人的動態(tài)視頻，支持多種內(nèi)容、分辨率、長寬比和時長的生成。

　　盡管取得了進展，但當前生成的視頻在噪聲問題、時間一致性、人物生成質(zhì)量以及美學評分方面仍有待改進。作者團隊將在下一版本中優(yōu)先解決這些挑戰(zhàn)。