Sora視頻生成器發布后不久，就被網友發現存在物理交互的bug，例如模型對物理世界的理解不足，導致小狗走路時前腿出現不自然的交錯問題。為了解決這一問題，提升視頻生成的真實感，來自MIT、斯坦福大學、哥倫比亞大學和康奈爾大學的研究人員聯合提出了一種基于物理的方法模型——PhysDreamer。

　　PhysDreamer利用視頻生成模型學習到的對象動力學先驗，為靜態3D對象賦予交互式動力學。通過提煉這些先驗知識，PhysDreamer能夠合成現實物體對全新交互的響應，如外力或智能體操作，并在彈性物體的不同示例上展現了該方法的效果。

　　問題形式化

　　PhysDreamer的目標是估計對象的物理材料屬性場，以實現真實的交互式運動合成。具體來說，就是估計3D物體的空間變化楊氏模量場E(x)，以進行粒子模擬。楊氏模量用來測量材料的剛度，決定物體響應外力作用的運動軌跡。

　　模型架構

　　PhysDreamer通過生成運動中物體的可信視頻，然后優化材料場E(x)以匹配合成運動。給定一個表示為3D高斯的對象，首先從某個視點進行渲染，然后使用圖像到視頻生成模型來生成運動中物體的參考視頻。接著，使用可微分材質點方法(MPM)和可微分渲染，對空間變化的材質場和初始速度場進行優化，旨在最小化渲染視頻和參考視頻之間的差異。

　　實驗結果

　　研究人員收集了八個真實世界的靜態場景，并捕捉了四個交互視頻來說明其在交互后的自然運動。在用戶研究中，超過80%的參與者在兩項選擇實驗中更傾向于PhysDreamer模型，認為其在運動的真實性上更勝一籌;在視覺質量方面，也有65%的參與者更偏好PhysDreamer。

　　PhysDreamer模型的發布，為解決視頻生成中的物理交互問題提供了一種有效的解決方案。通過估計物體的物理材料屬性，PhysDreamer能夠合成更加逼真的物體動態行為，顯著提升了視頻生成的真實感。這一研究成果有望推動視頻生成技術的發展，為未來的應用帶來更多可能性。