傳統(tǒng)的游戲引擎依賴手動編碼，通過循環(huán)處理用戶輸入、更新游戲狀態(tài)來完成游戲的開發(fā)，這種方法費時且成本非常高。

　　谷歌的研究人員基于開源擴散模型Stable Diffusion1.4開發(fā)了實時游戲模擬引擎GameNGen，可以在單個TPU上以超過20幀每秒的速度交互式模擬了經(jīng)典射擊游戲《DOOM》。

　　隨后邀請了人類對GameNGen模擬的游戲進行評估，結(jié)果顯示，人類幾乎無法分別出哪個一個是AI模擬的游戲，這是因為GameNGen在模擬游戲時，不只是簡單地復(fù)制視覺效果，還能維持復(fù)雜的內(nèi)部狀態(tài)更新。

　　例如，可以正確地計算玩家的生命值、彈藥數(shù)量，攻擊敵人，破壞物體，打開門等，并且這些狀態(tài)變化能夠持續(xù)多幀形成連貫的視覺效果，進一步增強了模擬的真實性。

　　GameNGen模擬的經(jīng)典設(shè)計游戲《Doom》

　　雖然GameNGen的功能異常強大，但在架構(gòu)和訓(xùn)練方面并不復(fù)雜，主要由兩大部分組成。第一階段，通過訓(xùn)練一個智能體來模擬人類玩家的各種游戲行為，通過與游戲環(huán)境的交互，生成了一系列的動作和觀察數(shù)據(jù)。

　　這些數(shù)據(jù)不僅包括玩家的輸入，按鍵和鼠標移動，還包括游戲的輸出，屏幕上渲染的像素等。該數(shù)據(jù)后續(xù)會被用來訓(xùn)練生成模型，使其能夠?qū)W習(xí)如何根據(jù)玩家的輸入和游戲的當前狀態(tài)來預(yù)測游戲的下一幀。

　　為了使智能體更好地執(zhí)行多種動作，研究人員還設(shè)置了獎勵函數(shù)，包括玩家被擊中(-100分)、玩家死亡(-5000分)、擊中敵人(300分)、殺死敵人(1000分)、拾取物品 / 武器(100分)、發(fā)現(xiàn)秘密(500分)等。此外，為了鼓勵智能體流暢地模擬人類玩法，每個動作會應(yīng)用4幀，并人為增加重復(fù)上一個動作的概率。

　　第二階段，在訓(xùn)練生成模型時，研究人員選了開源的擴散模型Stable Diffusion v1.4作為基礎(chǔ)模型，并對其進行了調(diào)整以適應(yīng)游戲模擬的復(fù)雜需求。通過編碼過去的幀和動作來預(yù)測下一幀，該過程涉及到將過去的幀編碼到潛在空間，并將其與噪聲結(jié)合來生成新的幀。這種編碼和預(yù)測的過程是GameNGen能夠?qū)崟r生成高質(zhì)量游戲畫面的技術(shù)關(guān)鍵。

　　為了解決自回歸生成過程中可能出現(xiàn)的樣本質(zhì)量快速下降難題，研究人員引入了“噪聲增強”技術(shù)。這種方法通過在訓(xùn)練時向編碼幀中添加不同量的高斯噪聲，并在模型輸入中包含噪聲水平，使得網(wǎng)絡(luò)能夠在推理時校正之前幀中的錯誤信息。也是保持長時間軌跡穩(wěn)定性的重要方法，允許模型在生成過程中不斷校正和優(yōu)化其預(yù)測，從而保持生成畫面的連貫性和質(zhì)量。

　　研究人員表示，雖然GameNGen還有一些技術(shù)局限，但在游戲關(guān)卡設(shè)計、游戲測試、實時場景交互等游戲開發(fā)領(lǐng)域幫助非常大。例如，在創(chuàng)建游戲場景時，傳統(tǒng)方法可能需要開發(fā)人員逐一編寫每個元素的代碼，而 GameNGen 可以根據(jù)訓(xùn)練數(shù)據(jù)自動生成逼真的場景，包括地形、建筑和道具等。

　　此外，GameNGen 還能夠根據(jù)玩家的行為和反饋進行實時調(diào)整和優(yōu)化。可以學(xué)習(xí)玩家的游戲模式和偏好，從而為玩家提供個性化的游戲體驗。例如，如果玩家傾向于某種類型的游戲策略，GameNGen 可以相應(yīng)地調(diào)整游戲難度和內(nèi)容，以增加游戲的趣味性和挑戰(zhàn)性。