騰訊昨天發布了一個名為ELLA的項目，這是一個高效的大語言模型適配器，能夠無需訓練就增強現有SD模型提示詞理解的能力。ELLA將強大的大語言模型整合到文本到圖像的擴散模型中，從而顯著提升模型處理文本對齊的能力，而不需要額外對U-Net或大語言模型進行訓練。

　　為了順暢地整合兩種預訓練模型，項目團隊探索了多種語義對齊連接器的設計，并提出了一種創新模塊——時間步感知語義連接器(TSC)。這個連接器能夠根據時間步的變化，動態地從大語言模型中提取條件，幫助擴散模型在不同的去噪階段更好地理解長而復雜的文本提示。

　　ELLA的設計使其可以輕松整合到社區模型和工具中，增強它們對復雜提示的遵循能力。為了評估文本到圖像模型在處理密集提示方面的性能，團隊還引入了一個名為密集提示圖基準(DPG-Bench)的新挑戰，該基準包括1000個密集的提示。

　　通過大量實驗，研究人員發現，當處理包含多對象、不同屬性和關系的復雜組合時，ELLA在密集提示遵循方面的表現優于目前最先進的方法。這個項目的發布為文本到圖像模型的發展帶來了新的可能性，也為未來的研究和應用提供了新的思路。