1月29日 消息:伊利諾伊大學香檳分校的研究團隊發表了關于代碼集成到LLM訓練數據中的好處。這項研究概述了代碼預訓練對LLM的影響，并追蹤了LLM作為智能智能體時的作用。將LLM連接到其他功能終端有助于模型更準確地執行任務，具備獲取外部知識和多種模態數據的能力。

　　然而，選擇反饋信號時需要謹慎，因為嘈雜的提示可能會影響模型在下游任務上的表現。此外，研究人員認為在訓練數據中加強代碼屬性可以直接提高模型的推理能力。

　　研究人員設想探索多樣化的訓練目標和新穎的架構將為進一步增強模型推理能力提供更多機會。對于數據密集型領域中更復雜的任務，模型需要精確掌握各種功能終端的使用方法，這是將LLM連接到不同的功能終端時面臨的挑戰。