騰訊混元大模型家族今日宣布迎來(lái)新成員 —— 混元-A13B 模型發(fā)布并開(kāi)源。

　　混元-A13B 作為基于專(zhuān)家混合(MoE)架構(gòu)的大模型，總參數(shù) 800 億、激活參數(shù) 130 億，號(hào)稱(chēng)“在效果比肩頂尖開(kāi)源模型的同時(shí)，大幅降低推理延遲與計(jì)算開(kāi)銷(xiāo)”。

　　騰訊混元表示，這對(duì)個(gè)人開(kāi)發(fā)者和中小企業(yè)來(lái)說(shuō)，無(wú)疑是個(gè)好消息，極端條件下僅需 1 張中低端 GPU 卡即可部署。用戶可以在 Github、HuggingFace 等技術(shù)社區(qū)下載使用，模型 API 已在騰訊云官網(wǎng)上線。

　　混元-A13B 模型通過(guò) MoE 架構(gòu)，為每個(gè)輸入選擇性地激活相關(guān)模型組件，號(hào)稱(chēng)與同等規(guī)模的密集模型相比“又快又省”，而且為個(gè)人開(kāi)發(fā)者和中小企業(yè)提供了一個(gè)“可擴(kuò)展且高效的替代方案”。

　　預(yù)訓(xùn)練中，模型用了 20 萬(wàn)億高質(zhì)量網(wǎng)絡(luò)詞元語(yǔ)料庫(kù)，提升了模型推理能力的上限;完善了 MoE 架構(gòu)的 Scaling Law(即規(guī)模定律)理論體系，為 MoE 架構(gòu)設(shè)計(jì)提供了可量化的工程化指導(dǎo)，提升了模型預(yù)訓(xùn)練效果。

　　用戶可以按需選擇思考模式，快思考模式提供簡(jiǎn)潔、高效的輸出，適合追求速度和最小計(jì)算開(kāi)銷(xiāo)的簡(jiǎn)單任務(wù);慢思考模式涉及更深、更全面的推理步驟。這優(yōu)化了計(jì)算資源分配，兼顧效率和準(zhǔn)確性。

　　混元還開(kāi)源了兩個(gè)新數(shù)據(jù)集，以填補(bǔ)行業(yè)內(nèi)相關(guān)評(píng)估標(biāo)準(zhǔn)的空白。其中，ArtifactsBench 主要用于代碼評(píng)估，構(gòu)建了一個(gè)包含 1825 個(gè)任務(wù)的新基準(zhǔn);C3-Bench 針對(duì) Agent 場(chǎng)景模型評(píng)估，設(shè)計(jì)了 1024 條測(cè)試數(shù)據(jù)，以發(fā)現(xiàn)模型能力的不足。

　　從具體效果來(lái)看，數(shù)學(xué)推理方面，例如輸入“9.11 和 9.9 誰(shuí)大”，模型可準(zhǔn)確完成小數(shù)比較，并展現(xiàn)分步解析能力。

　　對(duì)于時(shí)下熱門(mén)的智能體(Agent)應(yīng)用，模型可調(diào)用工具，生成出行攻略、數(shù)據(jù)文件分析等復(fù)雜指令響應(yīng)。

　　再看數(shù)據(jù)和效果。在多個(gè)公開(kāi)數(shù)據(jù)測(cè)試集上，模型在數(shù)學(xué)、科學(xué)和邏輯推理任務(wù)上表現(xiàn)出“領(lǐng)先效果”。