蘋果公司最新發(fā)布了一款名為MM1的大型多模態(tài)基礎(chǔ)模型，擁有300億參數(shù)，采用了MoE架構(gòu)，并且超過一半的作者是華人。該模型在多模態(tài)領(lǐng)域具有重要意義，可能預(yù)示著蘋果未來推出與此相關(guān)的產(chǎn)品。

　　今年以來，蘋果明顯加大了對(duì)生成式人工智能(GenAI)領(lǐng)域的投入，這一舉措體現(xiàn)了蘋果在GenAI領(lǐng)域取得重大進(jìn)展的決心。據(jù)悉，蘋果一部分轉(zhuǎn)向GenAI的團(tuán)隊(duì)原本是從事造車項(xiàng)目的，而如今他們也開始投身于GenAI領(lǐng)域的研發(fā)工作。

　　MM1的發(fā)布引起了廣泛關(guān)注。據(jù)論文介紹，該模型采用了MoE變體，并且在預(yù)訓(xùn)練指標(biāo)和多項(xiàng)多模態(tài)基準(zhǔn)測(cè)試上表現(xiàn)出了領(lǐng)先水平。研究者通過多項(xiàng)消融試驗(yàn)，探討了模型架構(gòu)、預(yù)訓(xùn)練數(shù)據(jù)選擇以及訓(xùn)練程序等方面的重要性。他們發(fā)現(xiàn)，圖像分辨率、視覺編碼器損失和預(yù)訓(xùn)練數(shù)據(jù)在建模設(shè)計(jì)中都起著關(guān)鍵作用。

　　在預(yù)訓(xùn)練數(shù)據(jù)選擇方面，研究者發(fā)現(xiàn)了幾個(gè)重要經(jīng)驗(yàn):交錯(cuò)數(shù)據(jù)對(duì)提高少樣本和純文本性能有幫助，而字幕數(shù)據(jù)則對(duì)提高零樣本性能具有重要作用。

　　此外，純文本數(shù)據(jù)對(duì)于提高少樣本和純文本性能同樣至關(guān)重要。通過合理混合圖像和文本數(shù)據(jù)，可以獲得最佳的多模態(tài)性能，并保留較強(qiáng)的文本性能。研究者還發(fā)現(xiàn)，人工合成數(shù)據(jù)有助于少樣本學(xué)習(xí)。

　　最終，研究者確定了MM1的最終配方，包括圖像編碼器、視覺語言連接器和預(yù)訓(xùn)練數(shù)據(jù)的選擇。他們還將LLM的大小擴(kuò)大到3B、7B和30B個(gè)參數(shù)，并通過專家混合(MoE)進(jìn)一步擴(kuò)展了模型。在監(jiān)督微調(diào)實(shí)驗(yàn)中，MM1在多項(xiàng)基準(zhǔn)測(cè)試上表現(xiàn)出了競(jìng)爭力，并且MoE模型在幾乎所有基準(zhǔn)測(cè)試中均表現(xiàn)優(yōu)于密集模型。

　　MM1的發(fā)布標(biāo)志著蘋果在多模態(tài)領(lǐng)域的重要進(jìn)展，也為未來蘋果可能推出的相關(guān)產(chǎn)品奠定了技術(shù)基礎(chǔ)。該研究的成果對(duì)于推動(dòng)生成式人工智能領(lǐng)域的發(fā)展具有重要意義，值得業(yè)界密切關(guān)注。