Meta公司宣布了一項(xiàng)重大技術(shù)進(jìn)展，發(fā)布了其最新的開(kāi)源模型——Llama3。這一模型包含兩種參數(shù)規(guī)模:8B(80億參數(shù))和70B(700億參數(shù))，預(yù)計(jì)將于今年7月正式面世。Llama3模型不僅具備多模態(tài)能力，還集成了新的計(jì)算機(jī)編碼功能，能夠輸出文本和圖像，預(yù)示著其未來(lái)將被應(yīng)用于雷朋 Meta 智能眼鏡等設(shè)備。

　　Meta公司與谷歌建立了合作伙伴關(guān)系，將實(shí)時(shí)搜索結(jié)果整合到 AI 助手的答復(fù)中，進(jìn)一步提升了用戶(hù)體驗(yàn)。與前代 Llama2相比，Llama3在多個(gè)行業(yè)基準(zhǔn)測(cè)試中展現(xiàn)了突破性的性能，特別是在推理、代碼生成和指令跟蹤等方面取得了顯著進(jìn)步。為了訓(xùn)練這一模型，Meta 構(gòu)建了兩個(gè)包含2.4萬(wàn)個(gè)GPU的集群，其中1.6萬(wàn)個(gè)GPU同時(shí)用于Llama3的訓(xùn)練。

　　Llama3的開(kāi)發(fā)預(yù)示著 Meta 在 AI 領(lǐng)域的雄心壯志。目前，公司正在開(kāi)發(fā)的最大型模型擁有超過(guò)400B(400億)的參數(shù)規(guī)模。Meta Llama3的主要性能特點(diǎn)包括:

　　模型規(guī)模與類(lèi)型:提供8B和70B兩種規(guī)模的預(yù)訓(xùn)練和指令調(diào)優(yōu)生成文本模型，專(zhuān)為對(duì)話(huà)和其他語(yǔ)言處理任務(wù)優(yōu)化。

　　模型架構(gòu):采用自回歸方法和基于優(yōu)化的變換器架構(gòu)，引入了分組查詢(xún)注意力機(jī)制，提升了大規(guī)模參數(shù)下的推理可擴(kuò)展性。

　　訓(xùn)練與數(shù)據(jù)處理:使用超過(guò)15萬(wàn)億的tokens進(jìn)行預(yù)訓(xùn)練，訓(xùn)練集是Llama2的七倍，支持高達(dá)30種語(yǔ)言。

　　性能與基準(zhǔn)測(cè)試:在多個(gè)自動(dòng)化基準(zhǔn)測(cè)試中表現(xiàn)出色，包括對(duì)話(huà)、問(wèn)答、推理等多種任務(wù)，并特別針對(duì)現(xiàn)實(shí)世界場(chǎng)景進(jìn)行了優(yōu)化。

　　Meta 還發(fā)布了基于 Llama3的 AI 助手，目前已在美國(guó)之外的十多個(gè)國(guó)家推出。用戶(hù)可以在 Facebook、Instagram、WhatsApp 和 Messenger 上使用 Meta AI 助手，它能夠推薦餐廳、規(guī)劃周末活動(dòng)、協(xié)助學(xué)習(xí)等。此外，Meta AI 還整合了搜索功能，可以直接訪(fǎng)問(wèn)網(wǎng)絡(luò)上的實(shí)時(shí)信息，無(wú)需切換應(yīng)用。