Galileo 近日發(fā)布了一款名為 Luna 的全新產(chǎn)品，這一革命性的 Evaluation Foundation Models 套件重新定義了企業(yè)對(duì) GenAI 系統(tǒng)的評(píng)估方式。Luna 承諾在速度、成本和準(zhǔn)確性方面進(jìn)行了前所未有的突破。

　　“Galileo 推出 Luna，旨在解決當(dāng)前 GenAI 評(píng)估方法的局限性，這些方法通常速度緩慢、成本高昂，而且往往不準(zhǔn)確。”Galileo 聯(lián)合創(chuàng)始人兼首席執(zhí)行官 Vikram Chatterji 在接受 VentureBeat 采訪時(shí)表示。“推動(dòng)我們開(kāi)發(fā) Luna 的初衷源自對(duì)在生產(chǎn)環(huán)境中進(jìn)行超低延遲、成本效益高和高準(zhǔn)確性評(píng)估的需求。”

　　Luna 的研發(fā)標(biāo)志著 Galileo 取得了重要的里程碑，該公司自2021年初成立以來(lái)一直處于企業(yè) GenAI 的最前沿。公司對(duì)推動(dòng)人工智能評(píng)估邊界的執(zhí)著可從 Luna 的開(kāi)發(fā)過(guò)程中窺見(jiàn)端倪，該過(guò)程歷時(shí)近一年，進(jìn)行了密集的研發(fā)工作。

　　Luna，Galileo 劃時(shí)代的 Evaluation Foundation Models 套件，在接收器操作特征曲線下面積(AUROC)得分的基準(zhǔn)比較中勝過(guò)了領(lǐng)先的人工智能評(píng)估方法。更高的 AUROC 值達(dá)到了0.78，表明 Luna 在評(píng)估企業(yè)生成式人工智能系統(tǒng)的準(zhǔn)確性方面更勝一籌，超越了 GPT-3.5、Trulens Groundedness 和 RAGAS Faithfulness 等競(jìng)爭(zhēng)對(duì)手。

　　Luna 創(chuàng)新的核心在于其專(zhuān)為特定評(píng)估任務(wù)設(shè)計(jì)的小型語(yǔ)言模型，精心為幻覺(jué)檢測(cè)、語(yǔ)境質(zhì)量評(píng)估、數(shù)據(jù)泄漏防護(hù)和惡意提示識(shí)別等任務(wù)量身定制。這種專(zhuān)業(yè)設(shè)計(jì)使得 Luna 在速度、成本和準(zhǔn)確性三個(gè)關(guān)鍵指標(biāo)上表現(xiàn)卓越。

　　“Luna 通過(guò)幾項(xiàng)創(chuàng)新的方式超越了 GPT-3.5在速度、成本和準(zhǔn)確性方面，”Chatterji 解釋道。“Luna 利用專(zhuān)為特定評(píng)估任務(wù)量身定制的小型語(yǔ)言模型，大大降低了計(jì)算開(kāi)銷(xiāo)和成本。這種設(shè)計(jì)選擇使得評(píng)估的成本比使用 GPT-3.5低97%，速度則比使用 GPT-3.5快11倍。”

　　然而，這并不僅僅是關(guān)于速度和成本。Luna 還以行業(yè)領(lǐng)先的準(zhǔn)確性脫穎而出，在檢測(cè)幻覺(jué)、提示注入、個(gè)人可識(shí)別信息(PII)等方面，其性能比以往方法高出多達(dá)20%。“多頭小型語(yǔ)言模型和智能分塊等先進(jìn)技術(shù)確保 Luna 模型更好地保持上下文并提供更準(zhǔn)確的評(píng)估，”Chatterji 補(bǔ)充道。

　　在對(duì)評(píng)估100萬(wàn)次查詢的月度成本進(jìn)行比較時(shí)，Galileo 的 Luna 大幅低于其他方法，僅需每月175美元。Luna 的專(zhuān)為特定評(píng)估任務(wù)設(shè)計(jì)的小型語(yǔ)言模型實(shí)現(xiàn)了超低成本的評(píng)估，使其比 GPT-3.5(每月6248美元)、RAGAS Faithfulness(每月7994美元)和 Trulens Groundedness(每月16641美元)等替代方案高效率低至97%。

　　Luna 最引人注目的一個(gè)方面是其能夠在不需要傳統(tǒng)基準(zhǔn)數(shù)據(jù)集的情況下運(yùn)行。通過(guò)利用在多樣、領(lǐng)域特定數(shù)據(jù)集上微調(diào)的預(yù)訓(xùn)練評(píng)估模型，Luna 消除了創(chuàng)建定制測(cè)試集的耗時(shí)和昂貴過(guò)程。這一創(chuàng)新簡(jiǎn)化了評(píng)估流程，減少了對(duì)大量人工生成數(shù)據(jù)的依賴。

　　Luna 的潛在應(yīng)用廣泛，Chatterji 強(qiáng)調(diào)了它在需要人工智能評(píng)估具有高可靠性和速度的行業(yè)中的相關(guān)性。“Luna 在需要大規(guī)模應(yīng)用、吞吐量大的企業(yè)應(yīng)用中尤為強(qiáng)大(比如每月數(shù)百萬(wàn)次查詢)。我們發(fā)現(xiàn)在醫(yī)療保健、金融和電信等行業(yè)，財(cái)富100強(qiáng)企業(yè)特別喜歡使用 Luna。” 他說(shuō)道。

　　Galileo 的 Luna 在人工智能評(píng)估方面提供了無(wú)與倫比的速度，處理單個(gè)查詢的延遲僅為0.232秒。這較之其他方法，例如 GPT-3.5的2.5秒、Galileo Chainpoll 的3.0秒、Trulens Groundedness 的3.4秒和 RAGAS Faithfulness 的5.4秒，有了顯著提升。Luna 的專(zhuān)為特定評(píng)估任務(wù)設(shè)計(jì)的小型語(yǔ)言模型實(shí)現(xiàn)了超低延遲的評(píng)估，使其比競(jìng)爭(zhēng)方法快至多達(dá)11倍。

　　用例涵蓋了對(duì)人工智能輸出的實(shí)時(shí)監(jiān)控、檢測(cè)人工智能生成內(nèi)容中的幻覺(jué)，以確保聊天機(jī)器人交互的安全性和質(zhì)量。通過(guò) Galileo 的 Fine Tune 產(chǎn)品，Luna 可定制以滿足特定客戶需求，為制藥和金融服務(wù)等行業(yè)的關(guān)鍵任務(wù)實(shí)現(xiàn)95% 以上的準(zhǔn)確性。

　　隨著生成式人工智能領(lǐng)域的快速發(fā)展，Galileo 致力于保持創(chuàng)新的最前沿。Chatterji 強(qiáng)調(diào)，Luna 將在三個(gè)關(guān)鍵方面擴(kuò)展規(guī)模:擴(kuò)大對(duì)更多評(píng)估任務(wù)類(lèi)型的支持、持續(xù)提高準(zhǔn)確性，以及進(jìn)一步降低成本和延遲。

　　“Galileo 致力于突破人工智能評(píng)估的可能邊界，幫助組織將可信賴的人工智能引入生產(chǎn)環(huán)境，激發(fā)消費(fèi)者的信心和信任。”Chatterji 表示。“隨著生成式人工智能領(lǐng)域的不斷演進(jìn)，Galileo 將繼續(xù)致力于為客戶提供尖端的評(píng)估能力，使人工智能在業(yè)務(wù)部署中變得實(shí)用，并在消費(fèi)者中產(chǎn)生信心和信任。”

　　隨著 Luna 的推出，Galileo 在企業(yè) GenAI 評(píng)估領(lǐng)域鞏固了其領(lǐng)先地位。隨著越來(lái)越多的組織尋求利用生成式人工智能的力量，Luna 提供快速、成本效益高和準(zhǔn)確的評(píng)估能力將成為推動(dòng)廣泛采用和釋放這一變革性技術(shù)全部潛力的關(guān)鍵因素。