在發布不到一周后，Amazon Q —— 亞馬遜對抗 Copilot 的生成式 AI 助手——已面臨生存威脅，一份新報告顯示這款 AI 助手可能產生「嚴重幻覺」。

　　據 The Platformer援引泄露文件報道，Q 正面臨準確性和隱私問題，包括幻覺和數據泄露。值得注意的是，這一報道正值兩項重要研究顯示，大型語言模型(LLM)在連接企業數據庫時高度不準確，且變得越來越不透明之際發布。

　　然而，據亞馬遜一位發言人表示，Amazon Q 并未泄露任何機密信息。

　　「一些員工通過內部渠道和工單系統分享反饋，這是亞馬遜的標準做法。那些反饋并未識別出任何安全問題。我們感謝收到的所有反饋，并將繼續調整 Q，使其從預覽產品過渡到普遍可用，」該發言人表示。

　　盡管亞馬遜聲稱其為數百萬人的工作伙伴，分析人士認為亞馬遜 Q 可能還未準備好用于企業環境。

　　EIIRTrend & Pareekh Consulting 首席執行官 Pareekh Jain 表示：「如果存在幻覺，就不能在企業環境中用于決策。它適用于個人使用或獲取信息，但不適用于決策過程。」

　　更多測試需求

　　亞馬遜可能在其生成式 AI 助手準備好商業發布之前面臨重大的測試挑戰。Jain 強調了進行廣泛內部試驗以確保準備就緒的重要性。

　　「我認為他們需要先對內部員工進行更多測試，」Jain 補充道。「顯然，這正是他們現在正在做的。最終，沒有外部來源報告這些問題。這里有兩個方面：一是數據，另一個是算法。他們必須看看這是數據問題還是算法問題。」

　　Q 利用了 17 年 AWS 的數據和開發經驗，旨在作為企業的多功能工具。鑒于行業的發展方向，亞馬遜在這款 AI 產品上投入了巨大的賭注。

　　盡管「幻覺」并不削弱生成式 AI 在消費者和企業用例中的潛力，但適當的訓練至關重要，市場研究公司 IDC 的副總裁 Sharath Srinivasamurthy 表示。

　　「在更高質量數據上訓練模型、提示增強(引導用戶使用模型容易理解的預定義提示)、針對組織或行業特定數據和政策不斷微調模型、在響應可疑時增加人工檢查層，這些都是需要采取的步驟，以充分利用這項新興技術，」Srinivasamurthy 說。

　　幻覺是否會促使迫切需要進行監管?

　　關于幻覺的報告引發了對監管需要和可能在某一時刻生效的規則嚴重性的擔憂。然而，Greyhound Research 首席分析師兼 CEO Sanchit Vir Gogia 指出，任何由此產生的監管可能適得其反。

　　「事實上，任何監管都可能減緩數據的交換和利用，」Gogia 說。「因此，目前來說，這個行業越不受監管越好。這允許更容易、更順暢地使用數據。以 OpenAI 的 GPT 為例——如果對可捕獲數據設置嚴格的防護欄，那么它就不會取得成功。」

　　Jain 也建議，設置外部邊界可能不是一個可行的想法，但公司本身可能會付出更多努力。

　　「監管可能存在，但重點主要是自我監管，」Jain 解釋說。「盡管監管和指導方針是必要的，但對于能夠執行的審核程度有一定的限制。重點應該是負責任的 AI，其中的邏輯可以向客戶解釋，而不是創建『黑箱』系統。然而，在我看來，有一個閾值，超過這個閾值，責任更多地轉向企業如何作為安全問題來看待和實施這些措施。」

　　所有目光聚焦于亞馬遜

　　雖然這些見解凸顯了更強大的內部測試和自我監管傾向的必要性，但在企業環境中部署 AI 的道路充滿了復雜性。現在亞馬遜需要在這些挑戰中找到方向，特別是因為它在這一領域的晚期進入。

　　「AWS 在這個領域有些落后，目前微軟和谷歌正在領先，」Jain 補充道。「因此，人們對于聊天機器人和其他相關技術抱有更高的期望。」