本文來自于微信公眾號 量子位(ID:QbitAI)，作者:夢晨。

　　今年雙十一，除了買家賣家和平臺，還多了第四種參與者:

　　AI助手。

　　淘寶天貓平臺，商家在雙十一準備期及開賣期調用AI次數已超過15億次。

　　買家方面，AI助手淘寶問問的累計體驗人次也超1000萬，其中高活躍人群日均提問數超8次。

　　最夸張的一條數據是“單一用戶最多提問數超4000次”，這位是完全不動手找商品，買什么全聽AI的了嗎?

　　淘寶天貓這回各種AI應用，那是百花齊放。

　　不知道買什么可以問AI，具體選哪款可以問AI，選好了怎么下單哪些活動實惠還可以問AI。

　　這還沒完，賣家快速開新店可以找AI，大批量上架商品可以找AI，投放廣告還是可以找AI。

　　……

　　大模型爆發接近一年，不斷改造著人們的工作和線上娛樂方式。

　　而滲透進電商購物這一塊，可以算是連接上了空間更為廣闊的衣食住行等線下生活。AI購物新體驗

　　AI助手淘寶問問，已經對所有淘寶用戶開放，直接在搜索框輸入「淘寶問問」就能直達。

　　乍一看與其他聊天機器人產品類似，主體都是一個對話框。

　　實際上手體驗才發現，它不僅懂商品，還懂你。

　　如果有優惠券要湊滿減，就可以讓AI推薦點湊單的零食。

　　無需在提問時附加額外的要求，它也能從歷史訂單、購物車等數據中推薦符合喜好的商品。

　　對于每款推薦的商品，AI都會總結好產品本身的特點、適合的人群或場合，以及推薦理由。

　　接下來點擊商品卡片，就可以直接選擇規格、口味加入購物車了。

　　除了直接提問，在淘寶問問里有一些內置好的功能模板。

　　「用我挑商品」專治選擇困難癥，選擇兩個商品優缺點對比說的明明白白。

　　「婚禮策劃師」與「旅行策劃人」、「資深導購員」都是專為相應場景優化，整體方案+每個環節商品推薦一口氣呈現。

　　「生活小能手」和「美食達人」，在解決日常問題的基礎上又可以一鍵購齊所需材料。

　　最后「靈魂寫手」則是給喜歡分享購物體驗的用戶準備。

　　這里展開介紹一下「用我挑商品」對比商品的玩法:直接從瀏覽記錄或購物車中選擇兩件拿不準的商品。

　　即使是不同品類的洗衣液和洗衣凝珠，AI都能幫你把異同分析得頭頭是道。

　　當然如果是要對比衣服，到底怎么搭配好看，淘寶問問暫時還幫不到你。

　　這時候就要請出另一個功能「淘寶試衣」了，還是直接搜索就可找到。

　　看好哪件點一下就可換裝，可自己搭配上裝下裝或選擇套裝，堪稱真人版奇跡暖暖。

　　涉及要與發型臉型體型腿型各種型搭配的，還可以上傳自己的全身照片、設定自己的身高體重來代替AI模特，不出門不花錢就能在線試穿上千萬種。

　　可以點擊對比按鈕，與自己拍照時的狀態反復對比，也是很實用的玩法。

　　除了上面展開介紹的這些，淘寶天貓還準備了「我的萌寵」，通過AIGC技術為你的寵物制作數字分身;「極有家」，上傳房間照片，在線設計裝修方案等更多玩法。

　　都是在搜索欄搜索直達，篇幅有限，就留給感興趣的讀者自己去體驗了。

　　商家也有了專門的「淘寶商家智能經營工具」，從上傳第一個商品照片開始，店鋪起名、生成Logo、僅靠張圖片自動識別商品屬性、上架、到店鋪裝修，一氣呵成，節省大量人工操作。

　　此外還有商品素材任意擴展尺寸功能，適應各種展示場合，大幅降低素材加工成本，避免人力返工。

　　最終從復盤數據來看，今年雙十一是新品牌、新商家、中小商家參與最多的一屆。

　　按往常來說，對于平臺功能不熟悉、操作不熟練會帶來不少麻煩，但今年在新技術的加入下，徹底把經營店鋪的門檻降低了。

　　淘寶商家智能經營工具線不足半月，就為女裝服飾商家提供了10w+次AI發品服務，發品時長較傳統發品降低25%。

　　基于大語言模型技術研發的中心化電商經營Copilot，開啟內測后也為數萬商家提供了經營知識問答、經營工具調用、文案生成等多種經營輔助能力，目前已經為商家經營提效超50w次。 AI技術在電商領域的首次大規模應用

　　算起來，ChatGPT發布接近一周年，AIGC文生圖的興起還要更早一些。

　　這期間每一次技術突破，都掀起一波創業或改造已有業務的浪潮。直到今年雙十一期間，AI在電商領域終于實現大規模應用，意義非比尋常:

　　不僅用于企業內部流程，還要面向終端用戶。而且是一次面對買家和賣家兩種特點、需求都截然不同的終端用戶。

　　這其中涉及大模型和AIGC文生圖兩大技術路線的融合創新，可以觀察到AI如何跨越從技術到應用的鴻溝，也能為更多行業帶來啟示。

　　先說更早興起的AIGC文生圖。2022年8月Stable Diffusion開源、算力需求小，開啟了AIGC商業化的序幕。

　　但Stable Diffusion的弱點也很快在實踐中暴露出來:

　　首先是生成的圖像不可控問題，特別是淘寶天貓所在的電商領域，對商品主體的呈現準確性要求極高。

　　其次是使用復雜，復雜的提示詞技巧就不好掌握，眾多需要調節的參數更是增加了學習成本。

　　轉機很快出現。1月份，ControlNet橫空出世，巧妙的通過添加輔助條件引導生成，一定程度上解決可控性問題，被譽為“改變游戲規則”。

　　這時，高手已經可以用Stable Diffusion+ControlNet的組合來指定生成圖像的細節了，如人物姿態、整體布局等，相當于提升了AIGC文生圖的上限。

　　但對于淘寶天貓要服務的眾多普通用戶而言，這些引導方式的理解和使用成本依然很高。

　　23年8月，一項新技術IP-Adapter出現，再次把穩定按需生成圖像的門檻降低。

　　IP-Adapter相當于開辟了“用圖像當提示詞”的新方法，也可以當成ControlNet中的一個引導條件。

　　這樣一來，電商賣家在文生圖流程中利用好現成的商品照片即可，無需再學習掌握提示詞技巧或其他專業制圖知識，相當于進一步降低了AIGC的下限。

　　解決了基本的實用性問題，更深層次的需求又凸顯出來。

　　Stable Diffusion屬于預訓練模型，對世界的理解主要來自訓練階段的數據。

　　而電商領域又是快速變化的，每天都會上新大量商品，需要AI能不斷更新、持續學習。

　　這時，來自大語言模型的快速微調技術LoRA就派上用場，借鑒到AIGC文生圖領域被當做“知識/概念注入”的方法。

　　具體來說，LoRA在微調時會凍結模型的大部分權重，僅更新一小部分。同時更新后的權重還可單獨分離出來，每個只有幾十到上百MB大小。

　　在淘寶天貓的實踐中，LoRA相當于為商品和模特構建了數字分身，為商家沉淀數字資產，可以進一步生成更加豐富多樣的商品或模特圖。

　　把LoRA加入流程后，又出現生成可控比較差的問題。如何讓LoRA生成的模特在像與美之間取得平衡，如何讓基于LoRA生成的商品精準還原商品細節，都是需要進一步解決的應用挑戰。

　　此外淘寶天貓還在探索不用訓練即可將商品概念用于圖像生成的全新知識注入技術，直接在推理階段提供商品圖片即可，極大降低知識注入技術的應用成本，提升實時性。

　　AIGC要大規模應用，光是圍繞圖像生成模型Stable Diffusion本身的增強改造就有這么多。

　　但實際工作流程中，為了大幅降低生圖操作的復雜度，還有大量工作需要完成。

　　比如針對電商領域對商品主體必須準確呈現的需求，又加入了SAM分割萬物分模型，先把商品主體分離，再與AI生成的環境背景部分適配融合。

　　這樣一來確保了商品主體的準確呈現，避免出現“貨不對版”，又能使商品主體與背景無縫融合， 讓光影看起來沒有破綻，有放置物感。

　　接下來還要結合局部細節修復、超分辨率、增加濾鏡等多個環節提高圖像質量，達到商用級別水準。

　　AIGC應用如此，大模型在電商領域走向大規模應用的歷程同樣困難重重。

　　特別是淘寶天貓要做的不是純粹的專業模型，而是一個有很強專業領域能力的通用模型，以解析淘寶用戶長尾的自然語言問題，理解更加精準的用戶意圖。

　　要實現這一點，在通用模型的基礎上首先要增加電商專業知識，在多年積累的電商行業數據中訓練。

　　但此時通用大模型還在根據輸入續寫文本，比如當用戶提出一個問題，模型很有可能按格式補充多個類似問題，而不是回答這個問題。

　　行業中解決這個問題的方法AI與人類偏好對齊。SFT(指令微調)讓大模型學會如何完成用戶的指令，RLHF(人類反饋強化學習)讓大模型學會什么樣的回答滿足人類偏好。在淘寶天貓的實踐中，產品上線后還能不斷迭代用戶的反饋偏好。

　　接下來要解決的是大模型回答中的，業內稱為“幻覺問題”。對此，淘寶天貓技術團隊從模型內外兩方面，雙管齊下去解決。

　　模型內，也就是在模型訓練階段就引入大量電商行業數據。

　　模型外，通過RAG(檢索增強生成)技術，針對不同的問題，調用不同的知識庫，獲取實時更新的商品信息。

　　更進一步的，針對需要實時調用外部工具的問題，淘寶天貓技術團隊利用Tool learning技術，優化大模型理解工具、選擇工具和調用工具的能力，并提供可解釋的工具調用路徑，使回答內容更準確，回答形式更加豐富。

　　比如淘寶問問里用戶的一次普通查詢，不僅調用了大模型生成能力，還調用了淘寶商品推薦能力和內容社區的視頻推薦能力。更復雜的場景如旅行策劃，還會調用合作伙伴飛豬的機酒預訂能力。

　　最終，以淘寶問問為代表的一系列大模型產品，在大模型基礎上有意圖識別、任務規劃、記憶和使用外部工具能力，正朝著Agent(智能體)的方向發展，也就是大模型行業必爭的下一個階段。 雙十一大考，AI成績如何?

　　以往每年雙十一，對技術、工程來說都是一輪大考。今年對AI的加入來說，更增添了一層初次實戰檢驗的味道。

　　現在，淘寶天貓集團這一波AI成果，是不是也代表著一些明確的新趨勢?

　　首先，AI技術創新拓展了電商的邊界，增加了可能性。

　　購物從需要明確知道要買什么，去搜索。變成了只要有需求，都可以詢問AI。

　　即使之前不知道該買什么或者根本不認為能通過購買商品解決的需求，都可能由AI為你推薦出來。

　　其次，AI技術創新改進了商家的工作方式和生產效率。

　　與買家的情況相似但又不同，賣家被AI推薦的則是后臺功能、經營工具。

　　以往商家使用淘寶天貓商家后臺的千牛工作臺，有不低的學習成本，功能太豐富，很多不知道在哪，甚至不知道某個功能的存在。

　　AI加持下，也變成了店鋪經營過程中有任何需求就可以找AI，讓AI定位到合適的功能，或通過RAG技術解答商家的問題。

　　最后，雙十一雖已過去，但大量與AI交互留下寶貴的經驗和數據。

　　淘寶天貓集團本就擁有完整的電商行業數據、行業經驗，并憑借其打造出規模化的AI產品，雙十一期間產生大量用戶反饋數據，又可以再投入到算法改進，最終形成滾雪球效應。

　　OpenAI開發者日標志著AI行業越來越卷，YC創始人Paul Graham給提出建議，若要在競爭中不被淘汰，需要做到:

　　不僅依賴AI，還依賴于特定領域的深厚領域知識

　　與終端用戶建立非常密切的關系

　　而這兩點，恰好也是淘寶天貓集團天生所擅長的。

　　在AIGC行業有個說法，“AI一天，人間一年”，期待明年618、雙十一，AI又能給我們帶來什么購物新體驗。