一年一度的雙十一狂歡節已經來臨,這個特殊的節日因為電商們的集體瘋狂促銷而被賦予了特殊的含義。從往年的數據來看,雙十一當天各家平臺的成交額和成交量都是在創造著各種數字奇跡,并且每年都保持高速增長。
驚人的數據背后也有著不可想象的挑戰,特別是在零點之后的幾分鐘內,數千萬的用戶在同一時間進行著同樣的購物流程,搜索、查看詳情、下單、支付等等的每一個環節都需要保證高并發下的高可用性,擴容、冗余、多活、降級、防DDos等等的技術都需要滲入到相關的平臺架構中。
而對于雙十一這樣的高并發訪問場景,很多中小型電商并不具備相對應的運維能力,所以他們開始借助專業的云服務商來解決這些棘手的問題。這其中,騰訊云就為用戶提供了11.11電商解決方案,核心能力包括彈性擴容、抵御刷單等,蘑菇街、聚美優品、當當、有貨、唯品會、小紅書、楚楚街等知名電商平臺都基于他們的云服務構建了自己的業務架構。為了了解騰訊云電商解決方案的技術細節,InfoQ記者采訪了其資深架構師羅志。
電商架構
每家電商都有自己各自的業務特色和技術棧,具體落實的架構不盡相同;但是在我看來,有一些規律可以遵循,這里對不同的電商架構情況進行下分類介紹。各電商業務的架構一般比較類似,都是4層架構,即接入層、邏輯層、cache層和數據庫層。
近年來,隨著搶購、秒殺的興起,要求電商后臺需要能夠有集中時間內應對大請求量的處理能力,因此,在對接入層、邏輯層的按需、實時、快速平行擴展能力就提出了較高的要求。同時由于國內日漸猖獗的羊毛黨黑產的泛濫,因此電商業務對騰訊云的基于大數據的惡意用戶識別——天御系統,也有了越來越多的需求。
在考慮電商業務架構的時候,以接入層為例,在以往非云架構時,業務往往只會選擇一個接入中心,雖然有BGP的接入,但畢竟受限于物理距離,故對距離接入中心較遠的地區的覆蓋,依然是存在不足的,這個問題在移動端APP訪問時,變得尤為突出。因此在這里,建議更多的考慮如何復用公有云在全國各可用區間強大的內網專線能力,通過反向代理等技術,實現全國多接入中心的接入能力。
但若按業務架構的物理部署而言,又可以大致分為傳統和新興電商兩類。其中傳統電商,在初創時即使用自有IDC,故僅在公有云上部署其接入、邏輯、cache層,充分復用公有云的BGP接入及彈性的能力,同時又以專線將騰訊云與其私有IDC數據中心連接成為混合云。
而以小紅書為代表的新興電商,由于其是完全在騰訊云上成長起來的業務架構,故會將全部業務架構部署在云端,充分享受云帶給其的低運維成本和低架構成本,而將全部重心投入在業務發展上。
如果某家電商客戶同時采用了其他家的云服務或者自由IDC,那么我認為混合云是一個比較好的發展方向,無論是雙云混合還是自有IDC+云。如果是雙云架構,建議以雙云容災,一個為主一個為備作為主要的考慮方向。而如果是構建混合云,則以充分利用云的彈性及BGP+多地接入節點作為主要的考慮方向。
怎樣做到彈性伸縮
彈性伸縮(Auto Scaling)根據業務需求和策略,自動調整計算資源。可根據定時、周期或監控策略,恰到好處地增加或減少 CVM 實例,并完成配置,保證業務平穩健康運行。
騰訊云目前的彈性伸縮請求響應時間是5-10分鐘,擴容時間視客戶鏡像大小而定,一般10分鐘以內。同時并發擴容數,無限制。我們的實現是基于業務無狀態層的,可自定義策略的彈性伸縮能力。


整體架構如下圖:

這里可以舉一個我們的客戶案例進行分享,江蘇盛瑞面臨的挑戰有三點:
動輒需要數千臺規模的擴容,需要穩定、海量資源的后臺過去需要2個以上運維人員晚上加班手工擴容,耗時大半天,費事費力機器數量巨大,希望找到計費更精確的云平臺,節省費用
經過我們的努力最終實現了2.5小時完成兩次自動擴容,共擴充接近3000臺高配服務器,此后又完成自動縮容;全程零故障,零人工參與,順利度過高峰。
盡可能地周全監控服務
對于監控,我們會考慮到云服務器CPU利用率、內存利用率、磁盤利用率以及云數據庫、Memcached高速存儲等各項云服務負載和性能指標,通過直觀圖表展示出來。
在設計和實現監控時,我們考慮到了需要支持配置多種指標的告警觸發閾值,每個策略可關聯不同云產品。設為默認告警策略后,自動關聯該策略,然后還支持自定義告警接收人和發送渠道。關于自定義告警通道服務,我們預留了告警上報接口,客戶可以自己通過監控腳本產生自定義的告警,通過告警上報接口,即可將告警內容上報給云監控,平臺會及時推送給客戶。
同時,不單是監控,云API幾乎覆蓋所有可以以 API 方式對外提供服務的云產品并持續迭代。新產品上線時均同步推出對應API。所有接口均以 https 方式對外提供,并通過簽名機制對調用者身份進行鑒權,充分保證 API 請求的安全性和合法性。在調試上,騰訊云提供了云 API 的調試工具,方便開發者快速調試 API 接口,并提供了豐富的代碼示例共開發和參考。
電商業務離不開圖片處理
作為電商,圖片支持需求是繞不過去的;對應到技術上,需要對商品圖片進行存儲和識別。這里重點談談我們的圖片內容識別技術:DeepEye內容識別引擎。
DeepEye是由SNG優圖實驗室、TEG信息安全部聯合研發的圖像識別引擎,基于海量數據與深度學習技術研發,旨在打造百億處理級別的高可用、高準確圖片內容檢測識別系統,對行業內各大產品UGC圖片/視頻類數據進行主動色情檢測,改變了信息安全領域依賴人工發現惡意內容的模式,升級為機器自動發現+人工輔助的AI模式;
DeepEye技術在鑒黃上的精度達到99.95%,在多次業務評測中保持業界領先;在騰訊公司內部已接入包括Qzone、頭像、Q群、朋友圈等絕大部分圖片與視頻業務,極大降低了業務監管風險;并聯合騰訊云搭建了萬象鑒黃、天御等品牌向公司外部客戶提供多媒體內容檢測服務,迄今接入了包括快手、大眾點評、京東、大智慧、斗魚等數十家領域內標桿公司,極大程度上解決了人力審核上的痛點并獲得了好評。
這里不得不重點提一下DeepEye技術的創始團隊:SNG優圖實驗室,這支人工智能團隊是騰訊公司布局前沿技術的一張王牌。從2012年成立至今,優圖團隊從寥寥數人已成長為具備近百人規模的算法研發團隊,并于今年從原有社交平臺部架構中獨立出來,成立了優圖實驗室,專門從事機器學習、計算機視覺、音頻分析等人工智能領域前沿科技的研發與產品落地。其實除了圖像內容識別方面的能力,該團隊的人臉識別、聲紋識別等能力在國際比賽中創造了世界紀錄。
越來越受到重視的安全技術
電商常見的三種困擾:惡意刷單、域名劫持、DDos攻擊,這里和大家分享其中兩個。
處理惡意刷單需要積累惡意用戶庫、有效判定、處理執行。惡意用戶的積累需要長久作戰,收集IMEI、QQ、微信、手機號碼、身份證號、IP等全方位的信息;需要基于大數據做到一處作惡、多處識別。
關于DDoS攻擊的處理,我想談談錘子科技的這個案例。2015年錘子堅果手機發布會,遭到攻擊導致直播暫時,高達數十G的量攻擊,錘子商城一度面臨全面癱瘓風險。
此時騰訊云介入,在錘子官網域名的DNS配置里面加一條CNAME,將相應域名解析到大禹,CNAME功能會把用戶流量的請求先路由到大禹的加速點,然后由大禹的加速點清洗、過濾,再吐回到原站,順利化解了攻擊。
從啟動預案,接入客戶網站,到啟動清洗,13分鐘內一氣呵成,數十G的攻擊流量均被大禹系統成功清洗,讓錘子科技官網恢復正常,保證了現場發布會召開后274萬在線用戶的順暢觀看。
未來展望
又是一年電商狂歡時,能做的還有更多,更多的騰訊能力不斷的跟廣大云計算用戶的需求相適應,結合電商我們可以做的更多,電商正在面臨的轉型問題和最新行業發展趨勢,騰訊云電商解決方案還提供多樣化的產品與服務。
例如,許多電商正在嘗試的“直播”模式,騰訊云的視頻解決方案能夠提供全方位、立體化的技術支持,支持直播應用在24小時內完成快速對接,擁有完整的直播能力,實現穩定的用戶體驗,這將為更多電商平臺嘗試“直播+電商”模式提供更多可能性。
而在人工智能層面,騰訊云基于騰訊18年的社交大數據經驗提供準確的圖片識別能力,可對不良內容進行準確甄別,識別精確度達99.95%,節省用戶95%的人力;同時,騰訊云提供智能語音服務,日核查語音時長提升31倍,服務滿意度提升23%,從資源設備到人力成本全面實現優化。
使用騰訊云智能語音服務后,珍愛網語音質檢業務的覆蓋率從3%提升到了100%,質檢效率提升31倍。與傳統人工方式相比,同樣數量的通話錄音,質檢成本僅為原來的10%。
作者介紹
羅志,騰訊云資深架構師。 2005年加入騰訊,先后在騰訊集團內負責過系統運維、DBA、游戲運維、游戲運營規劃、騰訊云售前架構師團隊。目前主要致力于幫助合作伙伴評估、規劃、重構系統架構,建立滿足其業務未來至少2-3年發展需要的云端架構整體解決方案。
今年11.11大幕已拉開,狂歡背后,提供保障服務的技術平臺更值得關注。騰訊云在此次11.11為蘑菇街、聚美優品、當當、有貨、唯品會、小紅書、楚楚街等知名電商平臺提供了電商解決方案,在架構部署、彈性伸縮、監控服務、圖片處理和安全防范方面做了重點完善。體驗騰訊云的核心技術服務,到官網注冊試用,只需兩步!
來源:XXX(非中文科技資訊)的作品均轉載自其它媒體,轉載請尊重版權保留出處,一切法律責任自負。
文章內容僅供閱讀,不構成投資建議,請謹慎對待。投資者據此操作,風險自擔。有事發郵件至news#citnews.com.cn(發送時將#替換為@)。
[轉載標題:]
分享到微信
海藝AI的模型系統在國際市場上廣受好評,目前站內累計模型數超過80萬個,涵蓋寫實、二次元、插畫、設計、攝影、風格化圖像等多類型應用場景,基本覆蓋所有主流創作風格。
IDC今日發布的《全球智能家居清潔機器人設備市場季度跟蹤報告,2025年第二季度》顯示,上半年全球智能家居清潔機器人市場出貨1,2萬臺,同比增長33%,顯示出品類強勁的市場需求。