導語：當前，愛普新媒廣告數(shù)據(jù)規(guī)模太過龐大、賽過大象，如何把這頭大象“瘦身“裝進“冰箱真正使用起來?UCloud數(shù)據(jù)湖分析方案幫助愛普新媒解決了眼下的難題。

　　“平均業(yè)務數(shù)據(jù)需求完成周期提升21倍， 從43.2小時縮短到2小時。”

　　“大數(shù)據(jù)工程師每月減少20個人日的⼯作量。”

　　“大數(shù)據(jù)基礎設施投入減少92.85%。”

　　張先生是一位大數(shù)據(jù)負責人，供職于北京愛普新媒體公司。這是一家專業(yè)從事廣告DSP(Demand-Side Platform，需求方平臺)業(yè)務的公司，成立于2010年。隨著DSP廣告模式傳入中國成為熱潮，公司發(fā)展不錯。

　　但張先生很快發(fā)現(xiàn)，廣告數(shù)據(jù)增長的速度遠遠超乎預期，公司內大數(shù)據(jù)工程師招聘目標才完成一半，但數(shù)據(jù)量一下沖到數(shù)百T。手下幾個數(shù)據(jù)工程師不得不疲于奔命，幫助業(yè)務分析師運行SQL任務，排除故障，但仍然收效甚微。隨著廣告項目的增長，業(yè)務部門的數(shù)據(jù)分析師對大數(shù)據(jù)部門的抱怨也在不斷積累。

　　作為廣告服務商，數(shù)據(jù)統(tǒng)計就是公司的命脈，如果因廣告主自身數(shù)據(jù)管理而造成的廣告投放數(shù)據(jù)統(tǒng)計不準，和第三方檢測機構的數(shù)據(jù)對不上，后果不堪設想，廣告主甚至會拒絕結款。

　　正當張先生焦頭爛額之際，UCloud向他推薦了數(shù)據(jù)湖分析方案。經(jīng)過初步的試用和數(shù)據(jù)驗證之后，張先生決定把一小部分業(yè)務放在數(shù)據(jù)湖分析方案上處理，這才有了本文開頭的一幕。

　　廣告一半是科學，一半是藝術。這其中，以效果為主的DSP要看性價比和投資回報率，得算經(jīng)濟賬，可以說是相當科學了。在張先生的心中就有這么一筆賬：

　　張先生的工作場景也是目前數(shù)量眾多的中小企業(yè)在面對大數(shù)據(jù)時遇到的困難。中小企業(yè)數(shù)據(jù)形成規(guī)模后，由于收入尚未跟上，所以面對動輒每年數(shù)百萬的大數(shù)據(jù)投入，往往只能望而卻步。

　　愛普新媒面臨的數(shù)據(jù)挑戰(zhàn)：

　　業(yè)務分析師說：

　　1. 數(shù)據(jù)規(guī)模太大， 自己不能獨立完成分析

　　2. 數(shù)據(jù)任務完成周期長

　　3. 數(shù)據(jù)結果感覺不準， 但又不能查看原始明細數(shù)據(jù)

　　數(shù)據(jù)部門說：

　　1. 業(yè)務臨時性數(shù)據(jù)需求多，占用部門有限的技術人力資源

　　2. 數(shù)據(jù)需求經(jīng)常需要返工

　　3. 數(shù)據(jù)規(guī)模增長太快，數(shù)據(jù)倉庫成本不斷增長

　　愛普新媒擁有“云魔方”互聯(lián)網(wǎng)精準營銷平臺、“云速”企業(yè)移動信息服務平臺和“云匯”互動廣告平臺，廣告數(shù)據(jù)規(guī)模太過龐大、賽過大象，如何把這頭大象“瘦身“裝進“冰箱真正使用起來這是愛普新媒迫切需要解決的問題。

　　Step1

　　打開冰箱門(傳輸數(shù)據(jù))

　　Ukafka(Kafka消息隊列)是一款專門用于處理流式數(shù)據(jù)的分布式消息產(chǎn)品。通過以創(chuàng)建集群的方式創(chuàng)建UKafka，能夠快速實現(xiàn)Kafka以及所依賴的服務的部署，為用戶提供快速部署、易于管理、彈性伸縮的流式數(shù)據(jù)處理系統(tǒng)，實現(xiàn)對大象的瘦身。

　　Step2

　　把大象裝進冰箱(存儲數(shù)據(jù))

　　對象存儲(UFile)是為互聯(lián)網(wǎng)應用提供非結構化文件云存儲的服務，將瘦身后的大象(Ukafka)導入到對象存儲(UFile)。相對于傳統(tǒng)硬盤存儲，UFile云存儲具有存儲無上限、支持高并發(fā)訪問、成本更低等優(yōu)勢;解決業(yè)務架構的文件存儲問題，有效降低海量文件的存儲成本，支持熱點數(shù)據(jù)的高并發(fā)訪問，提升終端用戶訪問體驗。

　　Step3

　　關上冰箱門(數(shù)據(jù)可視化)

　　數(shù)據(jù)湖分析(USQL)是一種可擴展性強、成本低廉的無服務器SQL分析計算引擎，可輕松完成面向海量數(shù)據(jù)的數(shù)據(jù)建模工作，SQL即可完成數(shù)據(jù)查詢和分析，極大降低使用大數(shù)據(jù)的門檻，且無需數(shù)據(jù)庫管理員和運維人員，大幅度減少對大數(shù)據(jù)工程師的依賴。對大象溯本求源，讓數(shù)據(jù)真正使用起來。

　　完整的數(shù)據(jù)湖分析方案遠不止能將大象裝進冰箱，還能讓大象跳起舞來。