一， 海量數據的運營(yíng)壓力

　　無(wú)疑，無(wú)線(xiàn)互聯(lián)網(wǎng)終于迎來(lái)了屬于自己的春天：無(wú)線(xiàn)互聯(lián)網(wǎng)各種產(chǎn)品如雨后春筍般涌現，以手機QQ為代表的無(wú)線(xiàn)互聯(lián)網(wǎng)產(chǎn)品迅猛發(fā)展；同時(shí)，無(wú)線(xiàn)網(wǎng)民數也出現激增，據粗略估計，國內無(wú)線(xiàn)網(wǎng)民數已達3.5億。隨之而來(lái)的，是服務(wù)于不同產(chǎn)品的運營(yíng)分析壓力和運營(yíng)數據的暴發(fā)式增長(cháng)。目前，無(wú)線(xiàn)BU日處理運營(yíng)數據達10T，且涉及不同產(chǎn)品多維度復雜指標的分析運算，已經(jīng)成為一頭當之無(wú)愧的大象。如何讓大象也能翩翩起舞，以最小的開(kāi)發(fā)代價(jià)，實(shí)時(shí)準確地輸出多維度的運營(yíng)數據，是無(wú)線(xiàn)BU數據平臺組需要解決的重要課題。

　　于是，以一頁(yè)式快速配置開(kāi)發(fā)為基礎特點(diǎn)的海量數據云計算平臺就應運而生了。該平臺可覆蓋80%以上的統計指標，充分結合靈活性和通用性，最大程度為數據分析人員提高開(kāi)發(fā)效率的同時(shí)，完成海量數據的分鐘級輸出。

二， 云計算平臺的創(chuàng )新歷程

 

圖表 1

　　如表一所示為業(yè)界通用的統計分布式解決方案。統計處理機到各業(yè)務(wù)機拖取日志，單獨編寫(xiě)統計代碼處理原始日志和數據，將統計結果注入數據庫并展示。

　　優(yōu)點(diǎn)：有利于完成定制化開(kāi)發(fā)

　　缺點(diǎn)：通過(guò)編寫(xiě)特定代碼完成統計開(kāi)發(fā)的方式造成統計開(kāi)發(fā)效率的低下、代碼質(zhì)量難以保證。

　　在無(wú)線(xiàn)數據暴發(fā)式增長(cháng)的情況下，這樣的技術(shù)架構已經(jīng)難以支撐更高層次的運營(yíng)分析。如何歸納提煉出通用性統計指標，復用代碼，做到一次開(kāi)發(fā)，多次利用，迅速快捷獲得統計指標呢？模板化可配置的分布式運算平臺成為必然之路。因此，云計算平臺應運而生。

 

圖表 2

　　如圖表2所示，云計算平臺采集用戶(hù)通過(guò)配置頁(yè)面填入的自定義信息，將其轉變?yōu)閤ml文件，結合mapReduce計算模板，采用hadoop分布式運算技術(shù)，完成海量數據的可配置輸出。其特點(diǎn)有：

　　√ 一頁(yè)式配置開(kāi)發(fā)，提升數據分析效率

 

圖表 3

　　如圖表3所示，經(jīng)過(guò)簡(jiǎn)單的配置，即可自動(dòng)在數據庫中生成相應計算結果。省去了煩瑣的腳本編寫(xiě)過(guò)程。

　　以某產(chǎn)品的基礎統計為例，神馬采集、日志db配置，各種復雜計算邏輯、sql，原有代碼為6千多行，至少需要2周左右的時(shí)間才能編寫(xiě)完畢，給開(kāi)發(fā)和維護都帶來(lái)嚴重的負擔。而通過(guò)如圖表3的配置，可全程通過(guò)配置實(shí)現零編碼統計需求。開(kāi)發(fā)人員實(shí)現登錄用戶(hù)數/登錄次數/累計用戶(hù)/新增用戶(hù)/留存用戶(hù)/活躍用戶(hù)/有效用戶(hù)，開(kāi)發(fā)時(shí)間僅為30分鐘左右，極大減輕開(kāi)發(fā)人員的負擔。

　　√ 統計指標覆蓋面廣、擴展性強

 

圖表 4

　　如圖表4所示，云計算平臺涵蓋從常規指標、歷史累計指標到用戶(hù)健康度、用戶(hù)分析類(lèi)等不同層次的各種統計指標，已形成可不斷擴充的統計指標體系。同時(shí)，統計維度還支持普通維度、cube/custom/rollup等復雜維度組合形式。

　　云計算平臺的統計指標覆蓋率可達80%以上。

　　√ 可維護性高

　　有BUG！影響了指標輸出！趕緊查問(wèn)題吧！”這是統計分析人員經(jīng)常碰到的場(chǎng)景。而現在有了云計算平臺，一切變得不一樣了！配置化的設計最大程度保證了代碼質(zhì)量，降低了人為編寫(xiě)代碼的出錯機率。有疑惑，檢查一下自己的配置，至少95%的錯誤就可得到解決！

　　√ 支持任意維度的組合計算

　　對任意維度（QQ號碼、IMEI、IP）等可任意組合計算，得到統計結果。以下統計指標，可以通過(guò)一次配置全部完成。（注：以下數值均為虛構）

 

圖表 5

　　√ 中間用戶(hù)級匯聚文件接口自動(dòng)對接應用系統

　　做數據分析時(shí)，我們可能會(huì )碰到這樣的場(chǎng)景：計算出這個(gè)月的活躍用戶(hù)數，并且將用戶(hù)文件輸出，以用作發(fā)tips推廣用。在云計算平臺，這一切都可通過(guò)以上的配置實(shí)現，不需要多次開(kāi)發(fā)。且所有中間文件直接通過(guò)TDW，對接TA等公司級應用系統，可供下一步的分析處理用。

　　√ 分布式并行計算，支撐海量數據的高效處理，統計結果可達分鐘級輸出

　　由多臺處理機并行處理，可支持線(xiàn)性擴容，海量日志時(shí)的運行速度不再是瓶頸！

 

圖表 6

　　如圖表6所示，在云計算平臺強有力的支撐下，每天T級(300億條記錄)的海量日志也可做到分鐘級的輸出?。ㄗⅲ阂陨蠑抵稻鶠樘摌嫞?br />

　　小結：云計算平臺通過(guò)高度抽像歸納業(yè)務(wù)邏輯進(jìn)行封裝，形成通用計算模板，讓開(kāi)發(fā)人員釋放出來(lái)做更有意義的統計分析，同時(shí)通過(guò)計算資源透明與共享，提高系統運算能力和可靠性，成為居家旅行殺人放火之必備良器。

三， 云計算平臺與運營(yíng)平臺的緊密結合 

　　試想一下，我們做運營(yíng)活動(dòng)時(shí)，總希望能夠快速知道用戶(hù)對活動(dòng)的反應情況，以便迅速調整運營(yíng)方案，達到最佳的運營(yíng)效果。

　　在某產(chǎn)品的運營(yíng)活動(dòng)中，產(chǎn)品人員想向用戶(hù)下發(fā)tips,以達到語(yǔ)音聊天的推廣目的。但在推廣過(guò)程中，產(chǎn)品人員有自己的困惑：在tips的接收人群中，有多少用戶(hù)受到了騷擾，有多少用戶(hù)有意愿使用語(yǔ)音聊天？我們的推廣策略是否需要進(jìn)一步調整？不用擔心，有云計算平臺迅速為我們得到分析結果！

　　經(jīng)過(guò)簡(jiǎn)單的配置（耗時(shí)約20分鐘），即可得到如下的分析數據：

 

　　騷擾！嚴重的騷擾！于是產(chǎn)品人員立刻改變運營(yíng)方式，改粗放式運營(yíng)為精準運營(yíng)，只針對特定版本的活躍用戶(hù)進(jìn)行投放，被騷擾的用戶(hù)比例立刻下降至2%!運營(yíng)活動(dòng)獲得圓滿(mǎn)成功

　　每天近10T的數據被運營(yíng)人員握在手心，隨時(shí)掌握第一手運營(yíng)數據，還有什么不可能呢？

　　誰(shuí)說(shuō)大象不能跳舞？

---