Google谷歌是大數據時(shí)代的奠基者，其大數據技術(shù)架構一直是互聯(lián)網(wǎng)公司爭相學(xué)習和研究的重點(diǎn)，也是行業(yè)大數據技術(shù)架構的標桿和示范。

1、谷歌的數據中心

谷歌已經(jīng)建立了世界上最快、最強大、最高質(zhì)量的數據中心，它的8個(gè)主要數據中心都遠離其位于加州山景城的總部，分別位于美國南卡羅來(lái)納州的伯克利郡，愛(ài)荷華州的康瑟爾布拉夫斯，喬治亞州的道格拉斯郡，俄克拉荷馬州的梅斯郡，北卡羅來(lái)納州的勒努瓦，俄勒岡州的達爾斯；另外2個(gè)在美國境外，分別是芬蘭的哈米納和比利時(shí)的圣吉斯蘭。此外，谷歌公司還在中國香港和中國臺灣，以及新加坡和智利建立了數據中心。

　2、谷歌新一代搜索引擎平臺和大數據分析核心技術(shù)

Google是GFS MapReduce BigTable的締造者，但Google 新一代搜索引擎平臺正逐步用更強計算能力的系統來(lái)替換原有系統，新一代搜索引擎平臺有幾個(gè)核心技術(shù)系統：

一是用基于Percolator的增量處理索引系統來(lái)取代MapReduce批處理索引系統，這個(gè)索引系統被稱(chēng)作Caffeine，它比MapReduce批處理索引系統搜索更快。

二是專(zhuān)為BigTable設計的分布式存儲Colossus，也被稱(chēng)為GFS2（二代Google文件系統），它專(zhuān)為建立Caffeine搜索索引系統而用。

三是列存儲數據庫BigTable，但為了更好地支持大數據集的互動(dòng)分析，Google推出了Dremel和PowerDrill。Dremel被設計用來(lái)管理非常大量的大數據集（指數據集的數量和每數據集的規模都大），而PowerDrill則設計用來(lái)分析少量的大數據集（指數據集的規模大，但數據集的數量不多）時(shí)提供更強大的分析性能。

四是為Google Instant提供服務(wù)的實(shí)時(shí)搜索引擎存儲和分析架構。

五是Pregel，這是谷歌更快捷的網(wǎng)絡(luò )和圖算法。

在谷歌新一代搜索引擎平臺上，每月40億小時(shí)的視頻，4.25億Gmail用戶(hù)，150,000,000 GB Web索引，卻能實(shí)現0.25秒搜索出結果。

　3、谷歌基礎云服務(wù)

基于Colossus，谷歌為用戶(hù)提供計算、存儲和應用的云服務(wù)。計算服務(wù)包括計算的引擎（ComputeEngine）和應用APP的引擎(AppEngine)；存儲服務(wù)包括云存儲（CloudStorge）、云SQL(CLoudSQL)、云數據存儲（Cloud DataStore）、永久磁盤(pán)等服務(wù)；云應用服務(wù)包括BigQuery、云終端（Cloud Endpoints）、緩沖、隊列等。

　4、谷歌的大數據智能應用服務(wù)

Google提供的大數據分析智能應用包括客戶(hù)情緒分析、交易風(fēng)險（欺詐分析）、產(chǎn)品推薦、消息路由、診斷、客戶(hù)流失預測、法律文案分類(lèi)、電子郵件內容過(guò)濾、政治傾向預測、物種鑒定等多個(gè)方面。據稱(chēng)，大數據已經(jīng)給Google每天帶來(lái)2300萬(wàn)美元的收入。例如，一些典型應用如下：

（1）基于Map Reduce，Google的傳統應用包括數據存儲、數據分析、日志分析、搜索質(zhì)量以及其他數據分析應用。

（2）基于Dremel系統， Google推出其強大的數據分析軟件和服務(wù) — BigQuery，它也是Google自己使用的互聯(lián)網(wǎng)檢索服務(wù)的一部分。Google已經(jīng)開(kāi)始銷(xiāo)售在線(xiàn)數據分析服務(wù)，試圖與市場(chǎng)上類(lèi)似亞馬遜網(wǎng)絡(luò )服務(wù)(Amazon Web Services)這樣的企業(yè)云計算服務(wù)競爭。這個(gè)服務(wù)，能幫助企業(yè)用戶(hù)在數秒內完成萬(wàn)億字節的掃描。

（3）基于搜索統計算法，Google推出搜索引擎的輸寫(xiě)糾錯、統計型機器翻譯等服務(wù)。

（4）Google的趨勢圖應用。通過(guò)用戶(hù)對于搜索詞的關(guān)注度，很快的理解社會(huì )上的熱點(diǎn)是什么。對廣告主來(lái)說(shuō)，它的商業(yè)價(jià)值就是很快的知道現在用戶(hù)在關(guān)心什么，他們應該在什么地方投入一個(gè)廣告。據此，Google公司也開(kāi)發(fā)了一些大數據產(chǎn)品，如“Brand Lift in Adwords”、“Active GRP”等，以幫助廣告客戶(hù)分析和評估其廣告活動(dòng)的效率。

（5）Google Instant。輸入關(guān)鍵詞的過(guò)程，Google Instant 會(huì )邊打邊預測可能的搜索結果。

谷歌的大數據平臺架構仍在演進(jìn)中，追去的目標是更大數據集、更快、更準確的分析和計算。這將進(jìn)一步引領(lǐng)大數據技術(shù)發(fā)展的方向。

本文部分內容節選自北京賽智時(shí)代信息技術(shù)咨詢(xún)有限公司（CIOManage咨詢(xún)）的《2013－2014年中國互聯(lián)網(wǎng)行業(yè)大數據應用年度研究報告》。

---