Tumblr：150億月瀏覽量背后的架構挑戰(zhàn)

以下為譯文。（括號內(nèi)小號字為CSDN編輯所注）：

Tumblr每月頁面瀏覽量超過150億次，已經(jīng)成為火爆的博客社區(qū)。用戶也許喜歡它的簡約、美麗，對用戶體驗的強烈關注，或是友好而忙碌的溝通方式，總之，它深得人們的喜愛。

每月超過30%的增長當然不可能沒有挑戰(zhàn)，其中可靠性問題尤為艱巨。每天5億次瀏覽量，峰值每秒4萬次請求，每天3TB新的數(shù)據(jù)存儲，并運行于超過1000臺服務器上，所有這些幫助Tumblr實現(xiàn)巨大的經(jīng)營規(guī)模。

創(chuàng)業(yè)公司邁向成功，都要邁過危險的迅速發(fā)展期這道門檻。尋找人才，不斷改造基礎架構，維護舊的架構，同時要面對逐月大增的流量，而且曾經(jīng)只有4位工程師。這意味著必須艱難地選擇應該做什么，不該做什么。這就是Tumblr的狀況。好在現(xiàn)在已經(jīng)有20位工程師了，可以有精力解決問題，并開發(fā)一些有意思的解決方案。

Tumblr最開始是非常典型的LAMP應用。目前正在向分布式服務模型演進，該模型基于Scala、HBase、Redis（著名開源K-V存儲方案）、Kafka（Apache項目，出自LinkedIn的分布式發(fā)布-訂閱消息系統(tǒng)）、Finagle（由Twitter開源的容錯、協(xié)議中立的RPC系統(tǒng)），此外還有一個有趣的基于Cell的架構，用來支持Dashboard（CSDN注：Tumblr富有特色的用戶界面，類似于微博的時間軸）。

Tumblr目前的最大問題是如何改造為一個大規(guī)模網(wǎng)站。系統(tǒng)架構正在從LAMP演進為最先進的技術組合，同時團隊也要從小的創(chuàng)業(yè)型發(fā)展為全副武裝、隨時待命的正規(guī)開發(fā)團隊，不斷創(chuàng)造出新的功能和基礎設施。下面就是Blake Matheny對Tumblr系統(tǒng)架構情況的介紹。 

網(wǎng)站地址

http://www.tumblr.com/ 

主要數(shù)據(jù)

每天5億次PV（頁面訪問量）

每月超過150億PV

約20名工程師

峰值請求每秒近4萬次

每天超過1TB數(shù)據(jù)進入Hadoop集群

MySQL/HBase/Redis/memcache每天生成若干TB數(shù)據(jù)

每月增長30%

近1000硬件節(jié)點用于生產(chǎn)環(huán)境

平均每位工程師每月負責數(shù)以億計的頁面訪問

每天上傳大約50GB的文章，每天跟帖更新數(shù)據(jù)大約2.7TB。 

軟件環(huán)境

開發(fā)使用OS X，生產(chǎn)環(huán)境使用Linux（CentOS/Scientific）

Apache

PHP, Scala, Ruby

Redis, HBase, MySQL

Varnish, HAProxy, nginx

memcache, Gearman（支持多語言的任務分發(fā)應用框架）, Kafka, Kestrel（Twitter開源的分布式消息隊列系統(tǒng)）, Finagle

Thrift, HTTP

Func——一個安全、支持腳本的遠程控制框架和API

Git, Capistrano（多服務器腳本部署工具）, Puppet, Jenkins 

硬件環(huán)境

500臺Web服務器

200臺數(shù)據(jù)庫服務器（47 pool，20 shard）

30臺memcache服務器

22臺Redis服務器

15臺Varnish服務器

25臺HAproxy節(jié)點

8臺nginx服務器

14臺工作隊列服務器（Kestrel + Gearman） 

架構

1. 相對其他社交網(wǎng)站而言，Tumblr有其獨特的使用模式：

每天有超過5千萬篇文章更新，平均每篇文章的跟帖又數(shù)以百計。用戶一般只有數(shù)百個粉絲。這與其他社會化網(wǎng)站里少數(shù)用戶有幾百萬粉絲非常不同，使得Tumblr的擴展性極具挑戰(zhàn)性。

按用戶使用時間衡量，Tumblr已經(jīng)是排名第二的社會化網(wǎng)站。內(nèi)容的吸引力很強，有很多圖片和視頻，文章往往不短，一般也不會太長，但允許寫得很長。文章內(nèi)容往往比較深入，用戶會花費更長的時間來閱讀。

用戶與其他用戶建立聯(lián)系后，可能會在Dashboard上往回翻幾百頁逐篇閱讀，這與其他網(wǎng)站基本上只是部分信息流不同。

用戶的數(shù)量龐大，用戶的平均到達范圍更廣，用戶較頻繁的發(fā)帖，這些都意味著有巨量的更新需要處理。

2. Tumblr目前運行在一個托管數(shù)據(jù)中心中，已在考慮地域上的分布性。

3. Tumblr作為一個平臺，由兩個組件構成：公共Tumblelogs和Dashboard

公共Tumblelogs與博客類似（此句請Tumblr用戶校正），并非動態(tài)，易于緩存

Dashboard是類似于Twitter的時間軸,用戶由此可以看到自己關注的所有用戶的實時更新。與博客的擴展性不同，緩存作用不大，因為每次請求都不同，尤其是活躍的關注者。而且需要實時而且一致，文章每天僅更新50GB，跟帖每天更新2.7TB，所有的多媒體數(shù)據(jù)都存儲在S3上面。

大多數(shù)用戶以Tumblr作為內(nèi)容瀏覽工具，每天瀏覽超過5億個頁面，70%的瀏覽來自Dashboard。

Dashboard的可用性已經(jīng)不錯，但Tumblelog一直不夠好，因為基礎設施是老的，而且很難遷移。由于人手不足，一時半會兒還顧不上。

服務器租用/服務器托管中國五強！虛擬主機域名注冊頂級提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]