大數(shù)據(jù)市場(chǎng)需求火爆 Hadoop 2.0即將發(fā)布

　　如今，Apache的Hadoop技術(shù)在幫助企業(yè)管理海量數(shù)據(jù)中變得越來(lái)越關(guān)鍵。包括NASA、推特和Netflix等用戶對(duì)這一開(kāi)源分布式計(jì)算平臺(tái)的依賴性越來(lái)越大。

　　Hadoop作為一種處理大數(shù)據(jù)的機(jī)制已經(jīng)獲得了越來(lái)越多的支持。因?yàn)槠髽I(yè)計(jì)算機(jī)系統(tǒng)中的數(shù)據(jù)量正在快速增長(zhǎng)，企業(yè)開(kāi)始嘗試從這些海量數(shù)據(jù)中獲得派生價(jià)值。由于認(rèn)識(shí)到了Hadoop的潛力，用戶開(kāi)始在使用現(xiàn)有Hadoop平臺(tái)技術(shù)的同時(shí)，積極研發(fā)自己的技術(shù)以對(duì)Hadoop堆棧進(jìn)行補(bǔ)充。

　　Hadoop的企業(yè)使用現(xiàn)狀與未來(lái)

　　NASA希望Hadoop處理眾多項(xiàng)目中的龐大數(shù)據(jù)，如SKA(平方千米陣列)星空?qǐng)D像。這些圖像在未來(lái)十年內(nèi)的生成速度將達(dá)到700TBps。NASA高級(jí)計(jì)算機(jī)專家Chris Mattmann稱，包括Hadoop在內(nèi)的數(shù)據(jù)系統(tǒng)和Apache OODT 等技術(shù)將用于應(yīng)對(duì)這些海量數(shù)據(jù)負(fù)載，

　　推特的數(shù)據(jù)專家Oscar Boykin稱：“推特是Hadoop的一個(gè)大客戶。所有(向用戶提供定制化推薦的)相關(guān)產(chǎn)品都在一定程度上與Hadoop進(jìn)行著互動(dòng)。”公司使用Hadoop的時(shí)間已經(jīng)有四年了，并且研發(fā)了Scalding。Scalding為一款Scala庫(kù)，旨在讓編寫Hadoop MapReduce的工作變得更容易。該產(chǎn)品建立在Cascading Java庫(kù)的頂層，旨在對(duì)Hadoop的復(fù)雜性進(jìn)行概括。

　　Hadoop的子項(xiàng)目包括MapReduce、HDFS(Hadoop分布式文件系統(tǒng))和Common。MapReduce為用于處理計(jì)算集群上的大型數(shù)據(jù)集的軟件框架，HDFS提供了對(duì)應(yīng)用數(shù)據(jù)的高速訪問(wèn)，Common則為支持其它Hadoop子項(xiàng)目提供了一些實(shí)用工具。電影租賃服務(wù)商N(yùn)etflix已經(jīng)開(kāi)始使用用于配置管理的Hadoop相關(guān)技術(shù)Apache ZooKeeper。Netflix 高級(jí)平臺(tái)工程師Jordan Zimmerman稱：“我們?cè)诜植际芥i、部分隊(duì)列排列和領(lǐng)導(dǎo)人選舉等所有類型的工作中都使用了這種技術(shù)，以優(yōu)化服務(wù)活動(dòng)。我們針對(duì)ZooKeeper開(kāi)發(fā)了一個(gè)開(kāi)源客戶端，我們稱其為Curator。這個(gè)客戶端作為一個(gè)開(kāi)發(fā)者庫(kù)與ZooKeeper相連。”

　　Tagged 高級(jí)數(shù)據(jù)工程師Rich McKinley 稱，Tagged社交網(wǎng)絡(luò)正在使用Hadoop技術(shù)用于數(shù)據(jù)分析，處理每天所生成的近0.5個(gè)太字節(jié)的新數(shù)據(jù)。Hadoop還正在被用于Greenplum數(shù)據(jù)庫(kù)容量之外的任務(wù)中。目前Tagged仍然在使用Greenplum數(shù)據(jù)庫(kù)，McKinley稱：“我們希望僅通過(guò)擴(kuò)展讓Hadoop做更多的工作。”

　　盡管大家都在稱贊Hadoop，但是部分用戶認(rèn)為仍然有一些問(wèn)題需要解決，如在可靠性和工作追蹤上的不足。Tagged的McKinley指出了在延時(shí)上存在的問(wèn)題。“獲得數(shù)據(jù)的時(shí)間應(yīng)當(dāng)非常快，然而每個(gè)人的最大抱怨是其進(jìn)行查詢時(shí)的延遲太高。”Tagged目前正在使用另一個(gè)Hadoop 派生項(xiàng)目Apache Hive進(jìn)行查詢。他稱“Hadoop需要花上數(shù)分鐘才能給出結(jié)果，而Greenplum給出結(jié)果只需要數(shù)秒鐘。但是與Greenplum相比，Hadoop更為便宜。”

服務(wù)器租用/服務(wù)器托管中國(guó)五強(qiáng)！虛擬主機(jī)域名注冊(cè)頂級(jí)提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]