教育行業(yè)A股IPO第一股(股票代碼 003032)

全國咨詢/投訴熱線:400-618-4000

問答>python+大數(shù)據(jù)開發(fā)>hadoop1.x和hadoop2.x的區(qū)別是什么,做了哪些改進(jìn)?

hadoop1.x和hadoop2.x的區(qū)別是什么,做了哪些改進(jìn)?

來源傳智教育2022年06月29日 14時39分35秒

  Hadoop2.x版本為了克服Hadoop1.x中的不足,對其架構(gòu)進(jìn)行了以下改進(jìn):

  (1)Hadoop2.x可以同時啟動多個NameNode,其中一個處于工作(Active)狀態(tài),另一個處于隨時待命(Standby)狀態(tài),這種機(jī)制被稱為Hadoop HA(Hadoop高可用)。當(dāng)一個NameNode所在的服務(wù)器宕機(jī)時,可以在數(shù)據(jù)不丟失的情況下,自動切換到另一個NameNode持續(xù)提供服務(wù)。

  (2)Hadoop2.x將JobTracker中的資源管理和作業(yè)控制分開,分別由ResourceManager(負(fù)責(zé)所有應(yīng)用程序的資源分配)和ApplicationMaster(負(fù)責(zé)管理一個應(yīng)用程序)實現(xiàn),即引入了資源管理框架YARN,它是一個通用的資源管理框架,可以為各類應(yīng)用程序進(jìn)行資源管理和調(diào)度,不僅限于MapReduce一種框架,也可以為其他框架使用,如Tez、Spark、Storm,這種設(shè)計不僅能夠增強(qiáng)不同計算模型和各種應(yīng)用之間的交互,使集群資源得到高效利用,而且能更好地與企業(yè)中已經(jīng)存在的計算結(jié)構(gòu)集成在一起。

  (3)Hadoop2.x中的MapReduce是運(yùn)行在YARN上的離線處理框架,它的運(yùn)行環(huán)境不再由JobTracker和TaskTracker等服務(wù)組成,而是變成通用資源管理YARN和作業(yè)控制進(jìn)程ApplicationMaster,從而使MapReduce在速度上和可用性上都有很大的提高。

和我們在線交談!