問答>python+大數(shù)據(jù)開發(fā)>applicationmaster是什么?
applicationmaster是什么?
來源傳智教育2022年06月28日 14時(shí)52分33秒
用戶提交的每個(gè)應(yīng)用程序都包含一個(gè)ApplicationMaster,它負(fù)責(zé)協(xié)調(diào)來自ResourceManager的資源,把獲得的資源分配給內(nèi)部的各個(gè)任務(wù),從而實(shí)現(xiàn)“二次分配”。除此之外,ApplicationMaster還會(huì)通過NodeManager監(jiān)控容器的執(zhí)行和資源使用情況,并在任務(wù)運(yùn)行失敗時(shí)重新為任務(wù)申請(qǐng)資源以重啟任務(wù)。當(dāng)前的YARN自帶了兩個(gè)ApplicationMaster的實(shí)現(xiàn),一個(gè)是用于演示ApplicationMaster編寫方法的實(shí)例程序DistributedShell,它可以申請(qǐng)一定數(shù)目的Container以并行方式運(yùn)行一個(gè)Shell命令或者Shell腳本;另一個(gè)則是運(yùn)行MapReduce應(yīng)用程序的ApplicationMaster-MRAppMaster。
需要注意的是,ResourceManager負(fù)責(zé)監(jiān)控ApplicationMaster, 并在ApplicationMaster運(yùn)行失敗的時(shí)候重啟,大大提高集群的拓展性。ResourceManager不負(fù)責(zé)ApplicationMaster內(nèi)部任務(wù)的容錯(cuò),任務(wù)的容錯(cuò)由ApplicationMaster完成,總體來說,ApplicationMaster的主要功能是資源的調(diào)度、監(jiān)控與容錯(cuò)。
最新問答
- 2022年06月30日黑盒測(cè)試與白盒測(cè)試的區(qū)別是啥?
- 2022年06月30日Hive的安裝模式有幾種?
- 2022年06月29日Flume系統(tǒng)要求是什么?
- 2022年06月29日數(shù)據(jù)發(fā)布與訂閱有哪些主要應(yīng)用場(chǎng)景?
- 2022年06月29日Zookeeper集群角色有哪三種?
- 2022年06月29日hadoop1.x和hadoop2.x的區(qū)別是什么,做了哪些改進(jìn)?
- 2022年06月28日znode有哪兩種節(jié)點(diǎn)?
- 2022年06月28日非全新集群選舉的過程是什么樣的?
- 2022年06月28日applicationmaster是什么?
- 2022年06月28日yarn的工作流程是什么?
相關(guān)問答
- 2022年06月28日非全新集群選舉的過程是什么樣的?
- 2022年06月28日yarn的工作流程是什么?
- 2022年06月23日matplotlib繪制的圖形是只有一種結(jié)構(gòu)嗎?
- 2022年06月23日如何使用matplotlib繪圖?
- 2022年06月21日學(xué)歷低可以學(xué)Python嗎?
- 2022年06月21日培訓(xùn)機(jī)構(gòu)學(xué)Python怎么樣?
- 2022年06月20日python培訓(xùn)班學(xué)習(xí)完可以找到工作嗎?
- 2022年06月20日免費(fèi)學(xué)Python的網(wǎng)站有嗎?推薦推薦
- 2022年06月20日求解:數(shù)組廣播是什么?
- 2022年06月17日Pandas有哪些描述性統(tǒng)計(jì)方法?