spark運(yùn)行模式得示例分析

小編給大家分享一下spark運(yùn)行模式得示例分析，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

創(chuàng)新互聯(lián)建站服務(wù)項(xiàng)目包括賀蘭網(wǎng)站建設(shè)、賀蘭網(wǎng)站制作、賀蘭網(wǎng)頁制作以及賀蘭網(wǎng)絡(luò)營(yíng)銷策劃等。多年來，我們專注于互聯(lián)網(wǎng)行業(yè)，利用自身積累的技術(shù)優(yōu)勢(shì)、行業(yè)經(jīng)驗(yàn)、深度合作伙伴關(guān)系等，向廣大中小型企業(yè)、政府機(jī)構(gòu)等提供互聯(lián)網(wǎng)行業(yè)的解決方案，賀蘭網(wǎng)站推廣取得了明顯的社會(huì)效益與經(jīng)濟(jì)效益。目前，我們服務(wù)的客戶以成都為中心已經(jīng)輻射到賀蘭省份的部分城市，未來相信會(huì)繼續(xù)擴(kuò)大服務(wù)區(qū)域并繼續(xù)獲得客戶的支持與信任！

Local模式

運(yùn)行Spark最簡(jiǎn)單的方法是通過Local模式（即偽分布式模式）。

    運(yùn)行命令為：./bin/run-example org.apache.spark.examples.SparkPi local

基于standalone的Spark架構(gòu)與作業(yè)執(zhí)行流程

Standalone模式下，集群?jiǎn)?dòng)時(shí)包括Master與Worker，其中Master負(fù)責(zé)接收客戶端提交的作業(yè)，管理Worker。提供了Web展示集群與作業(yè)信息。

提交作業(yè)有兩種方式，分別是Driver（作業(yè)的master，負(fù)責(zé)作業(yè)的解析、生成stage并調(diào)度task到，包含DAGScheduler）運(yùn)行在Worker上，Driver運(yùn)行在客戶端。接下來分別介紹兩種方式的作業(yè)運(yùn)行原理。

Driver運(yùn)行在Worker上

    通過org.apache.spark.deploy.Client類執(zhí)行作業(yè)，作業(yè)運(yùn)行命令如下：

        ./bin/spark-class org.apache.spark.deploy.Client launch spark://host:port file:///jar_url org.apache.spark.examples.SparkPi spark://host:port

    作業(yè)執(zhí)行流如圖1所示。

                                                       圖1

作業(yè)執(zhí)行流程描述：

1. 客戶端提交作業(yè)給Master

2. Master讓一個(gè)Worker啟動(dòng)Driver，即SchedulerBackend。Worker創(chuàng)建一個(gè)DriverRunner線程，DriverRunner啟動(dòng)SchedulerBackend進(jìn)程。

3. 另外Master還會(huì)讓其余Worker啟動(dòng)Exeuctor，即ExecutorBackend。Worker創(chuàng)建一個(gè)ExecutorRunner線程，ExecutorRunner會(huì)啟動(dòng)ExecutorBackend進(jìn)程。

4. ExecutorBackend啟動(dòng)后會(huì)向Driver的SchedulerBackend注冊(cè)。SchedulerBackend進(jìn)程中包含DAGScheduler，它會(huì)根據(jù)用戶程序，生成執(zhí)行計(jì)劃，并調(diào)度執(zhí)行。對(duì)于每個(gè)stage的task，都會(huì)被存放到TaskScheduler中，ExecutorBackend向SchedulerBackend匯報(bào)的時(shí)候把TaskScheduler中的task調(diào)度到ExecutorBackend執(zhí)行。

5. 所有stage都完成后作業(yè)結(jié)束。

Driver運(yùn)行在客戶端

    直接執(zhí)行Spark作業(yè)，作業(yè)運(yùn)行命令如下（示例）：

        ./bin/run-example org.apache.spark.examples.SparkPi spark://host:port

    作業(yè)執(zhí)行流如圖2所示。

                                                        圖2

作業(yè)執(zhí)行流程描述：

1. 客戶端啟動(dòng)后直接運(yùn)行用戶程序，啟動(dòng)Driver相關(guān)的工作：DAGScheduler和BlockManagerMaster等。

2. 客戶端的Driver向Master注冊(cè)。

3. Master還會(huì)讓W(xué)orker啟動(dòng)Exeuctor。Worker創(chuàng)建一個(gè)ExecutorRunner線程，ExecutorRunner會(huì)啟動(dòng)ExecutorBackend進(jìn)程。

4. ExecutorBackend啟動(dòng)后會(huì)向Driver的SchedulerBackend注冊(cè)。Driver的DAGScheduler解析作業(yè)并生成相應(yīng)的Stage，每個(gè)Stage包含的Task通過TaskScheduler分配給Executor執(zhí)行。

5. 所有stage都完成后作業(yè)結(jié)束。

基于Yarn的Spark架構(gòu)與作業(yè)執(zhí)行流程

這里Spark AppMaster相當(dāng)于Standalone模式下的SchedulerBackend，Executor相當(dāng)于standalone的ExecutorBackend，spark AppMaster中包括DAGScheduler和YarnClusterScheduler。

以上是“spark運(yùn)行模式得示例分析”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！

網(wǎng)站欄目：spark運(yùn)行模式得示例分析
轉(zhuǎn)載注明：http://bm7419.com/article18/pcgcdp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供服務(wù)器托管、響應(yīng)式網(wǎng)站、動(dòng)態(tài)網(wǎng)站、面包屑導(dǎo)航、虛擬主機(jī)、網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)