spark的配置方法分享

本篇內(nèi)容主要講解“spark的配置方法分享”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實(shí)用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“spark的配置方法分享”吧!

創(chuàng)新互聯(lián)專注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務(wù)，包含不限于成都網(wǎng)站設(shè)計、網(wǎng)站制作、五蓮網(wǎng)絡(luò)推廣、小程序制作、五蓮網(wǎng)絡(luò)營銷、五蓮企業(yè)策劃、五蓮品牌公關(guān)、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運(yùn)營等，從售前售中售后，我們都將竭誠為您服務(wù)，您的肯定，是我們最大的嘉獎；創(chuàng)新互聯(lián)為所有大學(xué)生創(chuàng)業(yè)者提供五蓮建站搭建服務(wù)，24小時服務(wù)熱線：028-86922220，官方網(wǎng)址：bm7419.com

1. spark 可以在3處配置系統(tǒng)：spark properties控制大多數(shù)應(yīng)用程序的參數(shù)，通過SparkConf對象或者Java系統(tǒng)property設(shè)置；環(huán)境變量在每一臺機(jī)器上可以通過conf/spark-env.sh單獨(dú)設(shè)置；Logging可以通過log4j.properties設(shè)置

2. SparkConf單獨(dú)為每個應(yīng)用程序設(shè)置，可以設(shè)置masterURL，應(yīng)用程序名，以及任意的鍵值對，通過相應(yīng)的set方法。spark-shell和spark-submit支持兩種動態(tài)加載配置的方式，第一是通過命令行參數(shù)，第二是通過--conf標(biāo)志。./bin/spark-submit --help可以查看命令參數(shù)。bin/spark-submit也將從conf/spark-defaults.conf文件中加載配置信息，文件中包含以空格分隔的鍵值對。配置的優(yōu)先級從高到低依次是SparkConf > 傳遞到spark-shell或spark-submit的參數(shù) > spark-defaults.conf文件。

3. 常用的應(yīng)用程序配置參數(shù)

spark.executor.memory
 

到此，相信大家對“spark的配置方法分享”有了更深的了解，不妨來實(shí)際操作一番吧！這里是創(chuàng)新互聯(lián)網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！

新聞名稱：spark的配置方法分享
文章出自：http://bm7419.com/article2/jccjic.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信小程序、品牌網(wǎng)站建設(shè)、企業(yè)網(wǎng)站制作、企業(yè)建站、網(wǎng)站內(nèi)鏈、定制開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)