Spark2.4.2源碼編譯-創(chuàng)新互聯(lián)

軟件版本：

10年積累的做網(wǎng)站、網(wǎng)站建設(shè)經(jīng)驗，可以快速應(yīng)對客戶對網(wǎng)站的新想法和需求。提供各種問題對應(yīng)的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡(luò)服務(wù)。我雖然不認識你，你也不認識我。但先網(wǎng)站設(shè)計后付款的網(wǎng)站建設(shè)流程，更有共和免費網(wǎng)站建設(shè)讓你可以放心的選擇與我們合作。

jdk：1.8

maven：3.61????http://maven.apache.org/download.cgi

spark：2.42????? https://archive.apache.org/dist/spark/spark-2.4.2/

hadoop版本：hadoop-2.6.0-cdh6.7.0（spark編譯支持的hadoop版本，不需要安裝）

配置maven：

#配置環(huán)境變量
[root@hadoop004?soft]#?cat?/etc/profile.d/maven.sh?
MAVEN_HOME=/usr/local/maven
export?PATH=$MAVEN_HOME/bin:$PATH

#確認maven版本
[root@hadoop004?maven]#?mvn?--version
Apache?Maven?3.6.1?(d66c9c0b3152b2e69ee9bac180bb8fcc8e6af555;?2019-04-05T03:00:29+08:00)
Maven?home:?/usr/local/maven
Java?version:?1.8.0_111,?vendor:?Oracle?Corporation,?runtime:?/usr/java/jdk1.8.0_111/jre
Default?locale:?en_US,?platform?encoding:?UTF-8
OS?name:?"linux",?version:?"3.10.0-862.3.2.el7.x86_64",?arch:?"amd64",?family:?"unix"

#配置mvn的本地存放地址：settings.xml文件
<localRepository>/usr/local/maven/repo</localRepository>

#配置mvn下載源為阿里云的maven倉庫，加速下載
<mirror>
	<id>alimaven</id>
	<name>aliyun?maven</name>
	<url>http://maven.aliyun.com/nexus/content/groups/public/</url>
	<mirrorOf>central</mirrorOf>
</mirror>

配置Spark:

tar?xf?spark-2.4.2.tgz
cd?spark-2.4.2.tgz

#修改pom.xml文件，添加clouder倉庫
<repository>
????<id>cloudera</id>
????<url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
</repository>

執(zhí)行編譯命令：

#在spark目錄下執(zhí)行
./dev/make-distribution.sh?--name?2.6.0-cdh6.7.0?--tgz?-Pyarn?-Phadoop-2.6?-Phive?-Phive-thriftserver?-Dhadoop.version=2.6.0-cdh6.7.0

注：本次編譯時長大約為35分鐘，中間無任何報錯；

注：默認使用的scala版本為最新的，如果要指定scala版本，通過以下方式修改
比如把scala版本改為?2.10
./dev/change-scala-version.sh?2.10

參數(shù)說明：

--name：生成壓縮包的后綴名字；前綴默認為spark版本的名字，本例為：spark-2.4.2-bin

--tgz：采用壓縮格式為tar，壓縮的后綴名為.tgz

-Pyarn：表示spark需要運行在yarn上面

-Phadoop-2.6：表示spark使用hadoop的profile的id

-Dhadoop.version=2.6.0-cdh6.7.0：表示spark使用hadoop的版本；如果不指定，默認使用的是2.2.0的hadoop

-Phive -Phive-thriftserver：表示支持hive

其它參數(shù)：

-DskipTests：跳過測試

生成的文件：

在spark目錄下：spark-2.4.2-bin-2.6.0-cdh6.7.0.tgz

使用編譯后的spark部署：

tar?xf?spark-2.4.2-bin-2.6.0-cdh6.7.0.tgz
ln?-s?spark-2.4.2-bin-2.6.0-cdh6.7.0?spark

#配置spark的環(huán)境變量
[hadoop@hadoop001?~]$?vim?.bash_profile
export?SPARK_HOME=/home/hadoop/app/spark-2.4.2-bin-2.6.0-cdh6.7.0
export?PATH=${SPARK_HOME}/bin:$PATH
[hadoop@hadoop001?~]$?source?.bash_profile

#運行spark測試
[hadoop@hadoop001?~]$?spark-shell?
19/04/29?10:51:04?WARN?NativeCodeLoader:?Unable?to?load?native-hadoop?library?for?your?platform...?using?builtin-java?classes?where?applicable
Using?Spark's?default?log4j?profile:?org/apache/spark/log4j-defaults.properties
Setting?default?log?level?to?"WARN".
To?adjust?logging?level?use?sc.setLogLevel(newLevel).?For?SparkR,?use?setLogLevel(newLevel).
Spark?context?Web?UI?available?at?http://hadoop001:4040
Spark?context?available?as?'sc'?(master?=?local[*],?app?id?=?local-1556506274719).
Spark?session?available?as?'spark'.
Welcome?to
??????____??????????????__
?????/?__/__??___?_____/?/__
????_\?\/?_?\/?_?`/?__/??'_/
???/___/?.__/\_,_/_/?/_/\_\???version?2.4.2
??????/_/
?????????
Using?Scala?version?2.11.12?(Java?HotSpot(TM)?64-Bit?Server?VM,?Java?1.8.0_111)
Type?in?expressions?to?have?them?evaluated.
Type?:help?for?more?information.

scala>

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

名稱欄目：Spark2.4.2源碼編譯-創(chuàng)新互聯(lián)
網(wǎng)頁地址：http://bm7419.com/article22/dgopjc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供手機網(wǎng)站建設(shè)、App開發(fā)、全網(wǎng)營銷推廣、云服務(wù)器、品牌網(wǎng)站制作、定制開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)