PyCharm搭建Spark開發(fā)環(huán)境

1.安裝好JDK

創(chuàng)新互聯(lián)公司是一家從事企業(yè)網(wǎng)站建設(shè)、成都網(wǎng)站建設(shè)、做網(wǎng)站、行業(yè)門戶網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計(jì)制作的專業(yè)網(wǎng)站設(shè)計(jì)公司，擁有經(jīng)驗(yàn)豐富的網(wǎng)站建設(shè)工程師和網(wǎng)頁設(shè)計(jì)人員，具備各種規(guī)模與類型網(wǎng)站建設(shè)的實(shí)力，在網(wǎng)站建設(shè)領(lǐng)域樹立了自己獨(dú)特的設(shè)計(jì)風(fēng)格。自公司成立以來曾獨(dú)立設(shè)計(jì)制作的站點(diǎn)超過千家。

下載并安裝好jdk-12.0.1_windows-x64_bin.exe，配置環(huán)境變量：

新建系統(tǒng)變量JAVA_HOME，值為Java安裝路徑

新建系統(tǒng)變量CLASSPATH，值為 .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;(注意最前面的圓點(diǎn))

配置系統(tǒng)變量PATH，添加 %JAVA_HOME%bin;%JAVA_HOME%jrebin

在CMD中輸入：java或者java -version，不顯示不是內(nèi)部命令等，說明安裝成功。

2.安裝Hadoop，并配置環(huán)境變量

下載hadoop：https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

解壓hadoop-2.7.7.tar.gz特定路徑，如：D:\adasoftware\hadoop

添加系統(tǒng)變量HADOOP_HOME：D:\adasoftware\hadoop

在系統(tǒng)變量PATH中添加：D:\adasoftware\hadoop\bin

安裝組件winutils：將winutils中對(duì)應(yīng)的hadoop版本中的bin替換自己hadoop安裝目錄下的bin

3.Spark環(huán)境變量配置

spark是基于hadoop之上的，運(yùn)行過程中會(huì)調(diào)用相關(guān)hadoop庫(kù)，如果沒配置相關(guān)hadoop運(yùn)行環(huán)境，會(huì)提示相關(guān)出錯(cuò)信息，雖然也不影響運(yùn)行。

下載對(duì)應(yīng)hadoop版本的spark：http://spark.apache.org/downloads.html

解壓文件到：D:\adasoftware\spark-2.4.3-bin-hadoop2.7

添加PATH值：D:\adasoftware\spark-2.4.3-bin-hadoop2.7\bin;

新建系統(tǒng)變量SPARK_HOME：D:\adasoftware\spark-2.4.3-bin-hadoop2.7;

4.下載安裝anaconda

anaconda集成了python解釋器和大多數(shù)python庫(kù)，安裝anaconda 后不用再安裝python和pandas numpy等這些組件了。下載地址。最后將python加到path環(huán)境變量中。

5.在CMD中運(yùn)行pyspark，出現(xiàn)類似下圖說明安裝配置正常：

出現(xiàn)這種warning是因?yàn)镴DK版本為12，太高了，但是不影響運(yùn)行。沒有影響。

6.在pycharm中配置spark

打開PyCharm，創(chuàng)建一個(gè)Project。然后選擇“Run” ->“Edit Configurations”–>點(diǎn)擊+創(chuàng)建新的python Configurations

選擇 “Environment variables” 增加SPARK_HOME目錄與PYTHONPATH目錄。

SPARK_HOME:Spark安裝目錄

PYTHONPATH:Spark安裝目錄下的Python目錄

選擇 File->setting->你的project->project structure

右上角Add content root添加：py4j-some-version.zip和pyspark.zip的路徑(這兩個(gè)文件都在Spark中的python文件夾下)

保存即可無錫看婦科的醫(yī)院 http://www.ytsgfk120.com/

7.測(cè)試是否配置成功，程序代碼如下，創(chuàng)建一個(gè)python程序放進(jìn)去就可以：

import os

import sys

# Path for spark source folder

os.environ['SPARK_HOME'] = "D:\adasoftware\spark"

# Append pyspark to Python Path

sys.path.append("D:\adasoftware\spark\python")

try:

from pyspark import SparkContext

from pyspark import SparkConf

print("Successfully imported Spark Modules")

except ImportError as e:

print("Can not import Spark Modules", e)

sys.exit(1)

若程序正常輸出: "Successfully imported Spark Modules"就說明環(huán)境已經(jīng)可以正常執(zhí)行。

當(dāng)前文章：PyCharm搭建Spark開發(fā)環(huán)境
本文URL：http://bm7419.com/article22/gosecc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站設(shè)計(jì)公司、電子商務(wù)、標(biāo)簽優(yōu)化、網(wǎng)站導(dǎo)航、網(wǎng)站營(yíng)銷、

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)