spark集群更換python安裝環(huán)境-創(chuàng)新互聯(lián)

由于需要用到很多第三方的包，比如numpy，pandas等，而生產(chǎn)環(huán)境又無法上網(wǎng)單個包安裝太麻煩，因此考慮把之前安裝的python的獨立環(huán)境換成Anaconda的集成開發(fā)環(huán)境。以下是具體步驟：
            1安裝Anaconda3-5.0.1-Linux-x86_64.sh腳本
            2給/opt/modules/anaconda3/bin/python3.6建立軟鏈接

ln -s /opt/modules/anaconda3/bin/python /usr/bin/python3
3修改root環(huán)境變量
/root/.bashrc
/root/.bash_profile
修改hdfs用戶環(huán)境變量，因為集群操作大多有hdfs用戶完成。
su - hdfs
~/.bashrc
export PATH="/usr/bin:$PATH"
4修改pyspark2命令
vi /usr/bin/pyspark2
修改spark2-submit命令
vi /usr/bin/spark2-submit
修改PYSPARK_PYTHON這個變量
幾個節(jié)點都要修改，之后spark更換到新的python，常用的包都有了。

主要從事網(wǎng)頁設(shè)計、PC網(wǎng)站建設(shè)（電腦版網(wǎng)站建設(shè)）、wap網(wǎng)站建設(shè)（手機(jī)版網(wǎng)站建設(shè)）、響應(yīng)式網(wǎng)站開發(fā)、程序開發(fā)、微網(wǎng)站、小程序制作等，憑借多年來在互聯(lián)網(wǎng)的打拼，我們在互聯(lián)網(wǎng)網(wǎng)站建設(shè)行業(yè)積累了豐富的成都網(wǎng)站制作、成都網(wǎng)站設(shè)計、網(wǎng)絡(luò)營銷經(jīng)驗，集策劃、開發(fā)、設(shè)計、營銷、管理等多方位專業(yè)化運作于一體，具備承接不同規(guī)模與類型的建設(shè)項目的能力。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

網(wǎng)站名稱：spark集群更換python安裝環(huán)境-創(chuàng)新互聯(lián)
轉(zhuǎn)載來源：http://bm7419.com/article14/dposge.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供企業(yè)網(wǎng)站制作、響應(yīng)式網(wǎng)站、小程序開發(fā)、網(wǎng)站內(nèi)鏈、外貿(mào)網(wǎng)站建設(shè)、網(wǎng)站設(shè)計公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)