spark集群更換python安裝環(huán)境

    由于需要用到很多第三方的包，比如numpy，pandas等，而生產環(huán)境又無法上網單個包安裝太麻煩，因此考慮把之前安裝的python的獨立環(huán)境換成Anaconda的集成開發(fā)環(huán)境。以下是具體步驟：
            1安裝Anaconda3-5.0.1-Linux-x86_64.sh腳本
            2給/opt/modules/anaconda3/bin/python3.6建立軟鏈接

ln -s /opt/modules/anaconda3/bin/python /usr/bin/python3
3修改root環(huán)境變量
/root/.bashrc
/root/.bash_profile
修改hdfs用戶環(huán)境變量，因為集群操作大多有hdfs用戶完成。
su - hdfs
~/.bashrc
export PATH="/usr/bin:$PATH"
4修改pyspark2命令
vi /usr/bin/pyspark2
修改spark2-submit命令
vi /usr/bin/spark2-submit
修改PYSPARK_PYTHON這個變量
幾個節(jié)點都要修改，之后spark更換到新的python，常用的包都有了。

成都創(chuàng)新互聯(lián)公司-專業(yè)網站定制、快速模板網站建設、高性價比三水網站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫,直接使用。一站式三水網站制作公司更省心,省錢,快速模板網站建設找我們，業(yè)務覆蓋三水地區(qū)。費用合理售后完善，十余年實體公司更值得信賴。

當前名稱：spark集群更換python安裝環(huán)境
文章位置：http://bm7419.com/article36/jjccsg.html

成都網站建設公司_創(chuàng)新互聯(lián)，為您提供服務器托管、微信小程序、小程序開發(fā)、外貿網站建設、網站設計、App設計

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)