spark集群無(wú)法分配資源怎么辦

這篇文章給大家分享的是有關(guān)spark集群無(wú)法分配資源怎么辦的內(nèi)容。小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，一起跟隨小編過來(lái)看看吧。

成都創(chuàng)新互聯(lián)于2013年開始，是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項(xiàng)目成都網(wǎng)站制作、成都網(wǎng)站設(shè)計(jì)網(wǎng)站策劃，項(xiàng)目實(shí)施與項(xiàng)目整合能力。我們以讓每一個(gè)夢(mèng)想脫穎而出為使命，1280元璧山做網(wǎng)站,已為上家服務(wù),為璧山各地企業(yè)和個(gè)人服務(wù),聯(lián)系電話:028-86922220

問題1：WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory

此時(shí)程序會(huì)一直loading，running，loading，running…的循環(huán)，并持續(xù)出現(xiàn)上面的警告。
出現(xiàn)這個(gè)錯(cuò)誤很有可能是你啟動(dòng)spark的方式有問題。

很多人啟動(dòng)spark直接用start-all.sh，但是如果你在env配置文件里沒有指定master的ip，這樣啟動(dòng)就會(huì)報(bào)上面這個(gè)問題。如果沒有配置可以在啟動(dòng)的時(shí)候指定：

在maser上用

./start-master.sh -h “ip地址”

在worker上用

./start-slave.sh spark://"master的ip":7077

其它參數(shù)在啟動(dòng)的時(shí)候也可以指定，端口號(hào)也可以改動(dòng)。

感謝各位的閱讀！關(guān)于“spark集群無(wú)法分配資源怎么辦”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，讓大家可以學(xué)到更多知識(shí)，如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到吧！

網(wǎng)頁(yè)標(biāo)題：spark集群無(wú)法分配資源怎么辦
網(wǎng)站地址：http://bm7419.com/article2/igeioc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站策劃、商城網(wǎng)站、Google、網(wǎng)站內(nèi)鏈、網(wǎng)站導(dǎo)航、自適應(yīng)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)