如何解析sbt編譯SparkApp的依賴問題

本篇文章給大家分享的是有關(guān)如何解析sbt編譯Spark App的依賴問題，小編覺得挺實用的，因此分享給大家學(xué)習(xí)，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

創(chuàng)新互聯(lián)公司的客戶來自各行各業(yè)，為了共同目標，我們在工作上密切配合，從創(chuàng)業(yè)型小企業(yè)到企事業(yè)單位，感謝他們對我們的要求，感謝他們從不同領(lǐng)域給我們帶來的挑戰(zhàn)，讓我們激情的團隊有機會用頭腦與智慧不斷的給客戶帶來驚喜。專業(yè)領(lǐng)域包括網(wǎng)站設(shè)計制作、成都網(wǎng)站制作、電商網(wǎng)站開發(fā)、微信營銷、系統(tǒng)平臺開發(fā)。

背景簡介

Spark App（用Spark APIs編寫的）需要submit到Spark Cluster運行，對于Scala編寫的代碼，提交之前要用sbt或者maven把以下內(nèi)容：

• 源代碼

• 依賴的jar包

全部打包成一個大的jar文件，這樣代碼就不會因為沒有依賴無法在集群中運行。

問題

我司用Scala編寫Spark streaming應(yīng)用，實現(xiàn)讀取Kafka數(shù)據(jù)，處理后存儲到cassandra集群中。這里需要用到一個包spark-streaming-kafka，之前用的spark1.6.0的版本。sbt中的配置如下：

libraryDependencies ++= Seq(
  // Spark dependency
  "com.eaio.uuid" % "uuid" % "3.2",
  "org.apache.spark" %% "spark-core" % "1.6.0" % "provided",
  "org.apache.spark" %% "spark-sql" % "1.6.0" % "provided",
  "org.apache.spark" %% "spark-streaming" % "1.6.0" % "provided",
  "org.apache.spark" %% "spark-streaming-kafka" % "1.6.0",
  "com.datastax.spark" %% "spark-cassandra-connector" % "1.6.0-M2",
   // Third-party libraries
  "com.github.scopt" %% "scopt" % "3.4.0"
)

升級到Spark 2.0.0后需要更新軟件包版本，于是將sbt構(gòu)建配置中的依賴部分改為：

libraryDependencies ++= Seq(
  // Spark dependency
  "com.eaio.uuid" % "uuid" % "3.2",
  "org.apache.spark" %% "spark-core" % "2.0.0" % "provided",
  "org.apache.spark" %% "spark-sql" % "2.0.0" % "provided",
  "org.apache.spark" %% "spark-streaming" % "2.0.0" % "provided",
  "org.apache.spark" %% "spark-streaming-kafka" % "2.0.0",
  "com.datastax.spark" %% "spark-cassandra-connector" % "2.0.0-M2",
   // Third-party libraries
  "com.github.scopt" %% "scopt" % "3.4.0"
)

本以為這樣修改后重新構(gòu)建就沒問題了。但是我太天真了，構(gòu)建后報錯，提示：

[warn]     ::::::::::::::::::::::::::::::::::::::::::::::
[warn]     ::          UNRESOLVED DEPENDENCIES         ::
[warn]     ::::::::::::::::::::::::::::::::::::::::::::::
[warn]     :: org.apache.spark#spark-streaming-kafka_2.10;2.0.0: not found
[warn]     ::::::::::::::::::::::::::::::::::::::::::::::
[warn] 
[warn]     Note: Unresolved dependencies path:
[warn]         org.apache.spark:spark-streaming-kafka_2.10:2.0.0 (/home/linker/workspace/linkerwp/linkerStreaming/build.sbt#L12-23)
[warn]           +- Linker Networks Inc.:linker-streaming_2.10:0.0.1
sbt.ResolveException: unresolved dependency: org.apache.spark#spark-streaming-kafka_2.10;2.0.0: not found

說明這個包是不存在的，于是馬上到maven repo上去找。常見的Maven公共repo有：

• search.maven.org…用于搜索你的依賴包。

• https://mvnrepository.com/…maven倉庫。

進入網(wǎng)址輸入spark-streaming-kafka搜索后數(shù)來好幾和選項，前面4個結(jié)果都是不支持Spark 2.0.0的，這讓我誤以為Spark 2.0.0還不支持Kafka，這個想法被前面幾個搜索結(jié)果誤導(dǎo)了。因為對于2.0.0的Spark，Kafka添加了具體的版本號！spark-streaming-kafka→spark-streaming-kafka-0-8就可以找到了（實際上這個版本也在maven repo的搜索結(jié)果，因為靠后我沒有去看）??！

• 對于Java/Scala的編譯問題，我曾經(jīng)特別抗拒，因為maven和sbt的配置文件很冗雜，沒有Python的簡潔明了。Python里20行的依賴文件在maven/sbt里至少200行，而且只要有一個地方?jīng)]寫正確就無法正確編譯。

• 現(xiàn)在發(fā)現(xiàn)要想正確編譯，保證源代碼沒問題的情況下，就需要指定正確的依賴包和格式。這個需要到maven的倉庫上去搜索，確認無誤后再添加到配置文件中。

• 要學(xué)會發(fā)散、拓展思考。當看到sbt編譯失敗的時候就應(yīng)該根據(jù)報錯信息推測出問題的原因：“依賴包版本不正確”，然后把版本指定正確就可以了。

以上就是如何解析sbt編譯Spark App的依賴問題，小編相信有部分知識點可能是我們?nèi)粘９ぷ鲿姷交蛴玫降?。希望你能通過這篇文章學(xué)到更多知識。更多詳情敬請關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

分享名稱：如何解析sbt編譯SparkApp的依賴問題
當前路徑：http://bm7419.com/article2/ijheoc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供微信小程序、品牌網(wǎng)站設(shè)計、云服務(wù)器、網(wǎng)站設(shè)計、商城網(wǎng)站、App開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)