Flume結(jié)合Spark測(cè)試-創(chuàng)新互聯(lián)

近日，在測(cè)試Flume結(jié)合Kafka結(jié)合Spark Streaming的實(shí)驗(yàn)。今天把Flume與Spark的簡(jiǎn)單結(jié)合做出來(lái)了，這里記錄一下，避免網(wǎng)友走彎路。有不周到的地方還希望路過(guò)的大神多多指教。

創(chuàng)新互聯(lián)長(zhǎng)期為上1000家客戶(hù)提供的網(wǎng)站建設(shè)服務(wù)，團(tuán)隊(duì)從業(yè)經(jīng)驗(yàn)10年，關(guān)注不同地域、不同群體，并針對(duì)不同對(duì)象提供差異化的產(chǎn)品和服務(wù)；打造開(kāi)放共贏平臺(tái)，與合作伙伴共同營(yíng)造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為云城企業(yè)提供專(zhuān)業(yè)的成都網(wǎng)站建設(shè)、網(wǎng)站制作，云城網(wǎng)站改版等技術(shù)服務(wù)。擁有十余年豐富建站經(jīng)驗(yàn)和眾多成功案例,為您定制開(kāi)發(fā)。

實(shí)驗(yàn)比較簡(jiǎn)單，分為兩部分：一、使用avro-client發(fā)送數(shù)據(jù) 二、使用netcat發(fā)送數(shù)據(jù)

首先Spark程序需要Flume的兩個(gè)jar包：

flume-ng-sdk-1.4.0、spark-streaming-flume_2.11-1.2.0

一、使用avro-client發(fā)送數(shù)據(jù)

1、 編寫(xiě)Spark程序，該程序的功能是接收Flume事件

import org.apache.log4j.{Level, Logger}

import org.apache.spark.SparkConf

importorg.apache.spark.storage.StorageLevel

import org.apache.spark.streaming._

import org.apache.spark.streaming.flume._

object FlumeEventTest{

 defmain(args:Array[String]) {

   Logger.getLogger("org.apache.spark").setLevel(Level.WARN)

   Logger.getLogger("org.apache.eclipse.jetty.server").setLevel(Level.OFF)

   val hostname = args(0)

   val port = args(1).toInt

   val batchInterval = args(2)

   val sparkConf = newSparkConf().setAppName("FlumeEventCount").setMaster("local[2]")

   val ssc = new StreamingContext(sparkConf,batchInterval)

   valstream = FlumeUtils.createStream(ssc,hostname,port,StorageLevel.MEMORY_ONLY)

   stream.count().map(cnt => "Received " + cnt + " flumeevents." ).print()

   ssc.start()

   ssc.awaitTermination()

 }

}

2、 Flume配置文件參數(shù)

a1.channels = c1

a1.sinks = k1

a1.sources = r1

a1.sinks.k1.type = avro

a1.sinks.k1.channel = c1

a1.sinks.k1.hostname = localhost

a1.sinks.k1.port = 9999

a1.sources.r1.type = avro

a1.sources.r1.bind = localhost

a1.sources.r1.port = 44444

a1.sources.r1.channels = c1

a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000

a1.channels.c1.transactionCapacity = 100

這里，使用avro向flume的44444端口發(fā)送數(shù)據(jù)；然后flume通過(guò)9999向Spark發(fā)送數(shù)據(jù)。

3、 運(yùn)行Spark程序：

4、 通過(guò)Flume配置文件啟動(dòng)Flumeagent

../bin/flume-ng agent --conf conf--conf-file ./flume-conf.conf --name a1

-Dflume.root.logger=INFO,console

Spark運(yùn)行效果：

5、 使用avro來(lái)發(fā)送文件：

./flume-ng avro-client --conf conf -Hlocalhost -p 44444 -F/opt/servicesClient/Spark/spark/conf/spark-env.sh.template-Dflume.root.logger=DEBUG,console

Flume agent效果：

Spark效果：

二、使用netcat發(fā)送數(shù)據(jù)

1、 Spark程序同上

2、 配置Flume參數(shù)

a1.channels = c1

a1.sinks = k1

a1.sources = r1

a1.sinks.k1.type = avro

a1.sinks.k1.channel = c1

a1.sinks.k1.hostname = localhost

a1.sinks.k1.port = 9999

a1.sources.r1.type = netcat

a1.sources.r1.bind = localhost

a1.sources.r1.port = 44444

a1.sources.r1.channels = c1

a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000

a1.channels.c1.transactionCapacity = 100

這里，使用telnet作為Flume的數(shù)據(jù)源

3、 運(yùn)行Spark程序同上

4、 通過(guò)Flume配置文件啟動(dòng)Flumeagent

../bin/flume-ng agent --conf conf--conf-file ./flume-conf.conf --name a1

-Dflume.root.logger=INFO,console

注意：這里使用netcat作為Flume的數(shù)據(jù)源，注意與avro作為源的效果區(qū)別

5、 使用telnet發(fā)送數(shù)據(jù)

Spark效果：

這是兩個(gè)比較簡(jiǎn)單的demo，如果真正在項(xiàng)目中使用Flume來(lái)收集數(shù)據(jù)，使用Kafka作為分布式消息隊(duì)列，使用Spark Streaming實(shí)時(shí)計(jì)算，還需要詳細(xì)研究Flume和Spark流計(jì)算。

前段時(shí)間給部門(mén)做培訓(xùn)，演示了Spark Streaming的幾個(gè)例子：文本處理、網(wǎng)絡(luò)數(shù)據(jù)處理、stateful操作和window操作，這幾天有時(shí)間整理整理，分享給大家。包括Spark MLlib的兩個(gè)簡(jiǎn)單demo：基于K-Means的用戶(hù)分類(lèi)和基于協(xié)同過(guò)濾的電影推薦系統(tǒng)。

今天看了斯坦福Andrew Ng教授的ML課程，講的很棒，這里把鏈接分享給大家：

http://open.163.com/special/opencourse/machinelearning.html

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線(xiàn)，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性?xún)r(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專(zhuān)為企業(yè)上云打造定制，能夠滿(mǎn)足用戶(hù)豐富、多元化的應(yīng)用場(chǎng)景需求。

分享題目：Flume結(jié)合Spark測(cè)試-創(chuàng)新互聯(lián)
瀏覽路徑：http://bm7419.com/article0/dcopoo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供ChatGPT、云服務(wù)器、靜態(tài)網(wǎng)站、響應(yīng)式網(wǎng)站、網(wǎng)站設(shè)計(jì)公司、域名注冊(cè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)