spark的缺點(diǎn)是什么

這篇文章主要介紹“spark的缺點(diǎn)是什么”，在日常操作中，相信很多人在spark的缺點(diǎn)是什么問(wèn)題上存在疑惑，小編查閱了各式資料，整理出簡(jiǎn)單好用的操作方法，希望對(duì)大家解答”spark的缺點(diǎn)是什么”的疑惑有所幫助！接下來(lái)，請(qǐng)跟著小編一起來(lái)學(xué)習(xí)吧！

超過(guò)10年行業(yè)經(jīng)驗(yàn)，技術(shù)領(lǐng)先，服務(wù)至上的經(jīng)營(yíng)模式，全靠網(wǎng)絡(luò)和口碑獲得客戶(hù)，為自己降低成本，也就是為客戶(hù)降低成本。到目前業(yè)務(wù)范圍包括了：網(wǎng)站建設(shè)、成都做網(wǎng)站，成都網(wǎng)站推廣，成都網(wǎng)站優(yōu)化，整體網(wǎng)絡(luò)托管，重慶小程序開(kāi)發(fā)，微信開(kāi)發(fā)，app開(kāi)發(fā)定制，同時(shí)也可以讓客戶(hù)的網(wǎng)站和網(wǎng)絡(luò)營(yíng)銷(xiāo)和我們一樣獲得訂單和生意！

Q1：spark streaming 可以不同數(shù)據(jù)流 join嗎？

  • Spark Streaming不同的數(shù)據(jù)流可以進(jìn)行join操作；

  • Spark Streaming is an extension of the core Spark API that allows enables high-throughput, fault-tolerant stream processing of live data streams. Data can be ingested from many sources like Kafka, Flume, Twitter, ZeroMQ or plain old TCP sockets and be processed using complex algorithms expressed with high-level functions like map, reduce, join and window

  • join(otherStream, [numTasks])：When called on two DStreams of (K, V) and (K, W) pairs, return a new DStream of (K, (V, W)) pairs with all pairs of elements for each key.

 

Q2：flume  與  spark streaming 適合 集群模式嗎？

  • Flume與Spark Streaming是為集群而生的；

  • For input streams that receive data over the network (such as, Kafka, Flume, sockets, etc.), the default persistence level is set to replicate the data to two nodes for fault-tolerance.

  • Using any input source that receives data through a network - For network-based data sources like Kafka and Flume, the received input data is replicated in memory between nodes of the cluster (default replication factor is 2).

 

Q3：spark有缺點(diǎn)嘛？

  • Spark的核心缺點(diǎn)在于對(duì)內(nèi)存的占用比較大；

  • 在以前的版本中Spark對(duì)數(shù)據(jù)的處理主要的是粗粒度的，難以進(jìn)行精細(xì)的控制；

  • 后來(lái)加入Fair模式后可以進(jìn)行細(xì)粒度的處理；

Q4：spark streming現(xiàn)在有生產(chǎn)使用嗎？

  • Spark Streaming非常易于在生產(chǎn)環(huán)境下使用；

  • 無(wú)需部署，只需安裝好Spark，，就按照好了Spark Streaming；

  • 國(guó)內(nèi)像皮皮網(wǎng)等都在使用Spark Streaming；

到此，關(guān)于“spark的缺點(diǎn)是什么”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)?lái)更多實(shí)用的文章！

本文題目：spark的缺點(diǎn)是什么
網(wǎng)站網(wǎng)址：http://bm7419.com/article40/gosiho.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供虛擬主機(jī)、搜索引擎優(yōu)化、網(wǎng)站設(shè)計(jì)公司、品牌網(wǎng)站建設(shè)、服務(wù)器托管、品牌網(wǎng)站設(shè)計(jì)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)

成都定制網(wǎng)站網(wǎng)頁(yè)設(shè)計(jì)