spark用kafka批量讀取時(shí)的相關(guān)問(wèn)題-創(chuàng)新互聯(lián)

語(yǔ)法書(shū)寫(xiě)錯(cuò)誤報(bào)錯(cuò):查了半天最后發(fā)現(xiàn)這句寫(xiě)錯(cuò)了,盯著挨個(gè)對(duì)才發(fā)現(xiàn)冒號(hào)寫(xiě)成了逗號(hào),改好即可

公司專注于為企業(yè)提供做網(wǎng)站、成都網(wǎng)站設(shè)計(jì)、微信公眾號(hào)開(kāi)發(fā)、商城建設(shè)，成都小程序開(kāi)發(fā)，軟件按需搭建網(wǎng)站等一站式互聯(lián)網(wǎng)企業(yè)服務(wù)。憑借多年豐富的經(jīng)驗(yàn)，我們會(huì)仔細(xì)了解各客戶的需求而做出多方面的分析、設(shè)計(jì)、整合，為客戶設(shè)計(jì)出具風(fēng)格及創(chuàng)意性的商業(yè)解決方案，創(chuàng)新互聯(lián)更提供一系列網(wǎng)站制作和網(wǎng)站推廣的服務(wù)。

pyspark.sql.utils.IllegalArgumentException: Expected e.g. {"topicA":{"0":23,"1":-1},"topicB":{"0":-2}}, got {"aaa":{"0":10,"1":700,"2",700}}

分區(qū)數(shù)目不對(duì),偏移量不對(duì)報(bào)錯(cuò):更改分區(qū)數(shù)目,偏移量位置即可,或者將failOnDataLoss設(shè)置為False,此時(shí)程序結(jié)果會(huì)出現(xiàn)但依然會(huì)報(bào)錯(cuò)

java.lang.IllegalStateException: Cannot fetch offset 1 (GroupId: spark-kafka-relation-928e8f8b-5271-4295-a3e2-7eeb7965940f-executor, TopicPartition: aaa-0). 
Some data may have been lost because they are not available in Kafka any more; either the
 data was aged out by Kafka or the topic may have been deleted before all the data in the
 topic was processed. If you don't want your streaming query to fail on such cases, set the
 source option "failOnDataLoss" to "false".

批量讀取時(shí)

py4j.protocol.Py4JJavaError: An error occurred while calling o45.showString.
: java.lang.AssertionError: assertion failed: If startingOffsets contains specific offsets, you must specify all TopicPartitions.

分區(qū)數(shù)目必須寫(xiě)全,否則會(huì)出現(xiàn)這個(gè)錯(cuò)誤

你是否還在尋找穩(wěn)定的海外服務(wù)器提供商？創(chuàng)新互聯(lián)www.cdcxhl.cn海外機(jī)房具備T級(jí)流量清洗系統(tǒng)配攻擊溯源，準(zhǔn)確流量調(diào)度確保服務(wù)器高可用性，企業(yè)級(jí)服務(wù)器適合批量采購(gòu)，新人活動(dòng)首月15元起，快前往官網(wǎng)查看詳情吧

新聞名稱：spark用kafka批量讀取時(shí)的相關(guān)問(wèn)題-創(chuàng)新互聯(lián)
URL鏈接：http://bm7419.com/article48/ijphp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供商城網(wǎng)站、軟件開(kāi)發(fā)、定制網(wǎng)站、虛擬主機(jī)、網(wǎng)站制作、網(wǎng)站策劃

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)