spark是如何使用堆棧的

本篇內(nèi)容介紹了“spark是如何使用堆棧的”的有關(guān)知識(shí)，在實(shí)際案例的操作過程中，不少人都會(huì)遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

網(wǎng)站是企業(yè)的互聯(lián)網(wǎng)名片，是開展互聯(lián)網(wǎng)業(yè)務(wù)基礎(chǔ)平臺(tái)。在目標(biāo)明確的基礎(chǔ)上，創(chuàng)新互聯(lián)憑借團(tuán)隊(duì)豐富的設(shè)計(jì)經(jīng)驗(yàn)完成網(wǎng)站的構(gòu)思創(chuàng)意即總體設(shè)計(jì)方案，自成立以來，一直致力于為企業(yè)提供從申請(qǐng)域名、網(wǎng)站策劃、網(wǎng)站設(shè)計(jì)、高端網(wǎng)站設(shè)計(jì)、電子商務(wù)、外貿(mào)網(wǎng)站制作、網(wǎng)站推廣、網(wǎng)站優(yōu)化到為企業(yè)提供個(gè)性化軟件開發(fā)等基于互聯(lián)網(wǎng)的全面整合營銷服務(wù)。

spark進(jìn)程是以JVM進(jìn)程運(yùn)行的，可以通過-Xmx和-Xms配置堆棧大小，它是如何使用堆棧呢？下面是spark內(nèi)存分配圖。

storage memory

spark默認(rèn)JVM堆為512MB，為了避免OOM錯(cuò)誤，只使用90%。通過spark.storage.safetyFraction來設(shè)置。spark通過內(nèi)存來存儲(chǔ)需要處理的數(shù)據(jù)，使用安全空間的60%，通過 spark.storage.memoryFraction來控制。如果我們想知道spark可以緩存多少數(shù)據(jù)？假設(shè)使用executors數(shù)為N，那么緩存數(shù)據(jù)為N*90%*60%*512MB。 ##shuffle memory shuffle memory的內(nèi)存為“Heap Size” * spark.shuffle.safetyFraction * spark.shuffle.memoryFraction。默認(rèn)spark.shuffle.safetyFraction 是 0.8 , spark.shuffle.memoryFraction是0.2 ，因此shuffle memory為 0.8*0.2*512MB = 0.16*512MB ##unroll memory unroll memory的內(nèi)存為spark.storage.unrollFraction * spark.storage.memoryFraction * spark.storage.safetyFraction，即0.2 * 0.6 * 0.9 * 512MB = 0.108 * 512MB。unroll memory用作數(shù)據(jù)序列化和反序列化。

“spark是如何使用堆棧的”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！

文章標(biāo)題：spark是如何使用堆棧的
本文URL：http://bm7419.com/article10/gijpgo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站制作、企業(yè)建站、關(guān)鍵詞優(yōu)化、網(wǎng)站策劃、全網(wǎng)營銷推廣、App開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)