Hadoop發(fā)生了什么？我們?cè)撊绾巫觯?/h1>

2021-02-09    分類： 網(wǎng)站建設(shè)

Apache Hadoop出現(xiàn)在IT領(lǐng)域是在2006年，它可以支持使用廉價(jià)的商用硬件來(lái)存儲(chǔ)海量數(shù)據(jù)。從某種意義上來(lái)說(shuō)，Hadoop幫助我們迎來(lái)了大數(shù)據(jù)時(shí)代。希望越高，期待也越大。企業(yè)可以在稱之為數(shù)據(jù)湖的基于Hadoop的存儲(chǔ)中存儲(chǔ)盡可能多的數(shù)據(jù)，并進(jìn)行后續(xù)的分析。這些數(shù)據(jù)湖伴隨著一系列的獨(dú)立的開源計(jì)算引擎，并且基于此開源即意味著免費(fèi)。那么會(huì)可能出現(xiàn)什么錯(cuò)誤?

Monte Zweben，Splice Machine的CEO，對(duì)Hadoop將要發(fā)生的事情有一個(gè)有趣的看法，特別是對(duì)其垮臺(tái)背后的三個(gè)主要原因：

模式讀是一個(gè)錯(cuò)誤

首先，所謂Hadoop的好功能竟是它的致命缺點(diǎn)。隨著寫模式限制的解除，TB級(jí)的數(shù)據(jù)結(jié)構(gòu)化或非結(jié)構(gòu)化的數(shù)據(jù)寫入到數(shù)據(jù)湖中。由于Hadoop的數(shù)據(jù)治理框架和功能仍在設(shè)計(jì)，企業(yè)越來(lái)越難以確定其數(shù)據(jù)的血緣關(guān)系，導(dǎo)致它們對(duì)自己的數(shù)據(jù)失去信任，數(shù)據(jù)湖變成了數(shù)據(jù)沼澤。

Hadoop的復(fù)雜性和管道式的計(jì)算引擎

其次，Hadoop發(fā)行版中提供了一些列的開源計(jì)算引擎，例如Apache Hive，Apache Spark，Apache Kafka。這些計(jì)算引擎操作起來(lái)很復(fù)雜，需要專門的技術(shù)才能把這些技術(shù)串聯(lián)起來(lái)，但比較困難。

錯(cuò)誤的焦點(diǎn) - 數(shù)據(jù)湖與應(yīng)用程序

第三點(diǎn)也是最重要一點(diǎn)，數(shù)據(jù)湖項(xiàng)目開始失敗,因?yàn)镠adoop集群往往成為企業(yè)數(shù)據(jù)流管道(過(guò)濾，處理，傳輸)的gateway，然后數(shù)據(jù)會(huì)轉(zhuǎn)出到數(shù)據(jù)庫(kù)和數(shù)據(jù)集市用于下游匯報(bào)，并且?guī)缀鯊奈丛谄髽I(yè)中找到真正的業(yè)務(wù)應(yīng)用程序。結(jié)果，數(shù)據(jù)湖最終成為一組龐大的不同計(jì)算引擎，在不同的工作負(fù)載上運(yùn)行，所有這些引擎共享相同的存儲(chǔ)。這些很難進(jìn)行管理。生態(tài)系統(tǒng)中的資源隔離和管理工具正在不斷完善，但仍有很長(zhǎng)的路要走。企業(yè)無(wú)法將注意力從使用數(shù)據(jù)湖作為廉價(jià)的數(shù)據(jù)存儲(chǔ)庫(kù)轉(zhuǎn)移到使用數(shù)據(jù)和支持關(guān)鍵任務(wù)應(yīng)用程序的平臺(tái)。

許多組織都關(guān)注Hadoop生態(tài)系統(tǒng)的最新發(fā)展，并承受著展示數(shù)據(jù)湖價(jià)值的壓力。對(duì)于企業(yè)來(lái)說(shuō)，至關(guān)重要的是確定如何在Hadoop失敗后成功地實(shí)現(xiàn)應(yīng)用程序的現(xiàn)代化，以及實(shí)現(xiàn)這一目標(biāo)的好策略。Hadoop曾經(jīng)是最被炒作的技術(shù)，如今屬于人工智能。當(dāng)心炒作周期，有一天你可能不得不為它的影響負(fù)責(zé)。

本文題目：Hadoop發(fā)生了什么？我們?cè)撊绾巫觯?/a>
標(biāo)題URL：http://www.bm7419.com/news/99968.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供小程序開發(fā)、網(wǎng)站建設(shè)、動(dòng)態(tài)網(wǎng)站、網(wǎng)站設(shè)計(jì)、虛擬主機(jī)、響應(yīng)式網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)