pig的原理及特點是什么
這篇文章給大家介紹pig的原理及特點是什么，內(nèi)容非常詳細，感興趣的小伙伴們可以參考借鑒，希望對大家能有所幫助。
網(wǎng)站建設(shè)哪家好，找成都創(chuàng)新互聯(lián)公司！專注于網(wǎng)頁設(shè)計、網(wǎng)站建設(shè)、微信開發(fā)、微信小程序、集團企業(yè)網(wǎng)站建設(shè)等服務(wù)項目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了富蘊免費建站歡迎大家使用！
Apache Pig是MapReduce的一個抽象。它是一個工具/平臺，用于分析較大的數(shù)據(jù)集，并將它們表示為數(shù)據(jù)流。Pig通常與 Hadoop 一起使用；我們可以使用Apache Pig在Hadoop中執(zhí)行所有的數(shù)據(jù)處理操作。
要使用 Apache Pig 分析數(shù)據(jù)，程序員需要使用Pig Latin語言編寫腳本。所有這些腳本都在內(nèi)部轉(zhuǎn)換為Map和Reduce任務(wù)。Apache Pig有一個名為 Pig Engine 的組件，它接受Pig Latin腳本作為輸入，并將這些腳本轉(zhuǎn)換為MapReduce作業(yè)。
為什么要使用Apache Pig
使用 Pig Latin ，程序員可以輕松地執(zhí)行MapReduce作業(yè)，而無需在Java中鍵入復(fù)雜的代碼。
Apache Pig使用多查詢方法，從而減少代碼長度。例如，需要在Java中輸入200行代碼（LoC）的操作在Apache Pig中輸入少到10個LoC就能輕松完成。最終，Apache Pig將開發(fā)時間減少了近16倍。
Pig Latin是類似SQL的語言，當(dāng)你熟悉SQL后，很容易學(xué)習(xí)Apache Pig。
Apache Pig提供了許多內(nèi)置操作符來支持數(shù)據(jù)操作，如join，filter，ordering等。此外，它還提供嵌套數(shù)據(jù)類型，例如tuple（元組），bag（包）和MapReduce缺少的map（映射）。
Apache Pig具有以下特點:
豐富的運算符集 - 它提供了許多運算符來執(zhí)行諸如join，sort，filer等操作。
易于編程 - Pig Latin與SQL類似，如果你善于使用SQL，則很容易編寫Pig腳本。
優(yōu)化機會 - Apache Pig中的任務(wù)自動優(yōu)化其執(zhí)行，因此程序員只需要關(guān)注語言的語義。
可擴展性 - 使用現(xiàn)有的操作符，用戶可以開發(fā)自己的功能來讀取、處理和寫入數(shù)據(jù)。
用戶定義函數(shù) - Pig提供了在其他編程語言（如Java）中創(chuàng)建用戶定義函數(shù)的功能，并且可以調(diào)用或嵌入到Pig腳本中。
處理各種數(shù)據(jù) - Apache Pig分析各種數(shù)據(jù)，無論是結(jié)構(gòu)化還是非結(jié)構(gòu)化，它將結(jié)果存儲在HDFS中。
Apache Pig與MapReduce
下面列出的是Apache Pig和MapReduce之間的主要區(qū)別。
| Apache Pig | MapReduce |
|---|---|
| Apache Pig是一種數(shù)據(jù)流語言。 | MapReduce是一種數(shù)據(jù)處理模式。 |
它是一種高級語言。 | MapReduce是低級和剛性的。 |
| 在Apache Pig中執(zhí)行Join操作非常簡單。 | 在MapReduce中執(zhí)行數(shù)據(jù)集之間的Join操作是非常困難的。 |
| 任何具備SQL基礎(chǔ)知識的新手程序員都可以方便地使用Apache Pig工作。 | 向Java公開是必須使用MapReduce。 |
| Apache Pig使用多查詢方法，從而在很大程度上減少代碼的長度。 | MapReduce將需要幾乎20倍的行數(shù)來執(zhí)行相同的任務(wù)。 |
| 沒有必要編譯。執(zhí)行時，每個Apache Pig操作符都在內(nèi)部轉(zhuǎn)換為MapReduce作業(yè)。 | MapReduce作業(yè)具有很長的編譯過程。 |
Apache Pig Vs SQL
下面列出了Apache Pig和SQL之間的主要區(qū)別。
| Pig | SQL |
| Pig Latin是一種程序語言。 | SQL是一種聲明式語言。 |
| 在Apache Pig中，模式是可選的。我們可以存儲數(shù)據(jù)而無需設(shè)計模式（值存儲為01，01， 02等） | 模式在SQL中是必需的。 |
| Apache Pig中的數(shù)據(jù)模型是嵌套關(guān)系。 | SQL 中使用的數(shù)據(jù)模型是平面關(guān)系。 |
| Apache Pig為查詢優(yōu)化提供有限的機會。 | 在SQL中有更多的機會進行查詢優(yōu)化。 |
除了上面的區(qū)別，Apache Pig Latin:
允許在pipeline（流水線）中拆分。
允許開發(fā)人員在pipeline中的任何位置存儲數(shù)據(jù)。
聲明執(zhí)行計劃。
提供運算符來執(zhí)行ETL（Extract提取，Transform轉(zhuǎn)換和Load加載）功能。
Apache Pig VS Hive
Apache Pig和Hive都用于創(chuàng)建MapReduce作業(yè)。在某些情況下，Hive以與Apache Pig類似的方式在HDFS上運行。在下表中，我們列出了幾個重要的點區(qū)分Apache Pig與Hive。
| Apache Pig | Hive |
|---|---|
| Apache Pig使用一種名為 Pig Latin 的語言（最初創(chuàng)建于 Yahoo ）。 | Hive使用一種名為 HiveQL 的語言（最初創(chuàng)建于Facebook ）。 |
| Pig Latin是一種數(shù)據(jù)流語言。 | HiveQL是一種查詢處理語言。 |
| Pig Latin是一個過程語言，它適合流水線范式。 | HiveQL是一種聲明性語言。 |
| Apache Pig可以處理結(jié)構(gòu)化，非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)。 | Hive主要用于結(jié)構(gòu)化數(shù)據(jù)。 |
Apache Pig的應(yīng)用程序
Apache Pig通常被數(shù)據(jù)科學(xué)家用于執(zhí)行涉及特定處理和快速原型設(shè)計的任務(wù)。使用Apache Pig:
處理巨大的數(shù)據(jù)源，如Web日志。
為搜索平臺執(zhí)行數(shù)據(jù)處理。
處理時間敏感數(shù)據(jù)的加載
用于使用Pig分析Hadoop中的數(shù)據(jù)的語言稱為 Pig Latin ，是一種高級數(shù)據(jù)處理語言，它提供了一組豐富的數(shù)據(jù)類型和操作符來對數(shù)據(jù)執(zhí)行各種操作。
要執(zhí)行特定任務(wù)時，程序員使用Pig，需要用Pig Latin語言編寫Pig腳本，并使用任何執(zhí)行機制（Grunt Shell，UDFs，Embedded）執(zhí)行它們。執(zhí)行后，這些腳本將通過應(yīng)用Pig框架的一系列轉(zhuǎn)換來生成所需的輸出。
Apache Pig的架構(gòu)
Apache Pig組件
如圖所示，Apache Pig框架中有各種組件。讓我們來看看主要的組件。
Parser（解析器）
最初，Pig腳本由解析器處理，它檢查腳本的語法，類型檢查和其他雜項檢查。解析器的輸出將是DAG（有向無環(huán)圖），它表示Pig Latin語句和邏輯運算符。在DAG中，腳本的邏輯運算符表示為節(jié)點，數(shù)據(jù)流表示為邊。
Optimizer（優(yōu)化器）
邏輯計劃（DAG）傳遞到邏輯優(yōu)化器，邏輯優(yōu)化器執(zhí)行邏輯優(yōu)化，例如投影和下推。
Compiler（編譯器）
編譯器將優(yōu)化的邏輯計劃編譯為一系列MapReduce作業(yè)。
Execution engine（執(zhí)行引擎）
最后，MapReduce作業(yè)以排序順序提交到Hadoop。這些MapReduce作業(yè)在Hadoop上執(zhí)行，產(chǎn)生所需的結(jié)果。
Pig Latin數(shù)據(jù)模型
Pig Latin的數(shù)據(jù)模型是完全嵌套的，它允許復(fù)雜的非原子數(shù)據(jù)類型，例如 map 和 tuple 。
Atom（原子）
Pig Latin中的任何單個值，無論其數(shù)據(jù)類型，都稱為 Atom 。它存儲為字符串，可以用作字符串和數(shù)字。int，long，float，double，chararray和bytearray是Pig的原子值。一條數(shù)據(jù)或一個簡單的原子值被稱為字段。例:“raja“或“30"
Tuple（元組）
由有序字段集合形成的記錄稱為元組，字段可以是任何類型。元組與RDBMS表中的行類似。例:（Raja，30）
Bag（包）
一個包是一組無序的元組。換句話說，元組（非唯一）的集合被稱為包。每個元組可以有任意數(shù)量的字段（靈活模式）。包由“{}"表示。它類似于RDBMS中的表，但是與RDBMS中的表不同，不需要每個元組包含相同數(shù)量的字段，或者相同位置（列）中的字段具有相同類型。
例:{（Raja，30），（Mohammad，45）}
包可以是關(guān)系中的字段；在這種情況下，它被稱為內(nèi)包（inner bag）。
例:{Raja，30， {9848022338，raja@gmail.com，} }
Map（映射）
映射（或數(shù)據(jù)映射）是一組key-value對。key需要是chararray類型，且應(yīng)該是唯一的。value可以是任何類型，它由“[]"表示，
例:[name＃Raja，age＃30]
Relation（關(guān)系）
一個關(guān)系是一個元組的包。Pig Latin中的關(guān)系是無序的（不能保證按任何特定順序處理元組）。
關(guān)于pig的原理及特點是什么就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學(xué)到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。
網(wǎng)站欄目：pig的原理及特點是什么
文章路徑：http://bm7419.com/article24/ijhsje.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供建站公司、App開發(fā)、全網(wǎng)營銷推廣、域名注冊、網(wǎng)站設(shè)計、軟件開發(fā)
聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)
- Google AMP慶祝其成立三周年，如何開啟。 2019-10-25
- 淺談Google Play ASO 優(yōu)化 2020-09-10
- 什么是Google SEO（谷歌優(yōu)化）？ 2023-05-05
- 谷歌三大法寶：知識圖譜、語音搜索和Google Now 2016-09-04
- 你知道客戶喜歡你的網(wǎng)站嗎？分析工具Google Analytics分析教學(xué) 2013-04-25
- 外貿(mào)業(yè)務(wù)員?如何訪問Google以及使用谷歌搜索客戶？ 2015-02-06
- 新版Google Fonts，多種字體供網(wǎng)站建設(shè)者免費使用 2019-09-26
- 怎樣解決Google有害信息的網(wǎng)站提示 2016-04-10
- Google最新收錄規(guī)則，怎樣才能讓網(wǎng)站快速被Google收錄 2015-02-07
- Google優(yōu)化是谷歌推廣的最佳選擇嗎？ 2015-01-12
- 教你認識什么是符合Google規(guī)則的網(wǎng)站？ 2016-09-26
- 如何使用 Google Play 應(yīng)用內(nèi)購買結(jié)算功能銷售訂閱內(nèi)容 2015-02-06