bigdata-zookeeper筆記（一）

zookeeper的定義

zookeeper是分布式應(yīng)用程序的高性能協(xié)調(diào)服務(wù)，顧名思義，zookeeper用來保存分布式應(yīng)用程序的多個(gè)節(jié)點(diǎn)之間的狀態(tài)、配置等信息，以確保分布式程序的正確、高速運(yùn)行。

創(chuàng)新互聯(lián)是一家專業(yè)提供蘆淞企業(yè)網(wǎng)站建設(shè),專注與成都網(wǎng)站制作、做網(wǎng)站、H5建站、小程序制作等業(yè)務(wù)。10年已為蘆淞眾多企業(yè)、政府機(jī)構(gòu)等服務(wù)。創(chuàng)新互聯(lián)專業(yè)網(wǎng)站設(shè)計(jì)公司優(yōu)惠進(jìn)行中。

zookeeper集群角色：leader、follower、觀察者（集群訪問量大時(shí)，增加Observer角色）

1 客戶端訪問zookeeper時(shí)，連接到leader與連接到follower之間的區(qū)別？

  • leader可處理事務(wù)操作（增刪改），且所有的事務(wù)操作只能由leader處理，其他角色接收到事務(wù)請求時(shí)，需轉(zhuǎn)發(fā)給leader；
  • follower只能處理非事務(wù)型操作（讀操作）；
  • follower可參與集群leader選舉；
  • Observer功能：增加非事務(wù)型請求（讀操作）的橫向擴(kuò)展性；當(dāng)讀操作的需求量特別大時(shí)，可通過增減觀察者節(jié)點(diǎn)的方式來提高集群性能。

2 集群搭建

  • 機(jī)器數(shù)量：zookeeper集群選舉leader時(shí)使用posix算法，所以一般選擇奇數(shù)臺(tái)機(jī)器（2n+1）
  • zookeeper集群需要配置sun java環(huán)境（sun JDK）
  • 部署leader+follower集群（https://www.cnblogs.com/wrong5566/p/6056788.html）
    • 集群的主機(jī)間設(shè)置每臺(tái)機(jī)器的hosts
    • 修改zookeeper的配置zoo.cfg（zookeeper啟動(dòng)時(shí)，如果未顯示指定配置文件，則默認(rèn)讀取conf目錄下的zoo.cfg配置文件）
    • 新建myid文件
    • 配置zookeeper目錄及配置的環(huán)境變量
zookeeper數(shù)據(jù)模型

zookeeper的數(shù)據(jù)模型是樹（猜測是b+樹，但未進(jìn)行確認(rèn)），
1 樹上每個(gè)節(jié)點(diǎn)被稱為Znode；Znode由3部分組成：stat（znode的狀態(tài)信息）、data（znode中的數(shù)據(jù)信息）和children（znode子節(jié)點(diǎn)的信息）
2 節(jié)點(diǎn)Znode的特點(diǎn)：

  • Znode 既可以作為文件存儲(chǔ)數(shù)據(jù)，也可以作為目錄；
  • Znode 上的操作具有原子性；
  • Znode 節(jié)點(diǎn)限制存放文件的大?。ㄗ畲?M）；
  • Znode 的訪問需要使用絕對路徑。

3 Znode節(jié)點(diǎn)的屬性：

  • dataVersion：局部值，當(dāng)前節(jié)點(diǎn)的數(shù)據(jù)版本；每次對當(dāng)前節(jié)點(diǎn)設(shè)置值后，當(dāng)前節(jié)點(diǎn)的dataVersion值都加1，默認(rèn)為0;
  • cversion：局部值，當(dāng)前節(jié)點(diǎn)的子節(jié)點(diǎn)版本號(hào)；子節(jié)點(diǎn)每次發(fā)生變化后，cversion的值都加1，默認(rèn)為0;
  • cZxid：全局值，創(chuàng)建當(dāng)前節(jié)點(diǎn)的事務(wù)id；每當(dāng)創(chuàng)建一個(gè)新的znode后，cZxid的值都加1;
  • mZxid：全局值，當(dāng)前節(jié)點(diǎn)最近一次被修改的事務(wù)id；任意Znode被修改后，mzxid的值加1，其中mZxid與cZxid沒有必然的聯(lián)系;
  • pZxid：全局值，Znode子節(jié)點(diǎn)最近一次被創(chuàng)建時(shí)的cZxid;
  • ephemeralOwner：局部值，記錄臨時(shí)節(jié)點(diǎn)的session id，如果非臨時(shí)節(jié)點(diǎn)，值為0;
  • dataLength：局部值，當(dāng)前節(jié)點(diǎn)的數(shù)據(jù)長度（字節(jié)）;
  • numChildren：子znode的數(shù)量;
zookeeper節(jié)點(diǎn)類型
  1. 臨時(shí)節(jié)點(diǎn)：臨時(shí)節(jié)點(diǎn)依賴于會(huì)話，創(chuàng)建臨時(shí)節(jié)點(diǎn)的會(huì)話結(jié)束時(shí)，臨時(shí)節(jié)點(diǎn)將被刪除;且臨時(shí)節(jié)點(diǎn)不允許擁有子節(jié)點(diǎn);
  2. 永久節(jié)點(diǎn)：永久節(jié)點(diǎn)的生命周期不依賴于會(huì)話，可以擁有子節(jié)點(diǎn);
zookeeper shell
- jps查看zookeeper進(jìn)程：QuorumPeerMain
- 連接zookeeper集群：zkCli.sh -server zookeeper:2181
- 創(chuàng)建節(jié)點(diǎn)：create [-s] [-e] path data acl; -s表示順序節(jié)點(diǎn)、-e表示臨時(shí)節(jié)點(diǎn)
- 讀取節(jié)點(diǎn)：ls path [watch] 獲取節(jié)點(diǎn)的子節(jié)點(diǎn)、get path [watch] 獲取節(jié)點(diǎn)保存的數(shù)據(jù)和節(jié)點(diǎn)屬性信息、ls2 path [watch] 獲取節(jié)點(diǎn)的子節(jié)點(diǎn)和當(dāng)前節(jié)點(diǎn)屬性信息
- 更新節(jié)點(diǎn)數(shù)據(jù)：set path data [version] 
- 刪除節(jié)點(diǎn)：delete path [version]、rmr path 遞歸刪除數(shù)據(jù)
zookeeper選舉機(jī)制
- 算法：FastLeaderElection
- 選舉算法用到的概念：
    服務(wù)器ID：數(shù)值型，編號(hào)越大權(quán)重越大
    選舉狀態(tài)：
        LOOKING，觀望狀態(tài)
        FOLLOWING，隨從狀態(tài)，
        OBSERVING，觀察者狀態(tài)，同步leader狀態(tài)，不參與選舉
        LEADING，領(lǐng)導(dǎo)者狀態(tài)
    數(shù)據(jù)ID：最新寫入的數(shù)據(jù)的ID
    邏輯時(shí)鐘：每輪投票，邏輯時(shí)鐘的次數(shù)相同;（根據(jù)邏輯時(shí)鐘判斷集群中的節(jié)點(diǎn)是否不穩(wěn)定）
- 新集群選舉：
    1. 前提：
        1.1. 每個(gè)機(jī)器都給自己投票;
        1.2. 投票數(shù)過半，選舉結(jié)束; 
    2. 思路：集群中的機(jī)器啟動(dòng)后，給自己投一票，然后開始與其他機(jī)器交換投票結(jié)果，如果沒有其他機(jī)器可以交換，則進(jìn)入LOOKING狀態(tài)；如果有其他機(jī)器可以交換投票，則根據(jù)服務(wù)器ID大小，服務(wù)器ID小的機(jī)器將自己的票投給服務(wù)器ID大的機(jī)器;當(dāng)有一臺(tái)機(jī)器拿到過半的票數(shù)時(shí)，將結(jié)束選舉；同一集群中，先啟動(dòng)服務(wù)的機(jī)器將有更大的機(jī)會(huì)獲得leader。
- 運(yùn)行中的集群選舉：
    1. 前提同上;此時(shí)選舉需要用數(shù)據(jù)ID、服務(wù)器ID、邏輯時(shí)鐘
    2. 思路：首先，同一邏輯時(shí)鐘，邏輯時(shí)鐘小的被淘汰，邏輯時(shí)鐘相同的機(jī)器將重新投票；然后，機(jī)器中數(shù)據(jù)ID大的勝出；如果數(shù)據(jù)ID相同，那么服務(wù)器ID大的勝出。
zookeeper的應(yīng)用場景：
  1. 數(shù)據(jù)發(fā)布與訂閱;
  2. 命名服務(wù);
  3. 分布式鎖;
數(shù)據(jù)發(fā)布與訂閱中心（配置中心）
- 發(fā)布者將數(shù)據(jù)發(fā)布到zookeeper中，訂閱者來獲取新的數(shù)據(jù)更新自己的配置;
- 注意點(diǎn)：
    1. 統(tǒng)一管理的數(shù)據(jù)不能太大;
- 原理：
    1. 所有訂閱者首次啟動(dòng)時(shí)，訪問zk指定的節(jié)點(diǎn)獲取相關(guān)的訂閱信息;
    2. 獲取數(shù)據(jù)的同時(shí)，設(shè)置對節(jié)點(diǎn)數(shù)據(jù)變化的監(jiān)聽; zk.getData(path, true);設(shè)置對指定path的監(jiān)聽
    3. 被監(jiān)聽的path上的節(jié)點(diǎn)數(shù)據(jù)發(fā)生改變時(shí)，監(jiān)聽被觸發(fā)，所有對次path的訂閱者將收到zookeeperde通知，然后訪問zookeeper獲取新的配置信息;
    4. 獲取數(shù)據(jù)時(shí)，再次對path設(shè)置監(jiān)聽;
- 疑問：zookeeper中的數(shù)據(jù)發(fā)生改變時(shí)，zookeeper如何通知訂閱者？給訂閱者發(fā)送了什么通知？

本文題目：bigdata-zookeeper筆記（一）
本文來源：http://bm7419.com/article4/pcsiie.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)頁設(shè)計(jì)公司、外貿(mào)網(wǎng)站建設(shè)、定制開發(fā)、標(biāo)簽優(yōu)化、外貿(mào)建站、定制網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)

小程序開發(fā)