bigdata-zookeeper筆記（一）-創(chuàng)新互聯(lián)

zookeeper的定義

zookeeper是分布式應用程序的高性能協(xié)調(diào)服務，顧名思義，zookeeper用來保存分布式應用程序的多個節(jié)點之間的狀態(tài)、配置等信息，以確保分布式程序的正確、高速運行。

網(wǎng)站建設哪家好，找創(chuàng)新互聯(lián)公司！專注于網(wǎng)頁設計、網(wǎng)站建設、微信開發(fā)、小程序開發(fā)、集團企業(yè)網(wǎng)站建設等服務項目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了盤山免費建站歡迎大家使用！

zookeeper集群角色：leader、follower、觀察者（集群訪問量大時，增加Observer角色）

1 客戶端訪問zookeeper時，連接到leader與連接到follower之間的區(qū)別？

leader可處理事務操作（增刪改），且所有的事務操作只能由leader處理，其他角色接收到事務請求時，需轉發(fā)給leader；
follower只能處理非事務型操作（讀操作）；
follower可參與集群leader選舉；
Observer功能：增加非事務型請求（讀操作）的橫向擴展性；當讀操作的需求量特別大時，可通過增減觀察者節(jié)點的方式來提高集群性能。

2 集群搭建

機器數(shù)量：zookeeper集群選舉leader時使用posix算法，所以一般選擇奇數(shù)臺機器（2n+1）
zookeeper集群需要配置sun java環(huán)境（sun JDK）
部署leader+follower集群（https://www.cnblogs.com/wrong5566/p/6056788.html）
- 集群的主機間設置每臺機器的hosts
- 修改zookeeper的配置zoo.cfg（zookeeper啟動時，如果未顯示指定配置文件，則默認讀取conf目錄下的zoo.cfg配置文件）
- 新建myid文件
- 配置zookeeper目錄及配置的環(huán)境變量

zookeeper數(shù)據(jù)模型

zookeeper的數(shù)據(jù)模型是樹（猜測是b+樹，但未進行確認），
1 樹上每個節(jié)點被稱為Znode；Znode由3部分組成：stat（znode的狀態(tài)信息）、data（znode中的數(shù)據(jù)信息）和children（znode子節(jié)點的信息）
2 節(jié)點Znode的特點：

Znode 既可以作為文件存儲數(shù)據(jù)，也可以作為目錄；
Znode 上的操作具有原子性；
Znode 節(jié)點限制存放文件的大?。ù?M）；
Znode 的訪問需要使用絕對路徑。

3 Znode節(jié)點的屬性：

dataVersion：局部值，當前節(jié)點的數(shù)據(jù)版本；每次對當前節(jié)點設置值后，當前節(jié)點的dataVersion值都加1，默認為0;
cversion：局部值，當前節(jié)點的子節(jié)點版本號；子節(jié)點每次發(fā)生變化后，cversion的值都加1，默認為0;
cZxid：全局值，創(chuàng)建當前節(jié)點的事務id；每當創(chuàng)建一個新的znode后，cZxid的值都加1;
mZxid：全局值，當前節(jié)點最近一次被修改的事務id；任意Znode被修改后，mzxid的值加1，其中mZxid與cZxid沒有必然的聯(lián)系;
pZxid：全局值，Znode子節(jié)點最近一次被創(chuàng)建時的cZxid;
ephemeralOwner：局部值，記錄臨時節(jié)點的session id，如果非臨時節(jié)點，值為0;
dataLength：局部值，當前節(jié)點的數(shù)據(jù)長度（字節(jié)）;
numChildren：子znode的數(shù)量;

zookeeper節(jié)點類型

臨時節(jié)點：臨時節(jié)點依賴于會話，創(chuàng)建臨時節(jié)點的會話結束時，臨時節(jié)點將被刪除;且臨時節(jié)點不允許擁有子節(jié)點;
永久節(jié)點：永久節(jié)點的生命周期不依賴于會話，可以擁有子節(jié)點;

zookeeper shell

- jps查看zookeeper進程：QuorumPeerMain
- 連接zookeeper集群：zkCli.sh -server zookeeper:2181
- 創(chuàng)建節(jié)點：create [-s] [-e] path data acl; -s表示順序節(jié)點、-e表示臨時節(jié)點
- 讀取節(jié)點：ls path [watch] 獲取節(jié)點的子節(jié)點、get path [watch] 獲取節(jié)點保存的數(shù)據(jù)和節(jié)點屬性信息、ls2 path [watch] 獲取節(jié)點的子節(jié)點和當前節(jié)點屬性信息
- 更新節(jié)點數(shù)據(jù)：set path data [version] 
- 刪除節(jié)點：delete path [version]、rmr path 遞歸刪除數(shù)據(jù)

zookeeper選舉機制

- 算法：FastLeaderElection
- 選舉算法用到的概念：
    服務器ID：數(shù)值型，編號越大權重越大
    選舉狀態(tài)：
        LOOKING，觀望狀態(tài)
        FOLLOWING，隨從狀態(tài)，
        OBSERVING，觀察者狀態(tài)，同步leader狀態(tài)，不參與選舉
        LEADING，領導者狀態(tài)
    數(shù)據(jù)ID：最新寫入的數(shù)據(jù)的ID
    邏輯時鐘：每輪投票，邏輯時鐘的次數(shù)相同;（根據(jù)邏輯時鐘判斷集群中的節(jié)點是否不穩(wěn)定）
- 新集群選舉：
    1. 前提：
        1.1. 每個機器都給自己投票;
        1.2. 投票數(shù)過半，選舉結束; 
    2. 思路：集群中的機器啟動后，給自己投一票，然后開始與其他機器交換投票結果，如果沒有其他機器可以交換，則進入LOOKING狀態(tài)；如果有其他機器可以交換投票，則根據(jù)服務器ID大小，服務器ID小的機器將自己的票投給服務器ID大的機器;當有一臺機器拿到過半的票數(shù)時，將結束選舉；同一集群中，先啟動服務的機器將有更大的機會獲得leader。
- 運行中的集群選舉：
    1. 前提同上;此時選舉需要用數(shù)據(jù)ID、服務器ID、邏輯時鐘
    2. 思路：首先，同一邏輯時鐘，邏輯時鐘小的被淘汰，邏輯時鐘相同的機器將重新投票；然后，機器中數(shù)據(jù)ID大的勝出；如果數(shù)據(jù)ID相同，那么服務器ID大的勝出。

zookeeper的應用場景：

數(shù)據(jù)發(fā)布與訂閱;
命名服務;
分布式鎖;

數(shù)據(jù)發(fā)布與訂閱中心（配置中心）

- 發(fā)布者將數(shù)據(jù)發(fā)布到zookeeper中，訂閱者來獲取新的數(shù)據(jù)更新自己的配置;
- 注意點：
    1. 統(tǒng)一管理的數(shù)據(jù)不能太大;
- 原理：
    1. 所有訂閱者首次啟動時，訪問zk指定的節(jié)點獲取相關的訂閱信息;
    2. 獲取數(shù)據(jù)的同時，設置對節(jié)點數(shù)據(jù)變化的監(jiān)聽; zk.getData(path, true);設置對指定path的監(jiān)聽
    3. 被監(jiān)聽的path上的節(jié)點數(shù)據(jù)發(fā)生改變時，監(jiān)聽被觸發(fā)，所有對次path的訂閱者將收到zookeeperde通知，然后訪問zookeeper獲取新的配置信息;
    4. 獲取數(shù)據(jù)時，再次對path設置監(jiān)聽;
- 疑問：zookeeper中的數(shù)據(jù)發(fā)生改變時，zookeeper如何通知訂閱者？給訂閱者發(fā)送了什么通知？

另外有需要云服務器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

分享名稱：bigdata-zookeeper筆記（一）-創(chuàng)新互聯(lián)
文章分享：http://bm7419.com/article14/diosde.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供自適應網(wǎng)站、面包屑導航、域名注冊、網(wǎng)頁設計公司、網(wǎng)站營銷、響應式網(wǎng)站

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉載內(nèi)容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉載，或轉載時需注明來源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容