怎么對集群測量進(jìn)行隱含排序？

gmond的目標(biāo)是對同一局域網(wǎng)(LAN)內(nèi)的大量機(jī)器進(jìn)行測量數(shù)據(jù)的采集。gmond是用UDP發(fā)送消息的，因而是不可靠的。為最小化因丟失消息造成的影響，以及提供隱含的優(yōu)先排序，gmond監(jiān)控的每項(xiàng)測量數(shù)據(jù)都對采集間隔、時(shí)間/值的閾值有唯的設(shè)定。
采集間隔
定義了采集的頻率，gmond按照這個(gè)頻率對某項(xiàng)數(shù)據(jù)進(jìn)行采集和處理。對某些常量數(shù)據(jù)，如機(jī)器CPU的核數(shù)，只采集一次。
值閾值
定義采集值和上次報(bào)告的值之間的絕對值差(absolutedifference)，只有值的顯著變化才會引發(fā)一條消息。
時(shí)間閾值
該閾值定義了兩次報(bào)告測量值之間的大時(shí)間間隔，而不管測量數(shù)據(jù)的值具體是多少。這個(gè)閾值是解決UDP的不可靠性的一種變通方案，提供了一種計(jì)算值的年齡的手段，如果自從我們上次收到報(bào)告以來，已經(jīng)過去了一次或幾次該國值的時(shí)間，則認(rèn)為我們的當(dāng)前測量值是過時(shí)的。

從高層來看，gmond對其監(jiān)測的測量數(shù)據(jù)遵從下列步驟：
1.采集當(dāng)前的測量數(shù)據(jù)值。
2.如果當(dāng)前值和上次報(bào)告的值的絕對值差大于指定的值閾值，轉(zhuǎn)步驟5。3.如果當(dāng)前時(shí)間超過了發(fā)送測量數(shù)據(jù)的硬限制(hardlimit)，轉(zhuǎn)步驟5。
4.轉(zhuǎn)步驟7。
5.發(fā)送測量數(shù)據(jù)的值，并保存用于下次比較(在步驟2中)。
6.把時(shí)間閾值加到當(dāng)前時(shí)間上，作為下次發(fā)送測量數(shù)據(jù)的硬限制。
7.進(jìn)人睡眠，時(shí)長為采集間隔。
8.轉(zhuǎn)步驟1。
這種方式使得gmond只在測量數(shù)據(jù)發(fā)生顯著變化時(shí)才發(fā)送消息，而且，前述的計(jì)算也加上了一個(gè)隨機(jī)值，以減少網(wǎng)絡(luò)爭用。最后，對于數(shù)千臺機(jī)器，測量數(shù)據(jù)的采集與發(fā)送要協(xié)調(diào)進(jìn)行。
對降低測量數(shù)據(jù)采集的成本同樣重要的是，將成本固定下來。最壞情況下，每次采集間隔的每次采集都發(fā)送一條消息，最好情況下，消息僅在指定的時(shí)間閾值過去之后發(fā)送。這個(gè)范圍使你能夠?qū)y量數(shù)據(jù)采集建立一個(gè)固定的成本預(yù)算，當(dāng)然，除非閾值有問題。
對于網(wǎng)絡(luò)測量數(shù)據(jù)，要小心選擇值國值。我在第一次把網(wǎng)絡(luò)測量數(shù)據(jù)采集加到Ganglia上時(shí)，把默認(rèn)的采集間隔設(shè)置得太短，值閾值也設(shè)置得太小，在我的筆記本電腦上沒有注意到這種配置錯(cuò)誤，在將Ganglia部署到大量的集群上的時(shí)候，這種錯(cuò)誤就非常明顯了。每個(gè)節(jié)點(diǎn)都開始發(fā)送網(wǎng)絡(luò)測量數(shù)據(jù)更新，以響應(yīng)其他節(jié)點(diǎn)的發(fā)送，Ganglia導(dǎo)致了一場巨大的網(wǎng)絡(luò)風(fēng)暴。希望你不會發(fā)生這種尷尬的事情。
Ganglial應(yīng)有而沒有的一個(gè)功能是測量數(shù)據(jù)的批量處理。你要是自己寫測量數(shù)據(jù)采集系統(tǒng)，記住要支持這個(gè)功能。將測測量數(shù)據(jù)收集起來批量發(fā)送，既減少了發(fā)送的網(wǎng)絡(luò)包數(shù)，也減少了帶寬占用。例如，你發(fā)送的每個(gè)IPv4UDP包都包含一個(gè)14字節(jié)的以太網(wǎng)頭部、一個(gè)20字節(jié)的P頭部、一個(gè)8字節(jié)的UDP頭部和一個(gè)4字節(jié)的以太網(wǎng)尾部。實(shí)際上這些數(shù)字還沒考慮如填充、VLAN、IP選項(xiàng)、IPv6的差異等因素，但我們可以用這些數(shù)字做一個(gè)大概的計(jì)算。假設(shè)你發(fā)送的數(shù)據(jù)是32字節(jié)，發(fā)送10次更新，則需要10個(gè)78字節(jié)的包，總計(jì)780字節(jié)。批量發(fā)送的話，則只需要1個(gè)366字節(jié)的包，其中320字節(jié)用于測量數(shù)據(jù)。這個(gè)例子中，批量發(fā)送減少了90%的包，帶寬減少了一半以上。批量發(fā)送的缺點(diǎn)是，一旦包丟失匯集與組織測量數(shù)據(jù)將會丟失多個(gè)數(shù)據(jù)，而不是一個(gè)。
如果一項(xiàng)測量數(shù)據(jù)對于一臺機(jī)器是有價(jià)值的，則可能對所有機(jī)器都有價(jià)值，這一點(diǎn)對系統(tǒng)測量數(shù)據(jù)而言是對的，但對于應(yīng)用而言則不一定對。如，采集MYSQL的測量數(shù)據(jù)，只對運(yùn)行數(shù)據(jù)庫的機(jī)器才有意義。但是，每分鐘的負(fù)荷，則對于不論運(yùn)行什么應(yīng)用的機(jī)器而言，都是有意義的。
Ganglia元數(shù)據(jù)進(jìn)程(gmetad)采集、匯集、存儲一組機(jī)器的測量數(shù)據(jù)，這種匯總數(shù)據(jù)將通過數(shù)據(jù)采集的層次結(jié)構(gòu)，傳遞給上游的gmetad。這種層次結(jié)構(gòu)的代理模式能夠創(chuàng)建很大的非中心化的測量數(shù)據(jù)采集重疊，這些重疊可以跨越一座校園或整個(gè)地球。
作為一個(gè)極端的例子，設(shè)想將美國的每臺機(jī)器都連到一個(gè)大的測量數(shù)據(jù)采集重疊上，我們將有一個(gè)國家級的gmetad，這個(gè)gmetad從運(yùn)行在每個(gè)州的50個(gè)授權(quán)gmetad中獲取數(shù)據(jù)，每個(gè)州的gmetad從每個(gè)縣級的gmetad中收集數(shù)據(jù)，而每個(gè)縣級的gmetad從每個(gè)市級的gmetad中收集數(shù)據(jù)，等等。
這個(gè)例子中的根節(jié)點(diǎn)不會被美國的每臺機(jī)器中的所有測量數(shù)據(jù)壓垮，它只從每個(gè)州州獲取匯總數(shù)據(jù)，然后生成全美國的匯總數(shù)據(jù)。所以，對于將50個(gè)數(shù)加在一起這樣的運(yùn)算，是不需要很強(qiáng)大的計(jì)算能力的。
Ganglia的Web前端通常安裝在運(yùn)行g(shù)retai的機(jī)器上上，Web前端將gmetad的數(shù)據(jù)進(jìn)行可視化，你可以直觀地測覽，并在測量數(shù)據(jù)采集重疊中進(jìn)行導(dǎo)航。例如，你可以通過根節(jié)點(diǎn)的gmetad查看全美國的匯總信息，以及每個(gè)州的數(shù)據(jù)源，然后在圖上點(diǎn)擊伊利諾伊州，進(jìn)入感興趣的數(shù)據(jù)。這種樹狀的測量數(shù)據(jù)值屬于空間組件，除此之外，還有時(shí)間組件。伊利諾伊州的Web前端，查看詳細(xì)信息。Ganglia:還讓你可對圖片進(jìn)行放大和縮小，以找到Gmetad:將測量數(shù)據(jù)存儲于RD數(shù)據(jù)庫中，RRD數(shù)據(jù)庫用于存儲數(shù)值數(shù)據(jù)并生成歷史報(bào)表。RD一個(gè)非常有用的特點(diǎn)是體積并不隨著時(shí)間的增長而增長。RRD的每個(gè)內(nèi)部檔案庫(archive)都有固定數(shù)量的“桶”，新數(shù)據(jù)到來后，更新所有相關(guān)的檔案庫，并丟棄陳舊的數(shù)據(jù)。對于一個(gè)簡化的例子，你可以用24個(gè)桶對應(yīng)于一天的24小時(shí)，另外的7個(gè)桶對應(yīng)于一周的7天。要在不同時(shí)期中發(fā)現(xiàn)數(shù)據(jù)的趨勢，RRD是一個(gè)理想的工具。將日時(shí)序數(shù)據(jù)和前述的層次代理模式結(jié)合起來，可以用于回答這樣的問題:“對于全美國來說，過去一年CPU的利用率是一個(gè)什么樣的趨勢?”
盡管我希望如此，Ganglia卻從來沒有這樣大范圍地部署過。一個(gè)更為實(shí)際的例子是像Grid3群組這樣的，2003年使用Ganglia，從數(shù)千臺機(jī)器中采集測量數(shù)據(jù)，這些機(jī)器分布在美國和韓國的幾十個(gè)站點(diǎn)，用于高等物理研究。這些為Grid3采集的測量數(shù)據(jù)嵌人其他系統(tǒng)，如Globus，讓人們分享計(jì)算資源進(jìn)行物理實(shí)驗(yàn)。
從大量機(jī)器中匯集不同時(shí)期的數(shù)據(jù)，對于容量規(guī)劃也很有用。了解單臺機(jī)器的CPU利用率為80%是有用的，但知道整個(gè)網(wǎng)站建設(shè)集群上個(gè)月的利用率為80%卻更有價(jià)值。能夠看到這種種“宏觀圖景”，對于計(jì)劃硬件采購、發(fā)現(xiàn)處理流水線中的瓶頸、洞察Web運(yùn)維的動態(tài)，都是非常有幫助的。

網(wǎng)站名稱：怎么對集群測量進(jìn)行隱含排序？
當(dāng)前網(wǎng)址：http://www.bm7419.com/news36/150936.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站導(dǎo)航、網(wǎng)站制作、網(wǎng)站排名、網(wǎng)站改版、外貿(mào)網(wǎng)站建設(shè)、網(wǎng)站策劃

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)