搭建ProxmoxVE+Ceph集群（圖文版）-創(chuàng)新互聯(lián)

本文介紹如何創(chuàng)建一個(gè)ProxmoxVE集群，并使用內(nèi)部集成的Ceph作為存儲(chǔ)。

創(chuàng)新互聯(lián)建站堅(jiān)持“要么做到，要么別承諾”的工作理念，服務(wù)領(lǐng)域包括：成都網(wǎng)站建設(shè)、網(wǎng)站制作、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣等服務(wù)，滿足客戶于互聯(lián)網(wǎng)時(shí)代的萊陽網(wǎng)站設(shè)計(jì)、移動(dòng)媒體設(shè)計(jì)的需求，幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴！

集群包含5臺(tái)主機(jī)，其中3臺(tái)安裝ceph作為存儲(chǔ)節(jié)點(diǎn)，為剩下作為計(jì)算節(jié)點(diǎn)2臺(tái)提供存儲(chǔ)。

這里，5臺(tái)主機(jī)均位于同一個(gè)集群中。

本文使用到的軟件版本：

VMware-Workstation 15.5

pve（proxmox VE）6.0.1

ceph：ceph nautilus 最新版

ssh連接工具：xshell 6

1、環(huán)境配置

我們需要建立如下包含5臺(tái)pve主機(jī)的集群：

存儲(chǔ)節(jié)點(diǎn)：

pve-store1：cpu 4核 內(nèi)存2g 硬盤20g+500g 橋接網(wǎng)絡(luò) IP地址 10.8.20.241

pve-store2： cpu 4核 內(nèi)存2g 硬盤20g+500g 橋接網(wǎng)絡(luò) IP地址 10.8.20.242

pve-store3 ：cpu 4核 內(nèi)存2g 硬盤20g+500g 橋接網(wǎng)絡(luò) IP地址 10.8.20.243

計(jì)算節(jié)點(diǎn)：

pve-compute1 ：cpu 4核 內(nèi)存4g 硬盤20g 橋接網(wǎng)絡(luò) IP地址 10.8.20.244

pve-compute2 ：cpu 4核 內(nèi)存4g 硬盤20g 橋接網(wǎng)絡(luò) IP地址 10.8.20.245

2、存儲(chǔ)節(jié)點(diǎn)的安裝配置

先建立存儲(chǔ)節(jié)點(diǎn)，并以 pve-store1為mgr建立pve集群

（1）建立虛擬機(jī)

cpu記得開虛擬化

虛擬機(jī)屬性

（2）安裝pve

系統(tǒng)安裝在20g的硬盤上面

安裝摘要

（3）配置pve

使用xshell6連接剛安裝好的這臺(tái)主機(jī)，執(zhí)行下面的任務(wù)：

安裝vim

apt update
apt install vim -y

安裝阿里云的源

cd /etc/apt
vim sources.list.d/pve-enterprise.list

修改為
deb http://download.proxmox.wiki/debian/pve buster pve-no-subscription

cd /etc/apt/
vim sources.list

修改為：
deb http://mirrors.aliyun.com/debian buster main contrib
deb http://mirrors.aliyun.com/debian buster-updates main contrib
#安全更新
deb http://mirrors.aliyun.com/debian-security/ buster/updates main contrib

更新系統(tǒng)

apt update
apt upgrade -y

去除webui的訂閱提示

sed -i "s/data.status !== 'Active'/false/g" /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js

重啟系統(tǒng)

init 6

按照上述方法安裝 pve-store2、pve-store3 ，再繼續(xù)進(jìn)行下面的操作

（4）建立pve集群

登錄pve-store1（https://10.8.20.241:8006）的web管理平臺(tái)，建立名為pve-cluster的集群，并將另外2臺(tái)主機(jī)加進(jìn)來。具體方法可以參考本博客的第一篇文章中的相關(guān)內(nèi)容。

建立好的pve集群

（5）建立ceph集群

1、在 pve-store1、pve-store2、pve-store3上都執(zhí)行以下命令安裝ceph

pveceph install?（不帶版本號(hào)安裝的是最新的nautilus版）

稍等片刻，提示如下則表示安裝成功

ceph安裝成功

注意：計(jì)算節(jié)點(diǎn)不需要安裝ceph。

2、建立ceph集群網(wǎng)絡(luò)，3個(gè)存儲(chǔ)節(jié)點(diǎn)上面均執(zhí)行

pveceph init -network 10.8.20.0/24

3、 創(chuàng)建ceph集群存儲(chǔ)Mon監(jiān)控， 3個(gè)存儲(chǔ)節(jié)點(diǎn)上面均執(zhí)行

pveceph createmon

創(chuàng)建監(jiān)視器mon

Ceph Monitor：由該英文名字可以知道它是一個(gè)監(jiān)視器，負(fù)責(zé)監(jiān)視Ceph集群，維護(hù)Ceph集群的健康狀態(tài)，同時(shí)維護(hù)著Ceph集群中的各種Map圖，比如OSD Map、Monitor Map、PG Map和CRUSH Map，這些Map統(tǒng)稱為Cluster Map，Cluster Map是RADOS的關(guān)鍵數(shù)據(jù)結(jié)構(gòu)，管理集群中的所有成員、關(guān)系、屬性等信息以及數(shù)據(jù)的分發(fā)，比如當(dāng)用戶需要存儲(chǔ)數(shù)據(jù)到Ceph集群時(shí)，OSD需要先通過Monitor獲取最新的Map圖，然后根據(jù)Map圖和object id等計(jì)算出數(shù)據(jù)最終存儲(chǔ)的位置。

4、 創(chuàng)建ceph集群存儲(chǔ)OSD服務(wù)， 3個(gè)存儲(chǔ)節(jié)點(diǎn)上面均執(zhí)行，事先為3個(gè)存儲(chǔ)節(jié)點(diǎn)添加了一塊200G的新硬盤。

pveceph createosd /dev/sdb

創(chuàng)建osd

Ceph OSD：OSD的英文全稱是Object Storage Device，它的主要功能是存儲(chǔ)數(shù)據(jù)、復(fù)制數(shù)據(jù)、平衡數(shù)據(jù)、恢復(fù)數(shù)據(jù)等，與其它OSD間進(jìn)行心跳檢查等，并將一些變化情況上報(bào)給Ceph Monitor。一般情況下一塊硬盤對(duì)應(yīng)一個(gè)OSD，由OSD來對(duì)硬盤存儲(chǔ)進(jìn)行管理，當(dāng)然一個(gè)分區(qū)也可以成為一個(gè)OSD。

5、 創(chuàng)建集群存儲(chǔ)資源池，將上面3個(gè)OSD結(jié)合在一起對(duì)外提供存儲(chǔ)服務(wù)

只在作為mgr的pve-store1上面執(zhí)行

ceph osd pool create pve-pool 128 128

其中的128(pg_num)的設(shè)置：
少于 5 個(gè) OSD 時(shí)，可把?pg_num?設(shè)置為 128
OSD 數(shù)量在 5 到 10 個(gè)時(shí)，可把?pg_num?設(shè)置為 512
OSD 數(shù)量在 10 到 50 個(gè)時(shí)，可把?pg_num?設(shè)置為 4096

創(chuàng)建存儲(chǔ)池pve-pool

6、創(chuàng)建RBD塊設(shè)備存儲(chǔ)

RBD塊存儲(chǔ)是ceph提供的3種存儲(chǔ)類型中使用最廣泛，最穩(wěn)定的存儲(chǔ)類型。RBD塊類似于磁盤，可以掛載到物理機(jī)或虛擬機(jī)中。這里是掛載到pve主機(jī)上，作為pve主機(jī)的存儲(chǔ)（共享存儲(chǔ)）。

登錄pve-store1的web管理頁面，依次打開：數(shù)據(jù)中心->存儲(chǔ)->添加->選擇RBD

打開添加RBD對(duì)話框

ID：填寫為pve-rbd RBD設(shè)備的id

資源池：pve-pool，所屬的資源池

Monitor： pve-store1 pve-store2 pve-store3，監(jiān)視器

節(jié)點(diǎn)：暫時(shí)添加pve-store1， pve-store2， pve-store3，表示集群中哪些主機(jī)可以使用該塊設(shè)備。

內(nèi)容：存放的內(nèi)容，選擇磁盤鏡像和容器，這樣ceph就可以存放虛擬機(jī)的鏡像和下載的LXC容器了。

添加后，可以看到集群主機(jī)下會(huì)增加一個(gè)存儲(chǔ)

rbd塊設(shè)備存儲(chǔ)

可以查看整個(gè)ceph的狀態(tài)信息

ceph集群狀態(tài)

（6）ceph的相關(guān)操作

1、賦予應(yīng)用相關(guān)權(quán)限

在pve-store1上執(zhí)行

ceph osd pool application enable pve-pool rgw?rbd

2、查看ceph有哪些存儲(chǔ)池

ceph osd lspools

3、查看ceph的空間大小及可用大小

ceph df

可以看到目前3塊500G硬盤組成的ceph存儲(chǔ)集群，大可用空間為473G≈500G。

4、查看ceph的副本數(shù)

ceph osd pool get pve-pool size

默認(rèn)情況下是3，即存放在ceph集群中的數(shù)據(jù)會(huì)有3個(gè)副本，所以整個(gè)ceph集群的可用空間大約是(500*3（osd數(shù)目）)/3（副本數(shù)）=500G（里面的算法很復(fù)雜，所以要少于500G，這里實(shí)際上是473G）

ceph副本數(shù)

設(shè)置新的副本數(shù)為2

ceph osd pool set pve-pool size 2

設(shè)置過后，可能需要很長時(shí)間的配置，ceph集群才會(huì)自動(dòng)恢復(fù)正常。不是必要請(qǐng)不要進(jìn)行該操作。

5、 為集群安裝ceph Dashboard

在pve-store1上執(zhí)行

apt install ceph-mgr-dashboard -y
ceph mgr module enable dashboard
ceph dashboard create-self-signed-cert
ceph dashboard ac-user-create admin admin123 administrator（其中?admin是用戶名 admin123是密碼 administrator指定用戶是管理員）
systemctl restart ceph-mgr@pve-store1.service

訪問https://10.8.20.241:8443，使用用戶名admin密碼admin123登錄即可。

ceph Dashboard登錄界面

ceph Dashboard主界面

ceph Dashboard -Hosts（主機(jī)）

ceph Dashboard -存儲(chǔ)池，可以看到有3個(gè)副本

編輯存儲(chǔ)池，增加另外2個(gè)應(yīng)用

總之，使用這個(gè)Dashboard，可以單獨(dú)管理ceph（其實(shí)一般不用）。

3、計(jì)算節(jié)點(diǎn)的安裝配置

建立虛擬機(jī)

虛擬機(jī)名稱：pve-compute1

cpu：4核，開虛擬化

內(nèi)存：4g

硬盤：20g

網(wǎng)絡(luò)：橋接模式

計(jì)算節(jié)點(diǎn)虛擬機(jī)配置

然后安裝和配置pve，設(shè)置其主機(jī)名為： pve-compute1，ip地址設(shè)置為：10.8.20.244/24，然后更改為國內(nèi)源，最后更新系統(tǒng)。

更新系統(tǒng)成功

將這臺(tái)主機(jī)加入到上面的集群中

點(diǎn)擊pve-store1的web管理平臺(tái)中數(shù)據(jù)中心→集群→上面的加入信息按鈕，拷貝加入信息

集群的加入信息

再打開pve-compute1的web管理平臺(tái)，點(diǎn)擊數(shù)據(jù)中心→集群→上面的加入集群按鈕，在對(duì)話框中粘貼集群加入信息，輸入 pve-store1 的root密碼加入集群

加入集群

在pve-store1的web管理平臺(tái)中可以看到新加入的主機(jī)

在pve-store1上，選擇數(shù)據(jù)中心→存儲(chǔ)→pve-rbd，再點(diǎn)擊上面的編輯按鈕

，

在節(jié)點(diǎn)處僅保留pve-compute1這臺(tái)主機(jī)

修改好之后，在左邊就可以在pve-compute1節(jié)點(diǎn)下面多出了一個(gè)存儲(chǔ)

說明計(jì)算節(jié)點(diǎn) pve-compute1可以使用ceph存儲(chǔ)了。

用同樣的方法創(chuàng)建第二個(gè)計(jì)算節(jié)點(diǎn) pve-compute2，并按照上面的方法zaipve-brd的節(jié)點(diǎn)那加入這臺(tái)主機(jī)

最后在 pve-compute1 或者 pve-compute2 上面創(chuàng)建、安裝虛擬機(jī)測試集群，記得虛擬機(jī)的磁盤要使用pve-rbd這個(gè)存儲(chǔ)。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

本文標(biāo)題：搭建ProxmoxVE+Ceph集群（圖文版）-創(chuàng)新互聯(lián)
本文來源：http://bm7419.com/article22/ddpjcc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供關(guān)鍵詞優(yōu)化、網(wǎng)站收錄、小程序開發(fā)、手機(jī)網(wǎng)站建設(shè)、靜態(tài)網(wǎng)站、企業(yè)建站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)