Ceph是一個高度可擴(kuò)展的分布式存儲系統(tǒng)，提供了對象、塊和文件系統(tǒng)存儲服務(wù)。Cephadm是Ceph官方推薦的部署和管理工具，它簡化了Ceph集群的安裝與運(yùn)維。本文將詳細(xì)介紹如何通過cephadm工具搭建Ceph集群，并配置Ceph文件系統(tǒng)（CephFS）進(jìn)行掛載，為信息處理和存儲提供支持服務(wù)。

一、環(huán)境準(zhǔn)備與前提條件

在開始部署前，請確保滿足以下條件：

1. 操作系統(tǒng)：建議使用CentOS 8/RHEL 8、Ubuntu 20.04 LTS或更高版本。所有節(jié)點(diǎn)系統(tǒng)時(shí)間需同步。
2. 節(jié)點(diǎn)規(guī)劃：至少需要3個節(jié)點(diǎn)（物理機(jī)或虛擬機(jī)），分別承擔(dān)監(jiān)視器（Mon）、管理器（Mgr）和存儲（OSD）角色。生產(chǎn)環(huán)境建議更多節(jié)點(diǎn)以實(shí)現(xiàn)高可用。
3. 網(wǎng)絡(luò)配置：所有節(jié)點(diǎn)需在同一網(wǎng)絡(luò)，并配置主機(jī)名解析（如/etc/hosts或DNS）。建議規(guī)劃公共網(wǎng)絡(luò)（前端客戶端訪問）和集群網(wǎng)絡(luò)（后端數(shù)據(jù)同步）以提升性能。
4. 權(quán)限：在所有節(jié)點(diǎn)上使用具有root權(quán)限或sudo權(quán)限的用戶進(jìn)行操作。
5. 存儲設(shè)備：為OSD節(jié)點(diǎn)準(zhǔn)備未使用的磁盤或分區(qū)（如/dev/sdb、/dev/sdc）。

二、安裝Cephadm工具

在計(jì)劃作為初始管理節(jié)點(diǎn)的服務(wù)器上安裝cephadm。

1. 下載cephadm腳本：
`bash
curl --silent --remote-name --location https://github.com/ceph/ceph/raw/octopus/src/cephadm/cephadm
chmod +x cephadm
`

2. 安裝cephadm包（以RHEL/CentOS為例）：
`bash
./cephadm add-repo --release octopus # Octopus為Ceph版本，可按需替換
./cephadm install
`
或直接使用腳本安裝Ceph集群組件：
`bash
./cephadm install ceph-common cephadm
`

三、引導(dǎo)初始Ceph集群

在管理節(jié)點(diǎn)上，使用cephadm引導(dǎo)一個新集群。假設(shè)管理節(jié)點(diǎn)主機(jī)名為node1，IP為192.168.1.10。

cephadm bootstrap --mon-ip 192.168.1.10

此命令將：

• 在當(dāng)前節(jié)點(diǎn)（node1）上部署Ceph監(jiān)視器和管理器。
• 生成SSH密鑰對，用于管理其他節(jié)點(diǎn)。
• 輸出訪問Ceph集群的默認(rèn)憑據(jù)（如admin用戶密鑰）。

完成后，可通過ceph status驗(yàn)證集群狀態(tài)。

四、添加集群節(jié)點(diǎn)

將其他節(jié)點(diǎn)添加到集群中，使其承擔(dān)OSD等角色。

1. 將SSH公鑰復(fù)制到所有節(jié)點(diǎn)：引導(dǎo)過程生成的密鑰位于/etc/ceph/ceph.pub，需將其添加到每個節(jié)點(diǎn)的~/.ssh/authorized_keys中。
2. 添加主機(jī)：在管理節(jié)點(diǎn)執(zhí)行：
`bash
ceph orch host add node2
ceph orch host add node3
`
可指定IP地址：ceph orch host add node2 192.168.1.11。

1. 查看主機(jī)列表：ceph orch host ls。

五、添加存儲設(shè)備（OSD）

OSD是實(shí)際存儲數(shù)據(jù)的守護(hù)進(jìn)程。將磁盤添加到集群作為OSD。

1. 列出可用設(shè)備：
`bash
ceph orch device ls
`

1. 創(chuàng)建OSD：

• 自動添加所有可用設(shè)備：ceph orch apply osd --all-available-devices

- 或指定特定設(shè)備（如node2上的/dev/sdb）：
`bash
ceph orch daemon add osd node2:/dev/sdb
`

1. 驗(yàn)證OSD：ceph osd tree 或 ceph osd status。

六、部署Ceph文件系統(tǒng)（CephFS）

CephFS是一個符合POSIX標(biāo)準(zhǔn)的分布式文件系統(tǒng)，需部署MDS（元數(shù)據(jù)服務(wù)器）守護(hù)進(jìn)程。

1. 部署MDS服務(wù)：
`bash
ceph orch apply mds myfs --placement="node1,node2" # 在node1和node2上部署MDS
`

2. 創(chuàng)建CephFS：
`bash
ceph fs volume create myfs # 自動創(chuàng)建所需存儲池
`

3. 驗(yàn)證CephFS：
`bash
ceph fs ls
ceph mds stat
`

七、掛載CephFS到客戶端

在需要訪問CephFS的客戶端節(jié)點(diǎn)上執(zhí)行掛載。

1. 安裝Ceph客戶端軟件包：
`bash
# RHEL/CentOS

yum install ceph-common
# Ubuntu

apt install ceph-common
`

2. 獲取管理員密鑰：從管理節(jié)點(diǎn)的/etc/ceph/ceph.client.admin.keyring復(fù)制密鑰環(huán)到客戶端的/etc/ceph/目錄。
3. 創(chuàng)建掛載點(diǎn)并掛載：
`bash
mkdir /mnt/mycephfs
mount -t ceph node1:6789,node2:6789,node3:6789:/ /mnt/mycephfs -o name=admin
`
或使用內(nèi)核驅(qū)動掛載（推薦）：
`bash
mount -t ceph 192.168.1.10:6789,192.168.1.11:6789,192.168.1.12:6789:/ /mnt/mycephfs -o name=admin
`

4. 驗(yàn)證掛載：df -hT /mnt/mycephfs 或?qū)懭霚y試文件。
5. 配置自動掛載：在/etc/fstab中添加：
`

192.168.1.10:6789,192.168.1.11:6789,192.168.1.12:6789:/ /mnt/mycephfs ceph name=admin,_netdev 0 0
`

八、管理與監(jiān)控

• 集群健康狀態(tài)：定期使用ceph status或ceph health detail檢查。
• Web Dashboard：Cephadm默認(rèn)啟用儀表板，可通過ceph mgr services查看URL，使用引導(dǎo)輸出的憑據(jù)登錄。
• 擴(kuò)展集群：添加新節(jié)點(diǎn)或OSD時(shí)，重復(fù)第四、五步即可。
• 注意事項(xiàng)：確保防火墻開放所需端口（如6789用于Mon，6800-7300用于OSD，3300用于MDS）。

九、

通過cephadm工具，我們可以高效地部署和管理Ceph分布式存儲集群。CephFS提供了一個可擴(kuò)展的共享文件系統(tǒng)，適用于云環(huán)境、大數(shù)據(jù)分析及備份存儲等場景，為信息處理與存儲支持服務(wù)提供了堅(jiān)實(shí)保障。后續(xù)可根據(jù)業(yè)務(wù)需求調(diào)整存儲池策略、設(shè)置配額或集成OpenStack/Kubernetes等平臺。