1、 PAGE 2p. PAGE 2技術(shù)白皮書(shū)SUSE Enterprise Storage安裝配置手冊(cè)目錄 TOC o 1-3 h HYPERLINK #_Toc465050108 1 SUSE Enterprise Storage 簡(jiǎn)介3 HYPERLINK #_Toc465050109 2 系統(tǒng)需求4 HYPERLINK #_Toc465050110 3 基本的Ceph集群安裝4 HYPERLINK #_Toc465050111 4 舊版本升級(jí)16 HYPERLINK #_Toc465050112 5 操作Ceph集群22 HYPERLINK #_Toc465050113 6 Cephx 驗(yàn)

2、證35 HYPERLINK #_Toc465050114 7 數(shù)據(jù)管理46 HYPERLINK #_Toc465050115 8 緩存分層54 HYPERLINK #_Toc465050116 9 糾刪碼59 HYPERLINK #_Toc465050117 10 使用ceph作為后端的QEMU KVM實(shí)例61 HYPERLINK #_Toc465050118 11 在ceph下使用libvirt64 HYPERLINK #_Toc465050119 12 快照68 HYPERLINK #_Toc465050120 13 Ceph RADOS Gateway73 HYPERLINK #_Toc

3、465050121 14 Ceph iSCSI Gateway94 HYPERLINK #_Toc465050122 15 集群文件系統(tǒng)119 HYPERLINK #_Toc465050123 16 常見(jiàn)問(wèn)題及解決方案122 HYPERLINK #_Toc465050124 詞匯表153 HYPERLINK #_Toc465050125 A Salt State (SLS) 文件樣例154 HYPERLINK #_Toc465050126 B 手動(dòng)安裝Ceph的步驟樣例161p. PAGE 164 SUSE Enterprise Storage 簡(jiǎn)介1.1 簡(jiǎn)介Ceph 是分布式存儲(chǔ)解決方案，

4、具有擴(kuò)展性，可靠性和高性能。與傳統(tǒng)的使用分配表存取數(shù)據(jù)的方式不同，Ceph使用pseu-random data distribution功能存儲(chǔ)數(shù)據(jù)，可以減少存儲(chǔ)中要求的查詢(xún)次數(shù)。數(shù)據(jù)存儲(chǔ)在智能的對(duì)象存儲(chǔ)設(shè)備(OSDs)上，它可以自動(dòng)執(zhí)行數(shù)據(jù)管理任務(wù)，如數(shù)據(jù)分配，數(shù)據(jù)復(fù)制，故障點(diǎn)監(jiān)測(cè)和恢復(fù)。Ceph 具有自動(dòng)管理和自動(dòng)修復(fù)功能，可以降低管理和預(yù)算成本。Ceph系統(tǒng)具有如下功能：Controlled, Scalable, Decentralized Placement of replicated Data using CRUSHCeph使用CRUSH(Controlled Replication

5、 Under Scalable Hashing)map算法，可以有效的將數(shù)據(jù)分配在OSDs上。與傳統(tǒng)的數(shù)據(jù)分配表查詢(xún)不同，該算法產(chǎn)生分配數(shù)據(jù)偏移量來(lái)定位數(shù)據(jù)存儲(chǔ)位置，可以減少存儲(chǔ)和client之間的通信。client可以根據(jù)CRUSHmap和元數(shù)據(jù)（如對(duì)象名稱(chēng)，字節(jié)偏移量）將數(shù)據(jù)存儲(chǔ)在OSD上。CRUSH維護(hù)設(shè)備結(jié)構(gòu)和復(fù)制歸置策略。當(dāng)添加新設(shè)備時(shí)，原有節(jié)點(diǎn)上的數(shù)據(jù)遷移到新設(shè)備上，通過(guò)優(yōu)化數(shù)據(jù)分配來(lái)均衡工作負(fù)載和數(shù)據(jù)可恢復(fù)性。作為復(fù)制歸置策略的一部分，CRUSH可以增加設(shè)備weight，所以一部分設(shè)備具有比其他設(shè)備更高的優(yōu)先級(jí)。為取得總體更佳的性能，可以提高固態(tài)設(shè)備(SSD)的weight，降低

6、傳統(tǒng)硬盤(pán)的weight。SCRUSH詣在優(yōu)化分配存儲(chǔ)數(shù)據(jù)，有效利用存儲(chǔ)設(shè)備。SCRUSH支持如下數(shù)據(jù)分配方式：N-way 復(fù)制（mirroring）RAID parity schemes糾刪碼Hybrid方式，如RAID-10Reliable Autonomic Distributed Object Storage (RADOS)OSDs可以智能的自動(dòng)執(zhí)行數(shù)據(jù)復(fù)制，自動(dòng)管理，和自動(dòng)恢復(fù)。寫(xiě)入Ceph存儲(chǔ)的數(shù)據(jù)默認(rèn)會(huì)在OSDs間進(jìn)行復(fù)制。復(fù)制的級(jí)別和類(lèi)型是可以配置的。為防止故障，CRUSHmap會(huì)更新，數(shù)據(jù)寫(xiě)進(jìn)新的(復(fù)制的)OSDs中。OSDs可以智能的進(jìn)行數(shù)據(jù)復(fù)制，數(shù)據(jù)遷移，故障點(diǎn)監(jiān)控和恢復(fù)。

7、這些任務(wù)可以自動(dòng)的，自主的執(zhí)行。OSDs也允許為不同的I/O創(chuàng)建資源池。Replicated Monitor Servers監(jiān)控服務(wù)器會(huì)監(jiān)測(cè)系統(tǒng)中所有的設(shè)備，管理CRUSHmap。任何一個(gè)OSD發(fā)生了故障，CRUSH map會(huì)重新產(chǎn)生映射表，將數(shù)據(jù)分配給其他的OSD設(shè)備。通常，建議配置多臺(tái)監(jiān)控服務(wù)器，以提高冗余性和可恢復(fù)性。1.2 附加信息Ceph作為社區(qū)項(xiàng)目，有自己的在線(xiàn)文檔。對(duì)于本文未提及的主題，可參考 /docs/master/ 系統(tǒng)需求存儲(chǔ)節(jié)點(diǎn)和monitor節(jié)點(diǎn)的推薦配置如下2.1 存儲(chǔ)節(jié)點(diǎn)的最小配置每個(gè)OSD 2GB RAM每個(gè)OSD 1.5GHz core獨(dú)立的10GbE網(wǎng)絡(luò)OS

8、D磁盤(pán)配置成JBODOSD磁盤(pán)由SUSE Enterprise Storage專(zhuān)用分配給操作系統(tǒng)的專(zhuān)用磁盤(pán)(SSD)，推薦RAID1配置如果使用緩存分層，需要額外的4GB RAM2.2 monitor節(jié)點(diǎn)的最小配置推薦3個(gè)monitor節(jié)點(diǎn)每個(gè)存儲(chǔ)節(jié)點(diǎn) 2GB RAMSSD或高速硬盤(pán)，配置成RAID1如果部署少于7個(gè)節(jié)點(diǎn)，控制節(jié)點(diǎn)可以安裝在OSD節(jié)點(diǎn)的磁盤(pán)上考慮到性能因素，節(jié)點(diǎn)要求是裸的，沒(méi)有虛擬化的不支持把控制節(jié)點(diǎn)安裝在混合OSDs或者有實(shí)際工作負(fù)載的節(jié)點(diǎn)上推薦的配置會(huì)根據(jù)性能需求和個(gè)體容量而變化，經(jīng)常會(huì)超出綁定的網(wǎng)卡接口做冗余2.3 命名規(guī)則Ceph 配置文件，資源池命名里，以及用戶(hù)命名等

9、通常不支持non-ASCII。配置Ceph集群時(shí)，推薦使用簡(jiǎn)單的字符(A-Z,a-z,0-9)和最小的連接符(.，-,_)。 基本的Ceph集群安裝ceph集群的步驟。當(dāng)前支持如下兩種方式的部署：3.1節(jié)，用ceph-deploy部署3.2節(jié)，用Crowbar部署3.1 用Ceph-deploy部署3.1.1 Ceph布局對(duì)于測(cè)試環(huán)境，最小的Ceph集群可以部署在一個(gè)單獨(dú)的節(jié)點(diǎn)上。然而，對(duì)于生產(chǎn)環(huán)境，推薦最少4個(gè)節(jié)點(diǎn)的配置：1個(gè)管理節(jié)點(diǎn)和3個(gè)集群節(jié)點(diǎn)，每個(gè)集群節(jié)點(diǎn)上運(yùn)行1個(gè)監(jiān)控進(jìn)程和若干OSD進(jìn)程(OSDs)圖3.1：最小的Ceph配置提示：盡管ceph節(jié)點(diǎn)可以使用虛擬機(jī)，但在生產(chǎn)環(huán)境下強(qiáng)烈推

10、薦使用真實(shí)的物理機(jī)3.1.2 網(wǎng)絡(luò)建議運(yùn)行Ceph的理想網(wǎng)絡(luò)環(huán)境，是綁定至少2個(gè)網(wǎng)卡接口做冗余，并在邏輯上使用vlan技術(shù)劃分為公共網(wǎng)絡(luò)(public)和內(nèi)部網(wǎng)絡(luò)(internal)。推薦使用Bonding模式 802.3ad，以提供最大帶寬和可恢復(fù)性。Public VLAN用于向client提供服務(wù)，internal VLAN用于Ceph集群內(nèi)部網(wǎng)絡(luò)通信。主要原因是盡管ceph有驗(yàn)證和保護(hù)機(jī)制，可配置/產(chǎn)生keys的消息流是公開(kāi)并且脆弱的。提示：用DHCP配置節(jié)點(diǎn)如果使用DHCP配置存儲(chǔ)節(jié)點(diǎn)，在默認(rèn)的超時(shí)時(shí)間范圍內(nèi)，也許不能保證ceph守護(hù)進(jìn)程啟動(dòng)之前配置好網(wǎng)絡(luò)，那么Ceph的MONs和OS

11、Ds將不能正確啟動(dòng)(運(yùn)行 systemctl status ceph* 會(huì)報(bào)出“unable to bind”錯(cuò)誤)，Calamari 也許不能夠顯示圖形。為避免這樣的問(wèn)題發(fā)生，推薦提高DHCP的超時(shí)時(shí)間，使得存儲(chǔ)集群中每個(gè)節(jié)點(diǎn)的超時(shí)時(shí)間達(dá)到至少30秒。在每個(gè)節(jié)點(diǎn)上，按照下面的方式修改配置：在/etc/sysconfig/network/dhcp里設(shè)置在/etc/sysconfig/network/config里設(shè)置3.1.3 準(zhǔn)備每個(gè)Ceph節(jié)點(diǎn)部署Ceph集群之前，使用root用戶(hù)在每個(gè)ceph節(jié)點(diǎn)上執(zhí)行如下步驟：1. 安裝SUSE Linux Enterprise 12 SP1, 并安裝

12、 SUSE Enterprise Storage extension。它提供了運(yùn)行ceph所需軟件的軟件庫(kù)。關(guān)于extension安裝的更多信息，參考/documentation/sles-12/book_sle_deployment/data/cha_add-ons.html重要：使用Ceph 用戶(hù)和組執(zhí)行ceph命令SUSE Enterprise Storage version 3.0里，使用Ceph用戶(hù)和組來(lái)執(zhí)行ceph命令，默認(rèn)UID/GID 167。如果UID/GID 167在集群中不存在，需要手動(dòng)創(chuàng)建一個(gè)ceph 用戶(hù)和組。更多信息，參考4.2.1節(jié) “ceph 用戶(hù)和組”。2.

13、檢查防火墻狀態(tài)如果防火墻開(kāi)啟，用如下指令關(guān)閉防火墻或者，如果要保持防火墻開(kāi)啟，使能特定的端口。詳情參考16.13.2節(jié) “ceph防火墻設(shè)置”。3. 確保網(wǎng)絡(luò)設(shè)置正確：每個(gè)ceph節(jié)點(diǎn)可以路由到所有其他的ceph節(jié)點(diǎn)，并且每個(gè)ceph節(jié)點(diǎn)要能夠通過(guò)短主機(jī)名(沒(méi)有域名后綴)解析其他ceph節(jié)點(diǎn)。如果這兩個(gè)條件不滿(mǎn)足，ceph失敗。4. 安裝并設(shè)置NTP-時(shí)間同步工具。強(qiáng)烈推薦在ceph集群中使用NTP工具。原因是ceph守護(hù)進(jìn)程傳送重要消息給其它節(jié)點(diǎn)，該過(guò)程必須在守護(hù)進(jìn)程達(dá)到超時(shí)閾值之前完成。如果ceph monitor節(jié)點(diǎn)中的時(shí)鐘不同步，會(huì)導(dǎo)致異常，如守護(hù)進(jìn)程武略到收到的消息。盡管使用了NTP

14、也可能會(huì)發(fā)生時(shí)鐘漂移，但不影響ceph運(yùn)行。使用如下命令安裝NTP配置NTP，YaSTNetwork ServicesNTP Configuration。確保啟動(dòng)NTP服務(wù)。5. 安裝SSH服務(wù)。Ceph使用SSH登錄所有集群節(jié)點(diǎn)。確保SSH安裝 (zypper in openssh)并啟動(dòng)(systemctl enable sshd.service & systemctl start sshd.service)。6. 添加cephadm用戶(hù)，并設(shè)置密碼。管理節(jié)點(diǎn)會(huì)使用cephadm用戶(hù)登錄ceph節(jié)點(diǎn)7. 管理節(jié)點(diǎn)需要使用SSH免密碼登錄到所有ceph節(jié)點(diǎn)。當(dāng)ceph-deploy使用cep

15、hadm用戶(hù)登錄到1個(gè)ceph節(jié)點(diǎn)中時(shí)，這個(gè)用戶(hù)必須擁有免密碼sudo權(quán)限。編輯/etc/sudoers文件(visudo)，給cephadm用戶(hù)添加sudo權(quán)限提示：執(zhí)行ceph-deploy命名也許會(huì)收到報(bào)錯(cuò)。如果默認(rèn)設(shè)置了quiretty，停掉它，執(zhí)行sudo visudo 并定位到 Default requiretty。修改為Defaults:cephadm !requiretty ，確保ceph-deploy可以使用cephadm用戶(hù)執(zhí)行sudo 命令。8. 在管理節(jié)點(diǎn)上，使用cephadm用戶(hù)，并免密碼SSH登錄到所有其他ceph 節(jié)點(diǎn)：按照默認(rèn)答案回答問(wèn)題即可。把key復(fù)制到每個(gè)

16、ceph節(jié)點(diǎn)上：提示：使用其他用戶(hù)而非cephadm運(yùn)行ceph-deploy，也是可行的。但需要在/.ssh/config文件中設(shè)置SSH別名。修改之后，ssh ceph-node1。3.1.4 清除之前的ceph環(huán)境在部署ceph過(guò)程中遇到問(wèn)題，需要重新部署ceph的時(shí)候，或者想確保之前所有ceph的配置都已經(jīng)移除，使用cephadm用戶(hù)執(zhí)行下面指令來(lái)清除之前ceph的配置。警告：清除之前的ceph安裝會(huì)銷(xiāo)毀存儲(chǔ)的數(shù)據(jù)和訪問(wèn)設(shè)置。3.1.5 運(yùn)行ceph-deploy按照3.1.3節(jié)準(zhǔn)備好每個(gè)ceph節(jié)點(diǎn)后，準(zhǔn)備從管理節(jié)點(diǎn)用ceph-deploy命令部署ceph。注意，ceph-deplo

17、y不支持在之前已經(jīng)被使用的磁盤(pán)上安裝OSD，除非先“zap”它們。小心“zapping”會(huì)刪除整個(gè)磁盤(pán)上的內(nèi)容：1. 安裝ceph和ceph-deploy:2.停止IPv6。打開(kāi)/etc/sysctl.conf,修改如下，并重啟管理節(jié)點(diǎn)3. 不推薦使用root用戶(hù)運(yùn)行ceph-deploy,切換到cephadm用戶(hù)：4. 運(yùn)行ceph-deploy在每個(gè)節(jié)點(diǎn)上安裝ceph:提示：ceph-deploy生成的重要文件都存放在當(dāng)前目錄下。最好在一個(gè)空目錄下運(yùn)行ceph-deploy。5. 設(shè)置monitor節(jié)點(diǎn)。創(chuàng)建keys和本地配置。keys用于驗(yàn)證和保護(hù)ceph節(jié)點(diǎn)之間的通信。在這步中，cep

18、h-deploy創(chuàng)建了本地配置文件。推薦檢查當(dāng)前目錄下的配置文件。提示：不同網(wǎng)段下的monitor節(jié)點(diǎn)如果monitor節(jié)點(diǎn)不在同一個(gè)網(wǎng)段，需要修改ceph.conf文件。例如，如果節(jié)點(diǎn)IP如下：在ceph.conf的global section中添加下面一行可能會(huì)遭遇IPv6網(wǎng)絡(luò)問(wèn)題，修改IPv6 mon_host設(shè)置，例如插入IPv4網(wǎng)址6. 在已經(jīng)創(chuàng)建的monitor節(jié)點(diǎn)上創(chuàng)建初始的monitor服務(wù)：7. 每一個(gè)需要運(yùn)行ceph命名行工具的節(jié)點(diǎn)都需要復(fù)制一份admin的keyring。復(fù)制admin的keyring到一個(gè)或者一組節(jié)點(diǎn)，運(yùn)行重要：由于client.admin的keyrin

19、g文件只有root用戶(hù)可讀，需要使用sudo運(yùn)行ceph命令。8. 檢查防火墻狀態(tài)如果防火墻關(guān)閉，檢查它的配置并開(kāi)啟防火墻創(chuàng)建OSD守護(hù)進(jìn)程。盡管使用一個(gè)目錄作為存儲(chǔ)節(jié)點(diǎn)，但推薦創(chuàng)建一個(gè)單獨(dú)的磁盤(pán)分配給ceph節(jié)點(diǎn)。查詢(xún)這個(gè)磁盤(pán)設(shè)備名稱(chēng)，執(zhí)行如下命令其中vdb磁盤(pán)沒(méi)有分區(qū)，最有可能是新創(chuàng)建的磁盤(pán)。配置該磁盤(pán)：提示：如果磁盤(pán)已經(jīng)使用了，添加zap選項(xiàng)注意zapping會(huì)清除整個(gè)磁盤(pán)的內(nèi)容。提示：OSDs默認(rèn)并且唯一支持的文件系統(tǒng)是xfs激活OSD：提示：合并ceph-deploy osd prepare和ceph-deploy osd activate兩個(gè)功能，使用ceph-deploy osd

20、 create測(cè)試集群性能，執(zhí)行：提示：用ceph-deploy安裝集群如果不使用默認(rèn)的集群名字(cluster)，需要用選項(xiàng)cluster指明，然后在每個(gè)ceph-deploy命令中指明關(guān)聯(lián)的集群提示：SUSE不支持使用非默認(rèn)的集群名字3.2 用Crowbar部署Crowbar是創(chuàng)建部署的一個(gè)框架，可以在短時(shí)間內(nèi)將裸機(jī)基點(diǎn)集成到集群中。部署過(guò)程包括：1. 安裝并配置crowbar 管理節(jié)點(diǎn)；2. 用它來(lái)部署OSD/監(jiān)控節(jié)點(diǎn)。3.2.1 安裝并配置crowbar管理節(jié)點(diǎn)Crowbar管理服務(wù)器是一個(gè)獨(dú)立的主機(jī)，安裝SUSE Enterprise 12 SP1系統(tǒng)，并且與要部署的ceph存儲(chǔ)/監(jiān)

21、控節(jié)點(diǎn)處于同一網(wǎng)絡(luò)。配置crowbar管理服務(wù)器，通過(guò)TFTP協(xié)議和PXE網(wǎng)絡(luò)啟動(dòng)，向ceph集群提供軟件庫(kù)。1. 在crowbar管理服務(wù)器上安裝并注冊(cè)SUSE Enterprise 12 SP1。同時(shí)，也可以安裝SUSE Enterprise Storage 3 extension軟件。提示：crowbar管理服務(wù)器不需要圖形接口。為節(jié)省系統(tǒng)資源和磁盤(pán)空間，安裝最小的系統(tǒng)即可。如果要安裝SUSE Enterprise Storage 3 extension，需要從software selection和system tasks中安裝SUSE Enterprise Storage Crowba

22、r組件。如果要跟SMT同步軟件庫(kù)，還需要添加Subscription Management Tool組件。2. 為crowbar管理服務(wù)器配置網(wǎng)絡(luò)。要分配給管理服務(wù)器一個(gè)靜態(tài)的IP地址，和一個(gè)包括域名在內(nèi)的全主機(jī)名(例如)。用hostname -f檢驗(yàn)主機(jī)名是否正確解析。由于crowbar管理服務(wù)器使用自己的dhcp，所以需要停掉集群所處的本地網(wǎng)絡(luò)中的DHCP服務(wù)器。提示：crowbar管理服務(wù)器默認(rèn)IP地址為0。如果采用默認(rèn)IP地址，后面的網(wǎng)絡(luò)配置中會(huì)方便一些。3. 配置NTP，保持服務(wù)器同步。4. 確保SSH已經(jīng)處于使能并且啟動(dòng)的狀態(tài)。5. 安裝并注冊(cè) SUSE Enterprise St

23、orage 3 extension（如果在步驟1中沒(méi)有做）。在YaST中安裝SUSE Enterprise Storage Crowbar組件，也可以用命令行,執(zhí)行sudo zipper in -t pattern ses_admin6. 掛載ceph節(jié)點(diǎn)部署時(shí)所需的軟件庫(kù)。7. 如果需要進(jìn)一步定制化crowbar管理服務(wù)器的配置，參考”crowbar 配置”章節(jié)。8. 執(zhí)行 install-ses-admin腳本來(lái)完成crowbar管理服務(wù)器的配置。這個(gè)腳本會(huì)輸出很多信息到文件/var/log/crowbar/install.log中，可以輔助查錯(cuò)。考慮安全性，可以在screen環(huán)境中執(zhí)行這

24、個(gè)腳本，因?yàn)樵谀_本運(yùn)行過(guò)程中可能會(huì)因?yàn)榫W(wǎng)絡(luò)重新配置而中斷。9. 腳本運(yùn)行成功后，可以通過(guò)瀏覽器來(lái)登錄crowbar管理服務(wù)器。(默認(rèn)是 HYPERLINK 0 0 ) 準(zhǔn)備軟件庫(kù)Crowbar管理服務(wù)器需要給ceph節(jié)點(diǎn)提供幾個(gè)軟件庫(kù)，ceph節(jié)點(diǎn)才能通過(guò)PEX啟動(dòng)的方式安裝所需的補(bǔ)丁包。這些軟件庫(kù)需要掛載/同步到目錄/srv/tftpboot/suse-12.1。基于X86_64架構(gòu)的描述如下。提示：同步軟件庫(kù)。有若干方式提供軟件庫(kù)。例如，可以運(yùn)行本機(jī)SMT實(shí)例，同步軟件庫(kù)，通過(guò)NFS或者掛載的方式輸出到crowbar管理服務(wù)器。/srv/tftpboot/suse-12.1/x86_64/

25、install這個(gè)目錄需要包含SLES 12 SP1 DVD #1的內(nèi)容。Ceph節(jié)點(diǎn)需要它來(lái)安裝基本的SLES 12 SP1。可以采用掛載.iso文件的方式，或者用rsync拷貝。/srv/tftpboot/suse-12.1/x86_64/repos/SLES12-SP1-PoolSLES 12 SP1的基本軟件庫(kù)。/srv/tftpboot/suse-12.1/x86_64/repos/SLES12-SP1-UpdatesSLES 12 SP1的更新軟件庫(kù)。/srv/tftpboot/suse-12.1/x86_64/repos/SUSE-Enterprise-Storage-3-Poo

26、lSES3的基本軟件庫(kù)。/srv/tftpboot/suse-12.1/x86_64/repos/SUSE-Enterprise-Storage-3-UpdatesSES3的更新軟件庫(kù)。3.3.2 部署ceph節(jié)點(diǎn)關(guān)于部署OSD和監(jiān)控節(jié)點(diǎn)的綜述，參考SUSE OpenStack Cloud Deployment Guide 文檔中的Installing the OpenStack Nodes章節(jié)。提示：在crowbar web界面中，與SUSE OpenStack Cloud不同，可以通過(guò)Barclamps SUSE Enterprise Storage訪問(wèn)ceph barclamp。用它來(lái)部

27、署ceph。3.3 用salt部署警告：技術(shù)預(yù)覽。Salt作為技術(shù)預(yù)覽，在SUSE Enterprise Storage 3中并不支持。Salt是一組輔助部署和管理服務(wù)器基礎(chǔ)設(shè)施的組件，具有可擴(kuò)展性，快速，運(yùn)行簡(jiǎn)單的特點(diǎn)。 在使用salt部署集群之前，考慮如下問(wèn)題：Salt master是控制整個(gè)集群部署的主機(jī)。管理分配所有salt master服務(wù)的主機(jī)資源。不要在運(yùn)行salt master的主機(jī)上安裝cephSalt minions 是被Salt master控制的節(jié)點(diǎn)。在ceph環(huán)境中，Salt minion是一個(gè)典型的OSD或者monitor。Salt minions要能夠解析salt

28、 master的主機(jī)名稱(chēng)。默認(rèn)的，尋找salt作為主機(jī)名。因此，推薦設(shè)置salt master的主機(jī)名為salt。用salt 部署ceph集群的步驟：1. 集群的每一個(gè)節(jié)點(diǎn)都要安裝SUSE Linux Enterprise Server 12 SP1和SUSE Enterprise Storage 3 extension。2. 安裝salt master：3. 給每個(gè)想加入到ceph集群的節(jié)點(diǎn)安裝salt minions4. 將所有salt minions連接到Salt master。如果salt master通過(guò)DNS名字salt不可達(dá)，需要在每個(gè)salt minion節(jié)點(diǎn)上修改/etc/s

29、alt/minion文件，如下5. 設(shè)置saltkeysa. 啟動(dòng)所有salt minionsb. 啟動(dòng)salt masterc. 接受來(lái)自minions的keys提示：salt minions和salt master都有一個(gè)keys來(lái)做基于對(duì)稱(chēng)keys的通信。Master必須接受攜帶該該對(duì)稱(chēng)keys的minions，拒絕帶有其他keys的minions6. 安裝salt-ceph軟件包7. 將ceph的運(yùn)行接口分配給minions提示：使用*表示所有可控的minionsCeph目錄會(huì)同步到其他所有節(jié)點(diǎn)。測(cè)試結(jié)果：如果無(wú)返回結(jié)果，檢查并重復(fù)測(cè)試步驟。8. 在salt master上創(chuàng)建一個(gè)目錄

30、9. 將ceph.conf拷貝到新目錄/srv/salt/osceph/中。注意monitor主機(jī)名和IP地址的順序很重。10. 在client節(jié)點(diǎn)上安裝ceph11. 在指定節(jié)點(diǎn)上安裝RADOS GATEWAYS12. 為集群中的每種服務(wù)類(lèi)型創(chuàng)建keys，如OSD，monitors,或者M(jìn)DS，并且在SLS文件中使用它們：13. 提示：salt 使用salt state文件。SLS文件使用特殊的簡(jiǎn)單語(yǔ)法。可以使用一個(gè)通用文文件，或者分割不同的邏輯部分，并在主文件中包含它們。將一個(gè)SLS文件樣例按需求修改，并拷貝到/srv/salt目錄：14. 按照修改的SLS文件配置ceph。提示：如果在這

31、一步遇到問(wèn)題，可能是設(shè)置的原因，如果磁盤(pán)數(shù)量。可以嘗試編輯cluster_buildup.sls文件現(xiàn)在應(yīng)該有一套在運(yùn)行的ceph了。提示：卸載ceph。將cluster_teardown.sls文件拷貝到/srv/salt中回到/srv/salt中，運(yùn)行3.4 安裝CalamariCalamari是ceph存儲(chǔ)集群的管理監(jiān)控系統(tǒng)，提供web通信界面，使得ceph集群監(jiān)控更加簡(jiǎn)單。安裝calamari，使用root用戶(hù)運(yùn)行下面命令：1. 安裝calamari的client部分2. 初裝calamari，會(huì)提示輸入superuser的用戶(hù)名和密碼。該用戶(hù)名和密碼用于之后登陸web界面。3. 檢查

32、防火墻狀態(tài)如果防火墻關(guān)閉，檢查配置并開(kāi)啟防火墻4. 提示：確保calamari正常工作，需要在每個(gè)monitor節(jié)點(diǎn)上安裝admin keyring：mon1, mon2, or mon3 是monitor的主機(jī)名打開(kāi)web瀏覽器，輸入安裝calamari服務(wù)器的IP地址/主機(jī)名，輸入用戶(hù)名和密碼，一個(gè)歡迎界面出現(xiàn)，指導(dǎo)你輸入ceph-deploy calamari connect命令。在calamari主機(jī)上開(kāi)啟一個(gè)終端，輸入如下命令。-master選項(xiàng)指明了所有集群節(jié)點(diǎn)需要連接到的calamari服務(wù)器的主機(jī)名。命令運(yùn)行成功后，重載web瀏覽器。現(xiàn)在你可以監(jiān)控ceph 集群，OSD，poo

33、ls，等重要：calamari表盤(pán)界面顯示當(dāng)前集群的狀態(tài)。周期性更新，所以集群狀態(tài)的任何變化，例如一個(gè)節(jié)點(diǎn)下線(xiàn)了，會(huì)在幾秒鐘之內(nèi)在表盤(pán)里顯示出來(lái)。Health版面有一個(gè)計(jì)時(shí)器顯示calamari最后一次監(jiān)控到心跳信息到現(xiàn)在的時(shí)間。通常，不會(huì)超過(guò)一分鐘，但在某種故障情況下，網(wǎng)絡(luò)故障或集群故障(超過(guò)一半的監(jiān)控節(jié)點(diǎn)宕機(jī))，calamari將不再?zèng)Q定集群狀態(tài)。這種情況下，health版面會(huì)顯示距離最后一次更新超過(guò)1分鐘。太久沒(méi)有更新之后，calamari在界面頂端發(fā)出告警“Cluster Updates Are Stale. The Cluster is not updating Calamari”。

34、這種情況下，calamari展示的其他狀態(tài)信息也是錯(cuò)誤的，需要進(jìn)一步排查故障。提示：也許會(huì)有之前安裝calamari的殘留。如果登錄進(jìn)calamari，發(fā)現(xiàn)一些節(jié)點(diǎn)已經(jīng)加入或者注冊(cè)了，在calamari主機(jī)運(yùn)行下面指令，觸發(fā)salt運(yùn)行，可以清除殘留。也推薦從之前安裝的calamari中刪除文件，如狀態(tài)文件，配置文件，或者數(shù)據(jù)庫(kù)文件等。最少刪除下面這些目錄的文件：/etc/calamari/etc/salt/etc/graphite/var/*/salt/var/lib/graphite/var/lib/pgsql/ 舊版本升級(jí)本章節(jié)主要介紹了從SUSE Enterprise Storage從

35、糾版本升級(jí)到新版本的步驟。4.1 通用升級(jí)步驟在升級(jí)ceph集群之前，需要將新版本的SUSE Enterprise Storage軟件添加進(jìn)操作系統(tǒng)，并在集群的每個(gè)節(jié)點(diǎn)將軟件升級(jí)到最新版本。可以在線(xiàn)升級(jí)集群中的守護(hù)進(jìn)程。特定類(lèi)型的守護(hù)進(jìn)程依賴(lài)于其他的守護(hù)進(jìn)程。例如Ceph RADOS Gateways依賴(lài)于Ceph monitors和Ceph OSD daemons。推薦如下升級(jí)順序：1. Ceph monitors. 2. Ceph OSD daemons. 3. Ceph RADOS Gateways.提示：推薦升級(jí)某一類(lèi)型的所有守護(hù)進(jìn)程 。例如，所有monitor的的守護(hù)進(jìn)程或者所有OS

36、D的收據(jù)進(jìn)程。按順序確保它們都在相同的發(fā)布版。推薦在將集群中所有的守護(hù)進(jìn)程升級(jí)后，在嘗試版本的新功能。確保所有的監(jiān)控節(jié)點(diǎn)在升級(jí)之后都加入到集群中：確保所有集群的OSD守護(hù)進(jìn)程在升級(jí)之后都加入到集群中：1.檢查是否最新的補(bǔ)丁已經(jīng)安裝在SUSE Linux Enterprise服務(wù)器上。2.安裝SUSE Enterprise Storage extension，YaST Software Add-On Products Add3.添加新產(chǎn)品后，更新安裝的軟件庫(kù)。4.將軟件升級(jí)到最新版5. 最后一個(gè)集群節(jié)點(diǎn)升級(jí)后，檢查集群狀態(tài) 4.2 從SUSE Enterprise Storage 2.1升級(jí)到3

37、本章介紹了從SUSE Enterprise Storage 2.1升級(jí)到3的步驟。基本的升級(jí)步驟是安裝ses-upgrade-helper軟件包，在每個(gè)ceph節(jié)點(diǎn)(管理節(jié)點(diǎn)除外)用root用戶(hù)運(yùn)行upgrade-to-ses3.sh腳本。腳本可以在線(xiàn)運(yùn)行。升級(jí)過(guò)程中會(huì)觸發(fā)一些告警。4.2.1 ceph用戶(hù)和組SUSE Enterprise Storage 3，ceph守護(hù)進(jìn)程(MON, OSD, MDS, RGW)是在在非特權(quán)用戶(hù)ceph下運(yùn)行的。這跟之前的版本比較是一個(gè)重要的變化，之前的版本（除了RGW）都是在root下運(yùn)行的。由于ceph用戶(hù)可能在當(dāng)前的節(jié)點(diǎn)上存在，所以在安裝SUSE E

38、nterprise Storage 3之前需要?jiǎng)h除或重命名這個(gè)用戶(hù)。推薦在所有節(jié)點(diǎn)包括管理節(jié)點(diǎn)重命名為cephadm。在集群節(jié)點(diǎn)上，upgrade-to-ses3.sh腳本會(huì)檢查這個(gè)問(wèn)題。在管理節(jié)點(diǎn)上，可以手動(dòng)執(zhí)行：在產(chǎn)品升級(jí)過(guò)程中，一個(gè)新的ceph用戶(hù)和組會(huì)創(chuàng)建，默認(rèn)UID/GID為167.吐過(guò)GID/UID167不存在，那么第一個(gè)GID/UID就是你在創(chuàng)建ceph用戶(hù)和組的時(shí)候產(chǎn)生的。這會(huì)造成節(jié)點(diǎn)間OSD磁盤(pán)移動(dòng)的復(fù)雜性，最好在集群層面為ceph用戶(hù)和組創(chuàng)建一個(gè)GID/UID。但這僅限于GID/UID 167被其他的用戶(hù)組占用。4.2.2 修改/var/lib/ceph屬主Ceph守護(hù)進(jìn)程

39、在/var/lib/ceph中保存它們的狀態(tài)。在SUSE Enterprise Storage 1，2和2.1中，守護(hù)進(jìn)程屬主為root，/var/lib/ceph的屬主也是root。從之前任何一個(gè)版本升級(jí)到版本3，都需要改變屬主，以確保升級(jí)后的守護(hù)進(jìn)程可以訪問(wèn)目錄樹(shù)。在升級(jí)ceph相關(guān)的軟件包之前，確保在/etc/sysconfig/ceph中CEPH_AUTO_RESTART_ON_UPGRADE 設(shè)置為no。升級(jí)ceph相關(guān)的軟件包之后，不要重啟ceph.target。在每個(gè)節(jié)點(diǎn)上執(zhí)行下面步驟：1. 停止SUSE Enterprise Storage 2.1守護(hù)進(jìn)程2. 修改/var/l

40、ib/ceph屬主3.啟動(dòng)SUSE Enterprise Storage3守護(hù)進(jìn)程提示：如果使用ses-upgrade-helper軟件包里的upgrade-to-ses3.sh腳本，則不需要執(zhí)行上面的步驟。4.2.3 修改RADOS Gateway實(shí)例名字在SUSE Enterprise Storage 2.1或者之前，ceph-deploy用radosgw作為RADOS Gateway實(shí)例的前綴，并且這個(gè)前綴作為硬代碼寫(xiě)在systemd文件中。在SUSE Enterprise Storage 3中，這個(gè)前綴不再作為硬代碼寫(xiě)在systemd文件中。為確保平滑升級(jí)，升級(jí)前有必要停止RADOS

41、Gateway服務(wù)(沒(méi)有前綴的實(shí)例名字)，升級(jí)之后使用完整實(shí)例名字啟動(dòng)它。換句話(huà)，升級(jí)RADOS Gateway節(jié)點(diǎn)之前，升級(jí)之后：如果使用ses-upgrade-helper包中的upgrade-to-ses3.sh，這個(gè)腳本會(huì)解析ceph.conf文件，并自動(dòng)執(zhí)行上面的指令。4.2.4 RADOS Gateway日志文件在SUSE Enterprise Storage 2.1,每個(gè)RADOS Gateway實(shí)例有個(gè)一命名段client.radosgw.instance_name在文件/etc/ceph/ceph.conf中，其中instance_name就是RADOS Gateway實(shí)例的

42、名字。這個(gè)段包含了RADOS Gateway特殊配置參數(shù)，其中之一是：SUSE Enterprise Storage 3中，RADOS Gateway不再將日志記錄在/var/log/ceph-radosgw中，而是跟其它c(diǎn)eph守護(hù)進(jìn)程的日志一起記錄在/var/log/ceph中。upgrade-to-ses3.sh升級(jí)腳本從/etc/ceph/ceph.conf刪除了這一行。如果你手動(dòng)升級(jí)，需要執(zhí)行上面的修改。升級(jí)之后，RADOS Gateway實(shí)例在/var/log/ceph中記錄日志，跟其它的ceph守護(hù)進(jìn)程一樣。它們的日志文件保存機(jī)制在/etc/logrotate.d/ceph中。4

43、.2.5 CRUSH Tunables在升級(jí)過(guò)程中，集群可能會(huì)變成HEALTH_WARN狀態(tài)，并提示legacy tunables。可以忽略，SUSE Enterprise Storage 3集群運(yùn)行時(shí)可以恢復(fù)。如果SUSE Enterprise Storage 3集群運(yùn)行后，仍然提示legacy tunables。有如下3個(gè)選擇：選擇1：抑制這個(gè)告警。可以保持legacy tunables，并抑制告警。在ceph.conf mon段：重啟monitor，使其生效。或者：選擇2：保守調(diào)整tunables。調(diào)整tunables會(huì)導(dǎo)致一些數(shù)據(jù)移動(dòng)，會(huì)影響集群性能。選在在集群負(fù)載不大的時(shí)候，執(zhí)行：但

44、這也許不是最終最好的，一些client和內(nèi)核也許會(huì)跟新的tunables不兼容。選擇3：優(yōu)化tunables設(shè)置警告：不推薦，有風(fēng)險(xiǎn)如果確定所有的client和內(nèi)核支持最新的tunables,可以遷移集群：提示：由于調(diào)整CRUSH tunables會(huì)引起嚴(yán)重的數(shù)據(jù)移動(dòng)，因此在集群負(fù)載較低的時(shí)候執(zhí)行。4.2.6 Calamari服務(wù)器升級(jí)升級(jí)Calamari服務(wù)器：1.在calamari所在的節(jié)點(diǎn)上停止salt master2.檢查沒(méi)有死掉的salt-master進(jìn)程：3.啟動(dòng)salt master4.2.7 iSCSI Gateway的更新rbd_name是后向兼容的選項(xiàng)。從SUSE Ente

45、rprise Storage 3開(kāi)始，默認(rèn)使用新安裝時(shí)不要使用下面的選項(xiàng)：類(lèi)似，wwn_generate會(huì)使用原來(lái)的目標(biāo)模板和鏡像名字來(lái)設(shè)置vpn_unit_serial。當(dāng)前默認(rèn)使用新安裝時(shí)不要使用下面選項(xiàng)：更多信息，查閱/usr/share/doc/lrbd/README.migration。4.3 從SUSE Enterprise Storage 1升級(jí)到24.3.1 從Apache到Civetweb的遷移SUSE Enterprise Storage 1.0使用Apache作為應(yīng)用服務(wù)器供RADOS Gateway的client/服務(wù)器通信，SUSE Enterprise Storag

46、e 2引入新的應(yīng)用服務(wù)器叫Civetweb。Civetweb是輕量級(jí)嵌入式web服務(wù)器，簡(jiǎn)化RADOS Gateway的配置。SUSE Enterprise Storage 2的RADOS Gateway依然可以使用APACHE，會(huì)在未來(lái)結(jié)束。可以手動(dòng)遷移到Civetweb，或使用ceph-deploy。1.檢查apache是否在運(yùn)行2.停止apache3. 停止apache自動(dòng)啟動(dòng)的功能4.編輯/etc/ceph/ceph.conf，添加：5. 重啟RADOS Gateway:使用ceph-deploy做遷移：1.列出RADOS Gateway實(shí)例，獲取實(shí)例名字2.刪除要遷移的存在的RADO

47、S Gateway實(shí)例3.創(chuàng)建基于RADOS Gateway實(shí)例的新的CivetWeb提示：如果需要部署基于RADOS Gateway的apache,添加cgi選項(xiàng)提示：Apache默認(rèn)監(jiān)聽(tīng)80端口。如果要部署在其他端口，需要手動(dòng)修改。編輯/etc/apache2/listen.conf，注掉Listen 80這一行，重啟服務(wù) 操作Ceph集群本章介紹了集群的基本操作，如啟動(dòng)停止ceph服務(wù)，監(jiān)控集群狀態(tài)，使用修改crush map，管理pool。5.1 操作ceph服務(wù)Ceph相關(guān)的服務(wù)由systemctl命令操作。操作發(fā)生在當(dāng)前登錄的節(jié)點(diǎn)，需要使用root權(quán)限操作ceph服務(wù)。所有的cep

48、h服務(wù)都支持下面的子命令：可以一次操作所有ceph服務(wù)，或者某種類(lèi)型所有的ceph服務(wù)(例如OSD或者monitor)，或者指明實(shí)例名字的服務(wù)。5.1.1 操作所有的ceph服務(wù)同時(shí)操作所有的ceph服務(wù)，運(yùn)行：提示：systemctl不能操作沒(méi)使能，沒(méi)標(biāo)識(shí)以及從未啟動(dòng)過(guò)的服務(wù)。查看節(jié)點(diǎn)上所有呈現(xiàn)的服務(wù)，使用rcceph5.1.2 操作某種類(lèi)型的所有ceph服務(wù)可以操作某種特定類(lèi)型的ceph服務(wù)，如OSD，monitors,或者RADOS Gateway打印所有monitor服務(wù)的狀態(tài)啟動(dòng)所有OSD服務(wù)停止所有RADOS Gateway服務(wù)5.1.3 操作某種類(lèi)型的ceph服務(wù)如果在一個(gè)節(jié)點(diǎn)上

49、操作一個(gè)單獨(dú)的服務(wù)，需要知道它的實(shí)例的名字。可以用systemctl status ceph* 查看。打印實(shí)例名字帶有0的所有OSD服務(wù)的狀態(tài)5.2 確認(rèn)集群狀態(tài)可以使用ceph工具監(jiān)控集群。決定集群狀態(tài)通常會(huì)包含檢查OSD狀態(tài)，monitor狀態(tài)，歸置組狀態(tài)和元數(shù)據(jù)服務(wù)器狀態(tài)。提示：通信模式下運(yùn)行ceph工具，輸入ceph。在同一行輸入更多ceph命令，通信模式更簡(jiǎn)潔。如：5.2.1 檢查集群健康啟動(dòng)集群后，讀寫(xiě)數(shù)據(jù)前，檢查集群健康狀態(tài)。如果沒(méi)有默認(rèn)指定的配置文件或keyring的位置，需要手動(dòng)指定：?jiǎn)?dòng)集群，可能會(huì)遇到警告如HEALTH_WARN XXX num placement gro

50、ups stale。等幾分鐘后再檢查。當(dāng)集群正常運(yùn)行時(shí)，ceph health會(huì)返回HEALTH_OK。這個(gè)時(shí)候，集群才是正常的。5.2.2 監(jiān)控集群監(jiān)控集群發(fā)生的事件，打開(kāi)一個(gè)終端，輸入：Ceph會(huì)打印出每個(gè)事件。如，一個(gè)小集群包括1個(gè)monitor，2個(gè)OSDs，也許會(huì)輸出：輸出了如下信息：集群ID集群健康狀態(tài)monitor map和monitor狀態(tài)OSD map和OSD狀態(tài)歸置組映射版本歸置組和資源池?cái)?shù)量理論數(shù)據(jù)量和對(duì)象數(shù)量總的數(shù)據(jù)存儲(chǔ)量提示：cpeh如何計(jì)算數(shù)據(jù)使用量。Used反應(yīng)的是實(shí)際的數(shù)據(jù)存儲(chǔ)量。xxx GB / xxx GB指集群中可用的存儲(chǔ)空間。理論值指的是存儲(chǔ)的數(shù)據(jù)在復(fù)制

51、，克隆或者做快照之前的值。因此，數(shù)據(jù)總量通常會(huì)超過(guò)理論值，因?yàn)閏eph創(chuàng)建數(shù)據(jù)復(fù)制，也許還會(huì)使用空間容量做克隆和快照。5.2.3 查看集群使用量狀態(tài)查看集群數(shù)據(jù)量和數(shù)據(jù)分配，可以使用df選項(xiàng)。GLOBAL段顯示了集群存儲(chǔ)使用量的一個(gè)概況。SIZE:總的集群存儲(chǔ)量AVAIL：集群中可用的存儲(chǔ)空間RAW USED：原始數(shù)據(jù)占用的空間%RAW USED：原始數(shù)據(jù)占用空間的比例POOL段顯示一組pool和每個(gè)pool的理論可用值。輸出不反應(yīng)復(fù)制，克隆或者快照。例如，你村一個(gè)1MB的數(shù)據(jù)，理論占用空間為1MB，單實(shí)際占用空間也許是2MB或者更多，取決于復(fù)制克隆和快照的數(shù)量。NAME：pool名字ID：p

52、oolIDUSED：數(shù)據(jù)占用空間的理論值。默認(rèn)單位為KB%USED：每個(gè)資源池?cái)?shù)據(jù)占用空間的比例OBJECT：每個(gè)資源池存儲(chǔ)對(duì)象的理論數(shù)量提示：POOL段中的數(shù)字都是理論的。它們不包括復(fù)制，快照或者克隆。5.2.4 檢查集群狀態(tài)檢查集群狀態(tài)通信模式，輸入status，回車(chē)Ceph會(huì)打印集群狀態(tài)。如，1個(gè)集群，包括1個(gè)monitor和2個(gè)OSDs5.2.5 檢查OSD狀態(tài)檢查OSD狀態(tài)查看OSD在 CRUSH map中的位置5.2.6 檢查monitor狀態(tài)如果集群中有多個(gè)Monitor，在啟動(dòng)集群后讀寫(xiě)數(shù)據(jù)前，要檢查monitor數(shù)量狀態(tài)。多個(gè)monitors運(yùn)行，必須能看到monitor的數(shù)

53、量。可以周期性的檢查monitor，確保運(yùn)行正常。查看monitor狀態(tài)查看monitor數(shù)量5.2.7 查看歸置組狀態(tài)歸置組從對(duì)象映射到OSDs。當(dāng)監(jiān)控歸置組時(shí)，要保證他們是active和clean的。更多信息，參考Monitoring OSDs and Placement Groups. ( HYPERLINK /docs/master/rados/operations/monitoring-osd-pg /docs/master/rados/operations/monitoring-osd-pg)5.2.8 使用Admin SocketCeph Admin Socket允許通過(guò)sock

54、et接口查詢(xún)守護(hù)進(jìn)程。默認(rèn)的，ceph socket在/var/run/ceph。通過(guò)socket接口訪問(wèn)守護(hù)進(jìn)程，登錄到運(yùn)行該進(jìn)程的節(jié)點(diǎn)：查看admin socket詳細(xì)指令Ceph Admin Socket指令可以實(shí)時(shí)顯示和修改配置。你實(shí)時(shí)設(shè)置配置參數(shù)。5.3 管理pool初始部署集群，ceph使用默認(rèn)pool存儲(chǔ)數(shù)據(jù)。pool可以提供：組織在pool的數(shù)據(jù)，可以創(chuàng)建，列出和刪除pool。可以查看每個(gè)pool的使用量。5.3.1 操作pool 列出pool 創(chuàng)建pool創(chuàng)建副本pool創(chuàng)建糾刪碼池創(chuàng)建一個(gè)pool，設(shè)置配置組一個(gè)合理的值。考慮每個(gè)OSD的配置組數(shù)量。配置組會(huì)影響性能，所以配

55、置組的設(shè)置也取決于OSD的性能。 設(shè)置pool的容量可以設(shè)置pool的容量，最大字節(jié)數(shù)，或者最大對(duì)象數(shù)刪除容量值，可以設(shè)置為0. 刪除pool如果在創(chuàng)建的pool的時(shí)候也創(chuàng)建了rule和rulesets,這些相關(guān)的rule和ruleset都會(huì)被刪除。 重命名pool如果這個(gè)pool對(duì)應(yīng)相關(guān)權(quán)限的用戶(hù)，需要更新用戶(hù)對(duì)這個(gè)新pool的權(quán)限。 展示pool數(shù)據(jù) 為pool創(chuàng)建快照 刪除pool快照 設(shè)置pool值也可以設(shè)置如下參數(shù)：5.3.10 獲取pool值可以在中獲取key列表，以及如下值：1 設(shè)置對(duì)象復(fù)制數(shù)在一個(gè)復(fù)制pool中設(shè)置對(duì)象復(fù)制數(shù)重要：num-replicas包括對(duì)象自己。例如，想得

56、到一個(gè)對(duì)象和兩個(gè)拷貝。瑩白設(shè)置3。例如：提示：對(duì)象也許可以接受比pool size更小的降級(jí)模式的I/O。為I/O設(shè)置可以接受最小的副本數(shù)，使用min_size。例如：2 獲得對(duì)象復(fù)制數(shù)Ceph會(huì)列出pool，replicated size會(huì)標(biāo)亮。默認(rèn)為1個(gè)對(duì)象創(chuàng)建2個(gè)副本。 Cephx 驗(yàn)證為驗(yàn)證client以及防止攻擊，ceph提供了cephx驗(yàn)證系統(tǒng)。這里的client指的時(shí)用戶(hù)如管理員，或者ceph相關(guān)的服務(wù)/守護(hù)進(jìn)程，如OSDs, monitors,或者RADOS Gateways。注意:cephx協(xié)議在傳輸中不會(huì)對(duì)數(shù)據(jù)加密，像SSL/TLS等6.1 驗(yàn)證架構(gòu)Cephx使用共享key

57、s做驗(yàn)證，client和監(jiān)控集群有一份client的keys。提供了相互驗(yàn)證的機(jī)制，集群確認(rèn)每個(gè)用戶(hù)擁有keys，用戶(hù)確認(rèn)集群也有keys的拷貝。Ceph的keys擴(kuò)展功能可以避免對(duì)ceph對(duì)象存儲(chǔ)的集中接口。Cephclient可以直接跟OSDs通信。為保護(hù)數(shù)據(jù)，ceph提供了cephx驗(yàn)證系統(tǒng)，驗(yàn)證client。每個(gè)monitor可以驗(yàn)證client并分配keys,使用cephx沒(méi)有單點(diǎn)故障或瓶頸。Monitor返回一個(gè)驗(yàn)證數(shù)據(jù)結(jié)構(gòu)，包括在獲取ceph服務(wù)中使用的key。這個(gè)key本身是用client永久secret key加密的，所以client只能從ceph monitor中請(qǐng)求服務(wù)。

58、Client 使用session keys從monitor中請(qǐng)求服務(wù)，monitor提供一個(gè)ticket來(lái)驗(yàn)證從client到OSDs。Ceph monitor和OSDs共享secret，client使用ticket跟OSD或者metadata server通信。Cpehx tickets過(guò)期，攻擊正不能使用一個(gè)過(guò)期的ticket或者session key。使用cephx，管理員必須先建立client/users。下圖中，client.admin用戶(hù)調(diào)用ceph auth get-or-create-key來(lái)產(chǎn)生用戶(hù)名和secret key。Ceph de auth子系統(tǒng)產(chǎn)生用戶(hù)名和key，存

59、檔monitor的拷貝，并返回用戶(hù)的secret給client.admin用戶(hù)。Client和monitor共享一個(gè)secret key。Client 將用戶(hù)名傳遞給monitor做驗(yàn)證。Monitor產(chǎn)生一個(gè)session key并用用戶(hù)名相關(guān)的secret key加密，并回送這個(gè)加密的ticket給client。Client用共享的secret檢索session key。這個(gè)session key在當(dāng)前的會(huì)話(huà)中鑒別用戶(hù)。Client請(qǐng)求一個(gè)用戶(hù)相關(guān)的ticket，由session key簽字。Monitor 產(chǎn)生一個(gè)ticket，用用戶(hù)的secret key加密，并回送給client。Cl

60、ient 解密這個(gè)ticket，使用它訪問(wèn)OSD和metadata server。Cephx 協(xié)議驗(yàn)證client和ceph server之間的通信。每條通信信息都會(huì)使用一個(gè)monitor,OSDs,和metadata server能驗(yàn)證的ticket。重要：ceph client 和ceph server之間通過(guò)驗(yàn)證提供了保護(hù)機(jī)制。驗(yàn)證不能超越ceph client。如果用戶(hù)訪問(wèn)ceph client從遠(yuǎn)程主機(jī)，ceph驗(yàn)證不適用。6.2 keys管理本章描述了ceph client與client存儲(chǔ)之間的驗(yàn)證和授權(quán)。用戶(hù)是指向應(yīng)用程序這樣的終端，使用ceph client 跟ceph 存儲(chǔ)