?

2016技術(shù)第2頁1.

Cinder簡介Cinder卷管理Cinder掛卷和卸卷流程分析模型與OpenStack

Cinder組件?2016技術(shù)第3頁．OpenStack的一個組件，從Folsom版本從Nova-Volume中分離出來。．

為云平臺提供

接口，按需分配的，持久化的塊

服務(wù)（類似于Amazon

EBS服務(wù)）。通過驅(qū)動的方式接入不同種類的后端．（本地

，網(wǎng)絡(luò)

，F(xiàn)CSAN，IPSAN）。?

2016技術(shù)第4Cinder頁OpenStack

在Folsom

版本開始，將之前在Nova

中的部分持久功能（Nova-Volume）分離了出來，獨立為新的組件性塊Cinder。cinder的功能是對卷的管理，允許對卷、卷的類型、卷的快照、卷備份進行處理。它為后端不同的設(shè)備提供了統(tǒng)一的接口，不同的塊設(shè)備服務(wù)廠商在cinder

中實現(xiàn)其驅(qū)動支持以與OpenStack

進行整合。?

2016技術(shù)第5Cinder簡介頁Cinder邏輯架構(gòu)?2016技術(shù)第6頁，cinder的endpoint，接收和處理rest請求。cinder-apicinder模塊對外唯一cinder-scheduler根據(jù)預(yù)定的調(diào)度過濾策略以及權(quán)重計算策略，選擇出合適的后端來處理任務(wù)。cinder-volume負責(zé)與后端操作轉(zhuǎn)換為進行對接，通過各廠商提供的driver將OpenStack操作。?

2016技術(shù)第7Cinder組件頁對外服務(wù)接口通過Plugin提供定制調(diào)度策略–分級（SSD/SAS/SATA）–

SLA–親和性……后端，已支持

后端列通過Driver適配和接入各種表如下：Cinder虛擬化-塊Cinder邏輯架構(gòu)（控制面管理為服務(wù)，數(shù)據(jù)面要求計算側(cè)能識別）?

2016技術(shù)第8頁Supported

BackEnd

Driver1.

iSCSIIET+LVM/TGT+LVMSolarisHP

LefthandIBM

XIV/StorwizeSVCNexentaDell

EqualLogicSolidFireNetApp9.2.

N

AS)NetAppGlusterfs其他CephSheepdog2VolumeServiceScalability3StorageScalabilityAPI

Server1

Scalability…Cinder-APICinder-SchedulerCinder-VolumeCinder-VolumeCinder-DriverCinder-DriverCinder-VolumeCinder-DriverIP-SAN1FC-SAN2DSWareCinder-VolumeCinder-Driver…Storage

Scalability?

2016技術(shù)第9頁Cinder-api，Cinder-Scheduler，Cinder-Volume可以選擇部署到一個節(jié)點上，也可以分別部署。API采用AA模式，Haproxy作為LB，分發(fā)請求到多個Cinder

API。Scheduer也采用AA模式，有rabbitmq以負載均衡模式向3個節(jié)點分發(fā)任務(wù)，并同時從rabbitqmq收取

Cinder

volume上報的能力信息，調(diào)度時，scheduler通過在DB中預(yù)留資源從而保證數(shù)據(jù)一致性。Cinder

Volume也采用AA模式，同時上報同一個

backend容量和能力信息，并同時接受請求進行處理。?Rabbitmq，支持主備或集群（6.0及后續(xù)版本）。GaussDB，支持主備。CPS

:

controllerCinder-APICPS

:

controllerCinder-

SchedulerRabbitMQGaussd

bCPS

:

blockstorage-driverCinder-VolumeCinder-APICinder-APICinder-

SchedulerCinder-

SchedulerCinder-VolumeCinder-VolumeRabbitMQHAproxySAN/FusionStorage/OtherGaussd

bCinder物理部署?

2016技術(shù)第10Cinder-APICinder-SchedulerCinder-VolumeCinder-VolumeVolume-DriverVolume-DriverCinderCinder-ClientCinder-manageHorizonStorageBackend1(SAN/NAS/Ceph/DSWare…)StorageBackend2(SAN/NAS/Ceph/DSWare…)…Nova-APINova-SchedulerputeNova-DriverNovaNova-ClientNova-ManageHypervisorBackend(Xen)HypervisorBackend(KVM)…VolumeOpsVolumeOpsGlanceiSCSIData

access

protocolData

flow?

2016技術(shù)第Management

FlowCreateVolume

AttachVolumeCinder-ComputeNova-DriverCinder邏輯11?

2016技術(shù)第1.cinder簡介Cinder卷管理cinder掛卷和卸卷流程分析12cinder-apicinder-schedulercinder-volumecinder-volumecinder-volumeLogica

l

volumeLVM

volume-driverVRM

Volume-driver…FC集

…群………模塊對外的服務(wù)接口，接收并轉(zhuǎn)發(fā)外部請求到不同的cinder組件進行處理。調(diào)度選擇合適的主機進行創(chuàng)卷等操作。執(zhí)行卷、快 關(guān)的業(yè)務(wù)，通過調(diào)用不同volu的me-ddrrivievr

er管理不同的 后端。SANStorageGaussDB?

2016技術(shù)第Cinder卷管理13cinder-volumecinder-volumeSAN

StorageFusionStoragevolume-driverVRM

Volume-driver…FC集群………volumevolumedsware隊列volumevrm隊列CinderDB15cinder-api3scheduler隊列4cinder-schedulerIPSAN隊列6cinder-volume7volume-driver82Cinder創(chuàng)卷流程?

2016技術(shù)第14SAN（Storage

AeraNetwork

）

區(qū)域網(wǎng)絡(luò)，是一種通過網(wǎng)絡(luò)方式連接設(shè)備和應(yīng)用服務(wù)器的構(gòu)架，這個網(wǎng)絡(luò)于主機和存儲設(shè)備之間的。?

2016技術(shù)第根據(jù)數(shù)據(jù)鏈路使用的是網(wǎng)線還是光纖分別稱IPSAN或者FCSAN。SAN15cinder后端對接SAN，相應(yīng)的cinder接口或者命令對應(yīng)磁陣的操作如下：LUN(Logical

Unit

Number)，邏輯單元號，卷。?

2016技術(shù)第cinder操作SAN上的對應(yīng)操作create_volume創(chuàng)建一個lun,執(zhí)行命令(crea un

–n

name

–lunsize

1

…)delete_volume刪除一個lun,執(zhí)行命令(dellun–lun

5)extend_volume不同driver實現(xiàn)方式不同，lun直接擴展或者創(chuàng)建個擴展lun，然后進行合并create_volume_from_image創(chuàng)建一個lun，將鏡像到主機側(cè)，將lun掛載給主機，將鏡像數(shù)據(jù)拷貝到lun，然后解除與主機的關(guān)系Initialize_connection將lun和主機進行關(guān)聯(lián)terminate_connection解除lun和主機的關(guān)聯(lián)關(guān)系create_snapshot創(chuàng)建快照，createsnapshot–lun5–n

nameCinder與SAN對接16?

2016技術(shù)第1.

Cinder簡介Cinder卷管理Cinder掛卷和卸卷流程分析17陣列側(cè)添加主機和lun的主機側(cè)掃描scsi總線多路徑生成虛擬磁盤Nova調(diào)用libvirt接口將磁盤添加到xml中?

2016技術(shù)第KVM場景下使用陣列時掛卷流程18Nova的掛卷流程分析:?2016技術(shù)第19頁發(fā)現(xiàn)iSCSIiscsiadm

-m

discovery

-t

st

-p

40,40添加一個iscsi

nodeiscsiadm

-m

node

-T

iqn.2006-.:oceanstor:2100105172555006::20002:40

-p40:3260

--

op

new登陸iscsiiscsiadm

-m

node

-T

iqn.2006-.:oceanstor:2100105172555006::20002:40

-p40:3260

–

login?

2016技術(shù)第Nova的掛卷流程20設(shè)置iscsi會話開機自啟動iscsiadm

-m

node

-T

iqn.2006-.:oceanstor:2100105172555006::20002:40

-p40:3260

–op

update

-nnode.startup

-v

automatic調(diào)用多路徑的smartscansh掃描lunmS /smartscan.sh

45

40

SCAN在/dev/disk/by-id

下生成多路徑的設(shè)備nova調(diào)用libvirt接口將生成的sd設(shè)備添加到虛擬機的xml文件中Nova的掛卷流程?

2016技術(shù)第21KVM場景下使用陣列時卸卷流程?2016技術(shù)第22頁卸卷流程Libvirt將虛擬機xml中的設(shè)備刪除根據(jù)libvirt

xml中記錄的磁盤的wwn，找到對應(yīng)的sd設(shè)備os.path.realpath(“wwn-0

xx”)，將sd設(shè)備刪除mS

/smartdelete.sh

sdb調(diào)用smartdeletesh刪除多路徑的wwn軟連接rm

/dev/disk/by-id/wwn-0x871f2b00000061?

2016技術(shù)第23檢查iscsi會話是否還有必要存在，如果沒有必要，將所有的iscsi會話logouta.設(shè)置iscsi會話為手動啟動iscsiadm

-m

node

-T

iqn.2006-.:oceanstor:2100105172555006::20002:40

-p40:3260

–op

update

-n

node.startup

-vmanualb.登出iscsi會話iscsiadm

-m

node

-T

iqn.2006-.:oceanstor:2100105172555006::20002:40

-p40:3260

–logoutc.刪除iscsi

nod