信泰人壽存儲設備擴容實施計劃文檔v1.0信泰人壽存儲系統擴容實施方案v1.0目 錄一、概述4二、擴容設備清單4三、到貨情況Check List5四、擴容實施界面6五、擴容實施準備工作和時間點分配7六、磁帶機擴容與NBU配置更改細節81)TS3310磁帶擴展柜硬件互聯82)激活TS3310磁帶擴展柜license93)在NBU MASTER及MEDIA主機上識別驅動器94)NBU執行inventory robot105)配置新添加的驅動器126)配置新添加作業，修改并合理分配驅動器的使用147)測試NBU與TS3310的磁帶寫入操作148)利用Activity Monitor監控備份作業的執行14七、IBM DS8100擴容實施細節169)硬件前后視圖一覽1610)硬盤抽屜（Storage enclosures）1611)RAID10規劃1712)容量規劃1713)磁盤大小規劃與主機名規劃1814)安裝DSCLI1915)激活DS8000 License2016)DS8000邏輯配置22列出arraysite23創建Array24創建RANK27創建Extend Pool27將rank加入到相應的extend pool28創建LUN30創建volume group34將LUN加入到需要的volume group中37創建host connection38主機端安裝SDD軟件，識別存儲path43八、檢查DS8K狀態44九、IBM DS8100運行健康檢查46十、IBM H16 SAN交換機ZONE劃分細節50十一、重建過程當中的關鍵點51一、 概述擴容實施任務主要包含如下： IBM磁帶庫擴容：增加E9U擴展柜一個。增加2個LTO4帶機增加20盤800GB磁帶。 IBM DS8100擴容：增加一組300GB 15K Drive Set，一共16塊盤，實施RAID10。新擴容的磁盤分配給郵件及影像服務器使用。二、 擴容設備清單TS3310 擴容配置清單編號設備描述數量3576-E9U TS3310 Tape Expansion Module16013 13m LC/LC Fibre Channel Cable28142 Ultrium 4 Fibre Channel Type Drive 29840 2.8m Power Cord 250V China (PRC)13589-010 800GB Ultrium Tape Cartridges Labeled11020 800GB Labeled 20-pack18000 Jewel Cases19003 Label background color Red19022 Color/vibrant background19112 First character of Volser is C19200 Second character of Volser is 019300 Third character of Volser is 019400 Fourth character of Volser is 019500 Fifth character of Volser is 01IBM DS8100擴容配置清單Product DescriptionSerialQtyAction list for 2421-931SN12421-931System Storage DS8100SN11Additions:1210Disk Enclosure Pair12416300 GB 15K Drive Set12999Disk Enclosure Filler17002OEL - 5 TB indicator1Removals:8022.1 to 5.0 TB capacity12421-931 PriceProduct DescriptionSerialQtyAction list for 2396-LFASN22396-LFADS8000 Function AuthorizationSN21Additions:7002OEL - 5 TB Unit1三、 到貨情況Check List到貨情況YESNODS8000 主機是否到貨？DS8000 其他附件是否到貨（電纜等）？ 系統軟件及升級軟件是否到貨？四、 擴容實施界面由于IBM DS8100上存儲著企業關鍵的數據，為保障系統順利實施，前期溝通最為重要，下面將列出主要分工：信息中心：負責數據的備份、驗證數據備份的操作、驗證擴容實施結果。擴容實施服務方：負責TS3310帶庫擴容、IBM DS8100存儲設備擴容相關操作。五、 擴容所需求的業務停機時間為了保障此次升級不影響核心業務系統，建議在晚上實施擴容操作，將連接在IBM DS8100上的關鍵業務應用給停掉，根據估算，需要4-5小時。六、 擴容實施準備工作和時間點分配由于擴容涉及到IBM DS8100核心存儲，為了保障設備系統的順利擴容，下面將簡述整個重建過程的內容及步驟。1. 提前做好數據備份工作實施擴容之前，應提前做好數據備份工作，盡可能采用全備份，以保證存儲在磁盤陣列內所有數據的可恢復性。備份的數據包括：IBM DS8100存儲上的所有數據、NETBACKUP Catalog。所需時間：_分鐘2. 安裝IBM TS3310擴展柜。安裝IBM TS3310 Tape Expansion Module磁帶籠、添加磁帶機及磁帶介質安裝操作。所需時間： 40 分鐘3. NETBACKUP備份主服務器上定義驅動器、掃描和識別介質。將新安裝的2個驅動器、30盤IBM LTO4磁帶進行掃描和識別和定義操作。所需時間： 30 分鐘4. 測試NETBACKUP備份。將新添加的IBM TS3310磁盤介質，分配備份作業，測試寫入是否成功。所需時間： 15 分鐘5. 安裝IBM DS8100擴容所需的磁盤籠。所需時間： 70 分鐘6. 創建RAID、初始化及分配主機。所需時間： 180 分鐘7. 驗證磁盤擴容結果。從郵件和影像PC服務器上識別并認盤，創建盤符并模擬寫入文件。所需時間： 15 分鐘七、 磁帶機擴容與NBU配置更改細節1) TS3310磁帶擴展柜硬件互聯TS3310 是一款可以連接擴展柜的磁帶庫，TS3310 基本柜上多了兩個接口：Module to Module communication 接口。注意標示1 和3。當沒有連接擴展柜的時候，這兩個接口是被Module communication terminator堵上的。如果你空著這個接口或者 Module communication terminator損壞，TS3310自檢將會失敗(Self Test Failed)。由于需要連接擴展柜，請注意每個module to module communication接口最多串連兩個擴展柜，在串連連接中的最后一個擴展柜上的最后一個module communication 接口需要插上Module communication terminator。2) 激活TS3310磁帶擴展柜license第一步：找到含有license key標簽的紙質文檔。第二步：（如果使用Web管理方式，跳至第四步）啟動TS3310帶庫并打開液晶操作面板，選擇Setup - Licenses，根據提示信息輸入license key標簽中的內容。第三步：選擇Apply，轉到第六步。第四步：啟動TS3310并進入Web管理頁面，選擇Manager Library - Settings - Feature Licenses。第五步：在頁面中輸入license key標簽中的內容，并點擊Activate。第六步：查看帶庫配置信息，確認license是否激活成功。第七步：將一個license key標簽貼在帶庫后部控制器右側的蓋板上。第八步：將一個license key標簽貼在磁帶庫配置表單中。3) 在NBU MASTER及MEDIA主機上識別驅動器如果是LANFREE備份，則NBU MASTER和參與LANFREE備份的MEDIA主機，都需要正常識別到新添加的驅動器。下圖所Windows主機的設備管理器。4) NBU執行inventory robot1、在NetBackup Administration Console中，選擇左面板中的Media and Device Management中的Robot，點擊鼠標右鍵，選擇Inventory Robot，將新添加的磁帶介質進行掃描，然后，在media欄中將顯示出來。如下圖所示：2、出現Media搜索內容窗口，在Inventory type選項框中選擇“show contents”，點擊start，如下圖所示：3、再在Inventory type選項框中選擇“update volume configuration”，點擊start，如下圖所示：5) 配置新添加的驅動器添加磁帶機以下對添加一個磁帶機做出了說明，方便雷同。注：磁帶機的添加完成以后，可以在系統提示下重新啟動進程。l Media Manager host定義Media Manager在何處保存驅動器的信息。l Drive Type指定該磁帶機的類型。l No Rewind Device指定驅動器的設備文件，在NBU3.2中不需要指定No Rewind Device。l Drive Name該磁帶驅動器的名稱。l Drive Status指定該驅動器的初始狀態是UP，還是DOWN，UP是指該驅動器被加入后，馬上就可用，如果你不想讓該驅動器馬上被使用，設置成DOWN。l Cleaning Frequency （In Hours）設置該驅動器多長時間被清洗一次，當該驅動器被加入后，Media Manager開始紀錄該驅動器被使用了多長時間,對于機械手控制的驅動器，如果有清洗帶，NetBackup會自動清洗，對于單個磁帶機，會在磁帶機的注釋行中顯示Needs Cleaning。l Drive is in a Robotic Library設置該驅動器是否受機械手控制。l Robotic Library指定控制該驅動器的機械手的類型。l Robot Drive Number指定該驅動器在該機械手中是第幾個驅動器，它是指在機械手中的物理位置。l Device host如果該驅動器不受這個主機控制，受哪個主機控制。6) 配置新添加作業，修改并合理分配驅動器的使用7) 測試NBU與TS3310的磁帶寫入操作8) 利用Activity Monitor監控備份作業的執行NetBackup任務監視器可以監視備份、恢復和歸檔任務的狀態，但不監視NetBackup本身數據庫的備份。由主畫面，點擊Activity Monitor進入：使用Job Monitorl 任務監視器作用通過任務監視看出該任務的ID、執行何種操作、狀態、返回值、Server和Client是誰、通過哪一個Policy和Schedule去執行的。返回值是一個非常有用的參數，通過返回值，可以通過錯誤代碼查找Troubleshooting手冊中建議的相關調整建議，這對于問題檢查和性能調整是非常有用的。具體可顯示多長時間的任務，要看NetBackup全局屬性中的設置。每個任務有以下幾個狀態：1) Queued 任務正在排隊2) Active 任務正在執行3) Re-Queued 由于前次執行沒有成功，任務重新排隊4) Done 任務執行完畢通過任務管理器，可以Kill掉沒有執行完的任務。l 查看任務細節雙擊一個任務，可以查看這些任務的細節。這些細節包括時間、操作過程等。細節有Overview和Detail之分。第 15 頁 共 51 頁信泰人壽存儲設備擴容實施計劃文檔v1.0八、 IBM DS8100擴容實施細節1) 硬件前后視圖一覽2) 硬盤抽屜（Storage enclosures）DS8000的base frame包括8個硬盤抽屜（storage enclosures），expansion frame包括16個硬盤抽屜（storage enclosures）。DS8000的硬盤抽屜是由16塊硬盤或者啞盤組成。每兩個硬盤抽屜按照前后位置組成一對，每16個盤中的8塊硬盤是從前面的硬盤抽屜中訪問，其余8塊盤是從后面的硬盤抽屜訪問。硬盤抽屜的示意圖如下所示：3) RAID10規劃新增了一組300 GB 15K Drive Set，一共是16塊盤，實施RAID10。目前RAID10有二種方式可供選擇：3+3 - RAID 10 配置，Array 包含6塊數據盤，其中3塊是做鏡像的數據盤。另外剩下的2塊盤作為熱備盤.4+4 - RAID 10 配置，Array 包含8塊數據盤，其中4塊是做鏡像的數據盤。 根據用戶的建議采用4+4，最終實施后RAID10后的可用容量為2.4T，如果采用3+3的方式實施，則會浪費2個盤的容量，最終實施3+3方式后，可用容量僅為1.8T左右。4) 容量規劃RAID10:_GB 業務主機： 郵件 MAILRAID10:_ GB 業務主機： 影像 IMAGE5) 磁盤大小規劃與主機名規劃請根據下表規劃磁盤，并分配到相應的主機。通過該主機名來指定與規劃出的磁盤的對應關系，IBM工程師將按照該表將規劃出的磁盤分配到相應主機。磁盤與主機對應表通過下面的工作表來指定主機與規劃出的磁盤的對應關系主機名磁盤大小所屬VG繁忙程度主機FC卡歸屬影像郵件6) 安裝DSCLI為提高配置的速度，建議大家劃分DS8000采用DSCLI（DS Command Line Interface），在筆記本上安裝DSCLI后（執行命令setupwin32.exe），修改其C:Program FilesIBMdscliprofile file，如下：# Management Console/Node IP Address(es)# hmc1 and hmc2 are equivalent to -hmc1 and -hmc2 command# options.hmc1:#hmc2:# Default target Storage Image ID# devid and remotedevid are equivalent to # -dev storage_image_ID and -remotedev storeage_image_ID # command options, respectively. devid:IBM.2107-7523201# locale# Default locale is based on user environment.locale:en其中hmc1為DS8000的HMC地址，此處為HMC缺省IP為; devid為DS8000的storage facility image ID，為IBM.2107-7523201。請取消關于語言的default定義，缺省是用戶自己的語言環境（前面有注釋），請最好改成英文，這樣IBM給support時比較好。Notes：1、關于DSCLI版本，請使用你所配置的DS8K微碼對應的DSCLI版本，DSCLI版本之間互不兼容，即便你發現高版本可以管理低版本的DS8K，IBM Lab不保證版本之間的兼容性。2、關于devid，任何一臺DS8K的序列號均以0結尾，對于2107-9A2，devid的為75-xxxx1和75-xxxx2，對于2107-921/922，devid永遠為75-xxxx1；在profile中輸入devid后，在以后的命令行以及腳步本便可以不再寫devid了。3、請把筆記本連接到DS8K內部的交換機中的上面的一臺，即黑色網線相連的交換機。打開IE瀏覽器，打開如下網址：:8452/DS8000/Console缺省用戶已經密碼為admin/admin，登陸后，系統將提示密碼超期，請更改密碼，建議使用密碼passw0rd。安裝DSCLI后，將在桌面上創建DSCLI的圖標，雙擊該圖標后，再次鍵入dscli可以進入dscli交互式命令行。Notes：請注意不要在24小時內3次輸入錯誤的用戶密碼，3次的錯誤輸入將導致該用戶的帳戶被鎖。I advise you run below command to disable 3 times lock pwd function:chpass -expire 0 -fail 07) 激活DS8000 License在配置DS8K之前，需要激活DS8K的license，如下方法：1. 獲取 Signature (該步驟現在可以忽略) dscli showsi -fullid IBM.2107-75BCYY1Date/Time: 2006年2月6日 上午10時26分56秒 IBM DSCLI Version: 97 DS: IBM.2107-75xxxx1Name -desc -ID IBM.2107-75xxxx1Storage Unit IBM.2107-75xxxx0Model 9xxWWNN 5005076304FFC1C0Signature fb78-de56-4e89-e46bState OnlineESSNet EnabledVolume Group IBM.2107-75xxxx1/V0os400Serial -dscli2. 通過DS8000序列號和剛才取得的signature去以下網站拿capacity的license key，文件例如：2107_75BBY00.xml/systemstechnology/storage/dsfa/accessDSFA.wss/storage/dsfa/index.jsp3. 在DS8000中增加在上面一步中取得的license dscli applykey file c:xxxxkeys.xml IBM.2107-75xxxx1也可以使用GUI界面輸入該key：打開如下網頁：:8452/DS8000/ConsoleIn the navigation panel, select, in order, Real-time Manager, Manage Hardware, and Storage images. In Storage images Main Page, select a Storage image. Then select Apply activation codes in the Select Action drop-down list. Then click Go. The Apply activation codes page is displayed4. 查看license狀態，查看剛才輸入的license是否生效（下面為示例，紅色行注意應為100ALL就對了）dscli lskey IBM.2107-75xxxx1Date/Time: 2006年1月26日 下午02時08分47秒 IBM DSCLI Version: 97 DS: IBM.2107-75xxxx1Activation Key Capacity (TB) Storage Type=Operating Environment 100 All8) DS8000邏輯配置一般我們采用一對一的方法配置DS8K，即arraysite-array-rank-extpool (SxxAxxRxxPxx)的形式，如下： 因此邏輯配置的步驟如下：1. 創建array2. 創建rank3. 創建extend pool4. 將rank加入到相應的extend pool5. 創建LUN6. 創建volume group7. 將LUN加入到需要的volume group中8. 創建host connection（將LUN，host connection加入到volume group）9. 主機端安裝SDD軟件，識別vpath。列出arraysite命令：lsarraysiteArraysite為IBM工廠預定義的，每8塊盤為1個arraysite，不需要我們配置。關于所配置的DS8K中的arraysite數目，可以用機器中的盤數目除以8即可；也可以查已經的IR，找到類似如下的描述：2107 922 75BCYY0 2116 8 A 146 GB 10K DRIVE SET 其中每個driver set中有16塊DDM，構成2個arraysite。命令輸出結果如：dscli lsarraysiteDate/Time: Feb. 9, 2006 2:57:27 PM EDT IBM DSCLI Version: 97 DS:IBM.2107-75xxxx1 arsite DA Pair dkcap (109B) diskrpm State Array = S1 2 146.0 10000 Unassigned - S2 2 146.0 10000 Unassigned - S3 2 146.0 10000 Unassigned - S4 2 146.0 10000 Unassigned - S5 2 146.0 10000 Unassigned - S6 2 146.0 10000 Unassigned - S7 2 146.0 10000 Unassigned - S8 2 146.0 10000 Unassigned - S9 0 146.0 10000 Unassigned - S10 0 146.0 10000 Unassigned - S11 0 146.0 10000 Unassigned - S12 0 146.0 10000 Unassigned - S13 0 146.0 10000 Unassigned - S14 0 146.0 10000 Unassigned - S15 0 146.0 10000 Unassigned - S16 0 146.0 10000 Unassigned - 稍后將詳細介紹DA pair創建Array命令格式如下：mkarray -dev storage_image_ID -raidtype 5|10 -arsite Array_site如：(創建raid10)dsclimkarray -raidtype 10 -arsite S1dsclimkarray -raidtype 10 -arsite S2命令結果如：dscli lsarrayDate/Time: 2006年1月26日 下午02時21分28秒 IBM DSCLI Version: 97 DS: IBM.2107-75xxxx1Array State Data RAIDtype arsite Rank DA Pair DDMcap (109B)=A0 Unassigned Normal 10 (3x2+2S) S1 - 2 73.0A1 Unassigned Normal 10 (4x2) S2 - 2 73.0A2 Unassigned Normal 10 (3x2+2S) S3 - 2 73.0A3 Unassigned Normal 10 (4x2) S4 - 2 73.0A4 Unassigned Normal 10 (4x2) S5 - 2 73.0A5 Unassigned Normal 10 (4x2) S6 - 2 73.0A6 Unassigned Normal 10 (4x2) S7 - 2 73.0A7 Unassigned Normal 10 (4x2) S8 - 2 73.0A8 Unassigned Normal 10 (3x2+2S) S9 - 0 73.0A9 Unassigned Normal 10 (4x2) S10 - 0 73.0A10 Unassigned Normal 10 (3x2+2S) S11 - 0 73.0A11 Unassigned Normal 10 (4x2) S12 - 0 73.0A12 Unassigned Normal 10 (4x2) S13 - 0 73.0A13 Unassigned Normal 10 (4x2) S14 - 0 73.0下面將詳細介紹上面的輸出結果中的RAID type與DA Pair：下面的圖是關于2107的各種型號的Disk Enclosures與DA之間的關系。在后續的章節中，我們在創建LUN并將其分配到主機時，需要考慮LUN在DA pair中的均衡問題。關于RAID type，在每個DA pair中，要有4個Hot Spare盤。對于RAID10，每個Arraysite對應的array將提供2個Hot Spare；對于RAID5，最先創建的RAID5，將分別提供一個Hot Spare盤。創建RANK命令格式如下：mkrank -dev storage_image_ID -array array_ID -stgtype fb|ckd 如：mkrank -array A0 -stgtype fbmkrank -array A1 -stgtype fb創建Extend Pool命令格式如下：Usage: mkextpool -dev storage_image_ID -rankgrp 0|1 -stgtype fb|ckd Extent_pool_name 如：mkextpool -rankgrp 0 -stgtype fb ext_pool0mkextpool -rankgrp 1 -stgtype fb ext_pool1mkextpool -rankgrp 0 -stgtype fb ext_pool2mkextpool -rankgrp 1 -stgtype fb ext_pool3關于：rankgrp 0 | 1Assigns the extent pool to either rank group 0 or 1. Rank group 0 is managed by server 0, and rank group 1 is managed by server 1.所以在創建extend pool時，為了保證在server（controller）這一層上的負載均衡，請交錯使用0、1，如上面的例子。關于：stgtype fb|ckd對于open system，使用類型fb，ckd是給S390使用的。關于：Extend_pool_name該名字是別名，只是為了我們之間知道該pool是干什么的就可以，在所有的命令行中，我們只能使用ID，而不能使用別名。命令執行后如下：dscli lsextpool Date/Time: 2006年2月10日 下午03時17分56秒 IBM DSCLI Version: 97 DS: IBM.2107-75xxxx1 Name ID stgtype rankgrp status availstor (230B) %allocated available reserved numvols = ext_pool0 P0 fb 0 below 0 100 0 0 0 ext_pool1 P1 fb 1 below 0 100 0 0 0 ext_pool2 P2 fb 0 below 0 100 0 0 0 ext_pool3 P3 fb 1 below 0 100 0 0 0 ext_pool4 P4 fb 0 below 0 100 0 0 0 ext_pool5 P5 fb 1 below 0 100 0 0 0 ext_pool6 P6 fb 0 below 0 100 0 0 0 ext_pool7 P7 fb 1 below 0 100 0 0 0 ext_pool8 P8 fb 0 below 0 100 0 0 0 將rank加入到相應的extend pool請務必等待RANK的狀態變成Unassigned， Issue lsrank to get the rank status.如下：dscli lsrank Date/Time: 2006年1月26日 下午02時30分51秒 IBM DSCLI Version: 97 DS: IBM.2107-75xxxx1 ID Group State datastate Array RAIDtype extpoolID stgtype = R0 - Unassigned Normal A0 10 - fb R1 - Unassigned Normal A1 10 - fb R2 - Unassigned Normal A2 10 - fb R3 - Unassigned Normal A3 10 - fb R4 - Unassigned Normal A4 10 - fb R5 - Configuring Normal A5 10 - fb R6 - Configuration Pending Normal A6 10 - fb R7 - Configuration Pending Normal A7 10 - fb R8 - Configuration Pending Normal A8 10 - fb R9 - Configuration Pending Normal A9 10 - fb R10 - Configuration Pending Normal A10 10 - fb 上面的例子中R0R4的狀態為Unassigned，R5正在被配置，R6R10的狀態是Pending，我們需要等待所有的rank的狀態為Unassigned，才能進行下一步配置。當所有的RANK的狀態變成Unassigned后，進行如下步驟：命令格式如下：Usage: chrank -dev storage_image_ID -extpool extentpool_ID Rank_ID . 如：chrank -extpool P0 R0chrank -extpool P1 R1命令執行完畢后，如下：dscli lsrankDate/Time: 2006年1月26日 下午02時57分58秒 IBM DSCLI Version: 97 DS: IBM.2107-7500191ID Group State datastate Array RAIDtype extpoolID stgtype=R0 0 Normal Normal A0 10 P0 fbR1 1 Normal Normal A1 10 P1 fbR2 0 Normal Normal A2 10 P2 fbR3 1 Normal Normal A3 10 P3 fbR4 0 Normal Normal A4 10 P4 fbR5 1 Normal Normal A5 10 P5 fbR6 0 Normal Normal A6 10 P6 fbR7 1 Normal Normal A7 10 P7 fbR8 0 Normal Normal A8 10 P8 fb上面可以看出，R0對應于A0，R0屬于P0。請注意：pool ID為偶數的extend pool歸server 0管理，pool ID為奇數的extend pool歸server 1管理。創建LUN關于LUN的大小，因為任何的LUN都是虛擬在raid上的，所以對單個的LUN來講，LUN大小與性能沒有直接的聯系，但是要考慮一下兩個方面：1、 LUN不能太大。太大的LUN將導致客戶的數據過分的集中在單一的RAID中，形成瓶頸。2、 LUN不能太小。太小的LUN將導致host端的hdisk過多，容易引起HACMP切換失敗。一般來講