1、多種虛擬機環(huán)境下安裝Oracle11g RAC2016年8月17日目 錄 TOC o 1-3 h z u HYPERLINK l _Toc459889400 1、安全環(huán)境與網(wǎng)絡規(guī)劃 PAGEREF _Toc459889400 h 5 HYPERLINK l _Toc459889401 1.1、安裝環(huán)境 PAGEREF _Toc459889401 h 5 HYPERLINK l _Toc459889402 1.2、網(wǎng)絡規(guī)劃 PAGEREF _Toc459889402 h 5 HYPERLINK l _Toc459889403 1.3、Oracle軟件組 PAGEREF _Toc459889403

2、 h 5 HYPERLINK l _Toc459889404 1.4、RAC節(jié)點 PAGEREF _Toc459889404 h 5 HYPERLINK l _Toc459889405 1.5、存儲組件 PAGEREF _Toc459889405 h 6 HYPERLINK l _Toc459889406 2、創(chuàng)建虛擬機 PAGEREF _Toc459889406 h 6 HYPERLINK l _Toc459889407 2.1、VMware vSphere PAGEREF _Toc459889407 h 6 HYPERLINK l _Toc459889408 2.2、VMware Work

3、station PAGEREF _Toc459889408 h 16 HYPERLINK l _Toc459889409 2.3、Virtual BOX PAGEREF _Toc459889409 h 22 HYPERLINK l _Toc459889410 3、安裝系統(tǒng) PAGEREF _Toc459889410 h 26 HYPERLINK l _Toc459889411 3.1、安裝系統(tǒng)(兩節(jié)點) PAGEREF _Toc459889411 h 26 HYPERLINK l _Toc459889412 3.2、配置網(wǎng)絡(兩節(jié)點) PAGEREF _Toc459889412 h 31 HY

4、PERLINK l _Toc459889413 3.3、刪除自動生成的虛擬網(wǎng)卡(兩節(jié)點) PAGEREF _Toc459889413 h 33 HYPERLINK l _Toc459889414 3.4、測試網(wǎng)絡(兩節(jié)點) PAGEREF _Toc459889414 h 34 HYPERLINK l _Toc459889415 4、添加共享存儲 PAGEREF _Toc459889415 h 34 HYPERLINK l _Toc459889416 4.1、VMware vSphere PAGEREF _Toc459889416 h 34 HYPERLINK l _Toc459889417 4

5、.1.1、配置rac1節(jié)點 PAGEREF _Toc459889417 h 34 HYPERLINK l _Toc459889418 4.2.2、配置rac2節(jié)點 PAGEREF _Toc459889418 h 38 HYPERLINK l _Toc459889419 4.2、VMware Workstation PAGEREF _Toc459889419 h 41 HYPERLINK l _Toc459889420 4.2.1、物理機中添加共享磁盤 PAGEREF _Toc459889420 h 41 HYPERLINK l _Toc459889421 4.2.2、關閉節(jié)點，用記事本編輯vm

6、x文件，例如：rac1.vmx(兩節(jié)點) PAGEREF _Toc459889421 h 41 HYPERLINK l _Toc459889422 4.3、Virtual BOX PAGEREF _Toc459889422 h 42 HYPERLINK l _Toc459889423 4.3.1、配置rac1節(jié)點 PAGEREF _Toc459889423 h 42 HYPERLINK l _Toc459889424 4.3.2、配置rac2節(jié)點 PAGEREF _Toc459889424 h 47 HYPERLINK l _Toc459889425 5、實現(xiàn)共享存儲 PAGEREF _Toc

7、459889425 h 47 HYPERLINK l _Toc459889426 5.1、劃分共享磁盤(單節(jié)點) PAGEREF _Toc459889426 h 47 HYPERLINK l _Toc459889427 5.2、配置ASM磁盤(兩節(jié)點) PAGEREF _Toc459889427 h 49 HYPERLINK l _Toc459889428 6、配置Linux系統(tǒng) PAGEREF _Toc459889428 h 50 HYPERLINK l _Toc459889429 6.1、用戶組及用戶設置(兩節(jié)點，root用戶) PAGEREF _Toc459889429 h 50 HYP

8、ERLINK l _Toc459889430 6.1.1、創(chuàng)建Oracle軟件組 PAGEREF _Toc459889430 h 50 HYPERLINK l _Toc459889431 6.1.2、創(chuàng)建grid、oracle用戶 PAGEREF _Toc459889431 h 50 HYPERLINK l _Toc459889432 6.1.3、為grid、oracle用戶設置密碼 PAGEREF _Toc459889432 h 50 HYPERLINK l _Toc459889433 6.2、主機名IP映射文件設置(兩節(jié)點) PAGEREF _Toc459889433 h 51 HYPER

9、LINK l _Toc459889434 6.3、配置Linux內(nèi)核參數(shù)(兩節(jié)點) PAGEREF _Toc459889434 h 51 HYPERLINK l _Toc459889435 6.4、設置grid、oracle用戶設置shell limits(兩節(jié)點) PAGEREF _Toc459889435 h 52 HYPERLINK l _Toc459889436 6.5、創(chuàng)建Oracle Inventory Directory(兩節(jié)點) PAGEREF _Toc459889436 h 53 HYPERLINK l _Toc459889437 6.6、創(chuàng)建Oracle Grid Infr

10、astructure Home目錄(兩節(jié)點) PAGEREF _Toc459889437 h 53 HYPERLINK l _Toc459889438 6.7、創(chuàng)建Oracle RDBMS Home目錄(兩節(jié)點) PAGEREF _Toc459889438 h 53 HYPERLINK l _Toc459889439 6.8、安裝相應系統(tǒng)支持包(兩節(jié)點64&32bit) PAGEREF _Toc459889439 h 53 HYPERLINK l _Toc459889440 6.9、修改grid、oracle用戶環(huán)境變量(兩節(jié)點) PAGEREF _Toc459889440 h 54 HYPE

11、RLINK l _Toc459889441 7、關閉防火墻 PAGEREF _Toc459889441 h 55 HYPERLINK l _Toc459889442 7.1、設置SELinux(兩節(jié)點) PAGEREF _Toc459889442 h 55 HYPERLINK l _Toc459889443 7.2、關閉防火墻iptables(兩節(jié)點) PAGEREF _Toc459889443 h 55 HYPERLINK l _Toc459889444 8、設置grid、oracle用戶ssh等效性 PAGEREF _Toc459889444 h 56 HYPERLINK l _Toc45

12、9889445 9、時鐘同步 PAGEREF _Toc459889445 h 57 HYPERLINK l _Toc459889446 9.1、使用Linux系統(tǒng)的NTP服務同步時鐘(兩節(jié)點) PAGEREF _Toc459889446 h 57 HYPERLINK l _Toc459889447 9.2、使用oracle集群軟件ctss服務同步時鐘(兩節(jié)點) PAGEREF _Toc459889447 h 58 HYPERLINK l _Toc459889448 10、安裝前準備 PAGEREF _Toc459889448 h 58 HYPERLINK l _Toc459889449 11、

13、安裝Oracle Grid Infrastructure PAGEREF _Toc459889449 h 59 HYPERLINK l _Toc459889450 11.1、安裝流程 PAGEREF _Toc459889450 h 59 HYPERLINK l _Toc459889451 11.2、安裝后檢查 PAGEREF _Toc459889451 h 73 HYPERLINK l _Toc459889452 11.3、配置ASM磁盤組 PAGEREF _Toc459889452 h 74 HYPERLINK l _Toc459889453 12、安裝Oracle DataBase PAG

14、EREF _Toc459889453 h 77 HYPERLINK l _Toc459889454 12.1、安裝流程 PAGEREF _Toc459889454 h 77 HYPERLINK l _Toc459889455 12.2、安裝數(shù)據(jù)庫 PAGEREF _Toc459889455 h 86 HYPERLINK l _Toc459889456 13、Oracle RAC維護 PAGEREF _Toc459889456 h 96 HYPERLINK l _Toc459889457 13.1、節(jié)點層 PAGEREF _Toc459889457 h 96 HYPERLINK l _Toc45

15、9889458 13.2、網(wǎng)絡層 PAGEREF _Toc459889458 h 96 HYPERLINK l _Toc459889459 13.2.1、列出CRS網(wǎng)卡 PAGEREF _Toc459889459 h 96 HYPERLINK l _Toc459889460 13.2.2、獲取CRS網(wǎng)卡信息 PAGEREF _Toc459889460 h 96 HYPERLINK l _Toc459889461 13.3、集群層 PAGEREF _Toc459889461 h 97 HYPERLINK l _Toc459889462 13.3.1、檢查CRS狀態(tài) PAGEREF _Toc459

16、889462 h 97 HYPERLINK l _Toc459889463 13.3.2、檢查CRS 單個服務 PAGEREF _Toc459889463 h 97 HYPERLINK l _Toc459889464 13.3.3、檢查CRS是否自動啟動（root用戶） PAGEREF _Toc459889464 h 97 HYPERLINK l _Toc459889465 13.3.4、啟動、停止、查看CRS（root用戶） PAGEREF _Toc459889465 h 97 HYPERLINK l _Toc459889466 13.3.5、查看Votedisk磁盤位置 PAGEREF _

17、Toc459889466 h 97 HYPERLINK l _Toc459889467 13.3.6、維護Votedisk PAGEREF _Toc459889467 h 97 HYPERLINK l _Toc459889468 13.3.7、查看OCR狀態(tài) PAGEREF _Toc459889468 h 98 HYPERLINK l _Toc459889469 13.3.8、維護OCR PAGEREF _Toc459889469 h 98 HYPERLINK l _Toc459889470 13.4、應用層 PAGEREF _Toc459889470 h 100 HYPERLINK l _T

18、oc459889471 13.4.1、查看CRS狀態(tài) PAGEREF _Toc459889471 h 100 HYPERLINK l _Toc459889472 13.4.2、onsctl命令 PAGEREF _Toc459889472 h 100 HYPERLINK l _Toc459889473 13.4.3、srvctl命令 PAGEREF _Toc459889473 h 101 HYPERLINK l _Toc459889474 14、附錄： PAGEREF _Toc459889474 h 102 HYPERLINK l _Toc459889475 14.1、CRS名詞解釋： PAGE

19、REF _Toc459889475 h 102 HYPERLINK l _Toc459889476 14.1.1、CRS一些服務作用 PAGEREF _Toc459889476 h 102 HYPERLINK l _Toc459889477 14.1.2、Oracle Cluster Registry(OCR) PAGEREF _Toc459889477 h 102 HYPERLINK l _Toc459889478 14.1.3、Votedisk PAGEREF _Toc459889478 h 102 HYPERLINK l _Toc459889479 14.1.4、Admin Manage

20、d和Policy Managed PAGEREF _Toc459889479 h 102 HYPERLINK l _Toc459889480 14.1.5、Grid Name Service(GNS) PAGEREF _Toc459889480 h 103 HYPERLINK l _Toc459889481 14.1.6、Intelligent Management Platform Interface(IPMI) PAGEREF _Toc459889481 h 103 HYPERLINK l _Toc459889482 14.2、安裝問題 PAGEREF _Toc459889482 h 10

21、3 HYPERLINK l _Toc459889483 14.2.1、安裝界面亂碼 PAGEREF _Toc459889483 h 103 HYPERLINK l _Toc459889484 14.2.2、xhost +報錯 PAGEREF _Toc459889484 h 103 HYPERLINK l _Toc459889485 14.2.3、網(wǎng)卡名稱與MAC地址不能對應 PAGEREF _Toc459889485 h 104 HYPERLINK l _Toc459889486 14.2.4、Linux6.*yum安裝報錯 PAGEREF _Toc459889486 h 104 HYPERL

22、INK l _Toc459889487 14.2.5、11g支持Linux系統(tǒng)列表 PAGEREF _Toc459889487 h 104 HYPERLINK l _Toc459889488 14.2.6、udev配置RAC ASM的幾種方式 PAGEREF _Toc459889488 h 104 HYPERLINK l _Toc459889489 14.2.7、Oracle問題 PAGEREF _Toc459889489 h 1051、安全環(huán)境與網(wǎng)絡規(guī)劃1.1、安裝環(huán)境RAC節(jié)點操作系統(tǒng)：Linux 6.4 x86_64Cluster software：Oracle Grid Infrast

23、ructure 11gr2()Oracle Database software：Oracle11gr2()共享存儲：ASM1.2、網(wǎng)絡規(guī)劃節(jié)點名稱Public IPPrivate IPVirtual IPSCAN 名稱SCAN IPrac1313133rac-scan35rac2323234注意：Oracle11g新增SCAN-IP，為VIP的一個池概念1.3、Oracle軟件組軟件組件用戶輔助組用戶主目錄ORACLE_BASEORACLE_HOMEGrid Infrastructuregridasmadminasmdbaasmoper/home/grid/u01/app/grid/crs/u

24、01/app/11.2.0/gridOracle RACoracledbadbaoperasmdba/home/oracle/u01/app/oracle/u01/app/oracle/11.2.0/db_11.4、RAC節(jié)點節(jié)點名稱實例名稱數(shù)據(jù)庫名稱內(nèi)存操作系統(tǒng)rac1rac1rac8GLinux 6.4 x86_64rac2rac28GLinux 6.4 x86_641.5、存儲組件存儲組件文件系統(tǒng)卷大小ASM卷組名ASM冗余磁盤名OCR、VOTING DiskASM5GCRSExternalOCR_VOTE數(shù)據(jù)庫20GDATAExternalASMDATA快速恢復區(qū)5GFRAExtern

25、alBACKUP2、創(chuàng)建虛擬機2.1、VMware vSphere以administrator用戶登錄虛擬化主機：對主機右鍵點擊“新建虛擬機”選擇自定義配置，下一步給虛擬機命名 rac1，下一步選擇虛擬機存放位置，下一步選擇虛擬機文件存放位置(盡量放于共享存儲上，空間大且防止數(shù)據(jù)丟失)，下一步選擇高版本，下一步選擇操作系統(tǒng)為Linux，版本為Red Hat Enterprise Linux 6(64位)，下一步配置CPU、內(nèi)存，下一步選擇網(wǎng)卡，配置兩塊網(wǎng)卡，一塊作為Public，另一塊作為Private，下一步選擇SCSI驅動器類型：LSI Logic并行，下一步選擇創(chuàng)建新磁盤，下一步配置磁盤

26、大小，下一步上述三個選項的解釋：選擇虛擬設備節(jié)點，默認為SCSI(0:0)，選擇模式為非獨立，下一步選擇在虛擬機創(chuàng)建之前編輯選項，繼續(xù)編輯光驅設備，選擇ISO文件，完成查看新建虛擬機配置以相同方式創(chuàng)建另一個節(jié)點rac2。2.2、VMware Workstation新建虛擬機rac1，選擇自定義，下一步選擇安裝操作系統(tǒng)ISO，下一步命名虛擬機，選擇存放位置，下一步配置內(nèi)存大小，下一步選擇網(wǎng)絡類型為橋接網(wǎng)絡，下一步選擇I/O控制器類型為LSI Logic，下一步選擇磁盤類型為SCSI，下一步配置磁盤大小，并選擇將虛擬磁盤拆分多個文件，下一步指定磁盤文件，下一步以相同方式創(chuàng)建另一個節(jié)點rac2。2.

27、3、Virtual BOX新建虛擬機rac1，命名虛擬機，選擇系統(tǒng)類型為Linux，版本為Red Hat （64bit），下一步配置內(nèi)存大小，下一步創(chuàng)建虛擬硬盤，創(chuàng)建選擇虛擬磁盤文件類型，下一步選擇動態(tài)分配，下一步選擇文件位置和大小，下一步創(chuàng)建完成設置虛擬機參數(shù)選擇存儲，在右側屬性，點擊分配光驅右邊的，選擇安裝操作系統(tǒng)ISO文件以相同方式創(chuàng)建另一個節(jié)點rac2。3、安裝系統(tǒng)3.1、安裝系統(tǒng)(兩節(jié)點)系統(tǒng)安裝過程都是一致，因此不予詳述。本文只針對安裝過程中部分容易出錯的地方簡述選擇基本存儲設備提示是否丟棄所有的數(shù)據(jù)，yes,discard any data選擇自定義分區(qū)，Create Custo

28、m Layout進入分區(qū)界面選擇標準分區(qū)模式，Standard Partition分別創(chuàng)建虛擬內(nèi)存(swap)、boot分區(qū)、/分區(qū)分區(qū)結果選擇確定格式化選擇寫入磁盤選擇默認即可選擇系統(tǒng)模式，Software Development Workstation，Customize Later，其他默認開始安裝系統(tǒng)安裝后，提示重啟系統(tǒng)，并有一系列配置，其中啟動Kdump根據(jù)提示，再次重啟系統(tǒng)，系統(tǒng)安裝完畢！3.2、配置網(wǎng)絡(兩節(jié)點)此步驟，需要虛擬機有兩塊網(wǎng)卡，分別為Public和Private網(wǎng)卡。雙機IP配置：節(jié)點名稱Public IPPrivate IPrac13131rac23232使用ro

29、ot用戶登錄虛擬機，右鍵，選擇Edit Connection按以下步驟操作，分別配置兩塊網(wǎng)卡IP為上表對應項3.3、刪除自動生成的虛擬網(wǎng)卡(兩節(jié)點)所謂虛擬網(wǎng)卡，即執(zhí)行 ifconfig命令列出的virbr0，如圖執(zhí)行以下命令來刪除該虛擬網(wǎng)卡virsh net-listvirsh net-destroy defaultvirsh net-undefine defaultservice libvirtd restart再次使用ifconfig命令查看，該虛擬網(wǎng)卡已不存在3.4、測試網(wǎng)絡(兩節(jié)點)1、物理機ping兩臺虛擬機rac1、rac2的Public IP2、rac1節(jié)點 ping rac2

30、節(jié)點的Public IP和Private IP3、rac2節(jié)點 ping rac1節(jié)點的Public IP和Private IP以上三步完全可以ping通即可。4、添加共享存儲4.1、VMware vSphere4.1.1、配置rac1節(jié)點關閉rac1節(jié)點，右鍵rac1節(jié)點選擇編輯設置，進入配置界面，點擊添加選擇硬盤，下一步創(chuàng)建新的虛擬磁盤配置磁盤大小，選擇厚置備置零（集群專用），指定磁盤的存放位置，下一步驅動器設備選擇SCSI 1:0，模式選擇獨立（集群必須選擇此項），下一步在虛擬機屬性中，選擇剛添加的SCSI controller 1 驅動器，配置其為物理模式（用于支持共享），以保證rac

31、1、rac2節(jié)點的共享訪問重復執(zhí)行上述步驟，添加另外兩塊磁盤，將其驅動器設備選擇為SCSI 1:1；SCSI 1:2。添加3塊共享磁盤的rac1節(jié)點配置信息如下：4.2.2、配置rac2節(jié)點關閉rac2節(jié)點，右鍵rac2節(jié)點選擇編輯設置，進入配置界面，點擊添加選擇硬盤，下一步選擇已有虛擬磁盤，下一步選擇指定的存儲設備，此處需要注意：選擇在rac1節(jié)點中創(chuàng)建的第一塊磁盤驅動器設備選擇SCSI 1:0，模式選擇獨立，下一步同rac1節(jié)點一樣，在rac2節(jié)點屬性中，選擇剛添加的SCSI controller 1驅動器，配置其為物理模式用于共享重復執(zhí)行以上步驟，添加剩余的2塊磁盤。注意，驅動器編號要依

32、次選擇SCSI 1:1、SCSI 1:2。添加3塊共享磁盤的rac2節(jié)點配置信息如下：4.2、VMware Workstation4.2.1、物理機中添加共享磁盤vmware-vdiskmanager.exe -c -s 5G -a lsilogic -t 2 d:Virtual MachinesRACsharedasm1.vmdkvmware-vdiskmanager.exe -c -s 5G -a lsilogic -t 2 d:Virtual MachinesRACsharedasm2.vmdkvmware-vdiskmanager.exe -c -s 20G -a lsilogic -

33、t 2 d:Virtual MachinesRACsharedasm3.vmdk注意：-a 指定磁盤類型 t 2表示直接劃分一個預分配空間的文件。4.2.2、關閉節(jié)點，用記事本編輯vmx文件，例如：rac1.vmx(兩節(jié)點)添加如下內(nèi)容：#shared disks configuredisk.EnableUUID = TRUEdisk.locking = FALSEdiskLib.dataCacheMaxSize = 0diskLib.dataCacheMaxReadAheadSize = 0 diskLib.dataCacheMinReadAheadSize = 0diskLib.maxUn

34、syncedWrites = 0scsi1.present = TRUEscsi1.virtualDev = lsilogicscsil.sharedBus = VIRTUALscsi1:0.present = TRUEscsi1:0.mode = independent-persistentscsi1:0.fileName = D:Virtual MachinesRACsharedasm1.vmdkscsi1:0.deviceType = diskscsi1:0.redo = scsi1:1.present = TRUEscsi1:1.mode = independent-persisten

35、tscsi1:1.fileName = D:Virtual MachinesRACsharedasm2.vmdkscsi1:1.deviceType = diskscsi1:1.redo = scsi1:2.present = TRUEscsi1:2.mode = independent-persistentscsi1:2.fileName = D:Virtual MachinesRACsharedasm3.vmdkscsi1:2.deviceType = diskscsi1:2.redo = 注意：此處添加了3塊共享盤，因此添加3段內(nèi)容scsi1:0，scsi1:1，scsi1:2，也即要增

36、加幾塊盤，就要增加相應段數(shù)的內(nèi)容scsi 1:*.fileName=后面的內(nèi)容要與你在物理主機使用vmware-vdiskmanager.exe創(chuàng)建的磁盤存儲位置一致重啟兩節(jié)點，查看虛擬機配置，確認共享磁盤文件加載成功（不重啟系統(tǒng)可能不能識別出磁盤）4.3、Virtual BOX4.3.1、配置rac1節(jié)點方法1：rac1節(jié)點的配置也中，選擇存儲，選擇SATA 控制器，然單擊添加硬盤圖標創(chuàng)建新的磁盤，create new disk選擇默認VDI磁盤模式選擇固定大小（共享磁盤必須選擇此選項），下一步配置共享磁盤存儲路徑及大小新建的磁盤，已經(jīng)連接到rac1虛擬機選擇此新磁盤。單擊修改（modify

37、）圖標并選擇Shareable重復以上步驟，創(chuàng)建另外2塊磁盤。最后，增加磁盤后的配置信息方法2：1、在物理主機命令行中執(zhí)行以下語句，創(chuàng)建磁盤VBoxManage.execreatehd-filenameasm1.vdi-size5120-formatVDI-variantFixedVBoxManage.execreatehd-filenameasm2.vdi-size5120-formatVDI-variantFixedVBoxManage.execreatehd-filenameasm3.vdi-size204800-formatVDI-variantFixed2、連接rac1虛擬機VBox

38、Manage.exestorageattachrac1-storagectlSATA控制器-port1-device0-typehdd-mediumasm1.vdi-mtypeshareableVBoxManage.exestorageattachrac1-storagectlSATA控制器-port2-device0-typehdd-mediumasm2.vdi-mtypeshareableVBoxManage.exestorageattachrac1-storagectlSATA控制器-port3-device0-typehdd-mediumasm3.vdi-mtypeshareable3

39、、設置磁盤共享VBoxManage.exemodifyhdasm1.vdi-typeshareableVBoxManage.exemodifyhdasm2.vdi-typeshareableVBoxManage.exemodifyhdasm3.vdi-typeshareable4、查看rac1配置信息4.3.2、配置rac2節(jié)點rac2節(jié)點只需配置磁盤驅動器與虛擬機的連接即可，如下：VBoxManage.exestorageattachrac2-storagectlSATA控制器-port1-device0-typehdd-mediumasm1.vdi-mtypeshareableVBoxMa

40、nage.exestorageattachrac2-storagectlSATA控制器-port2-device0-typehdd-mediumasm2.vdi-mtypeshareableVBoxManage.exestorageattachrac2-storagectlSATA控制器-port3-device0-typehdd-mediumasm3.vdi-mtypeshareable5、實現(xiàn)共享存儲5.1、劃分共享磁盤(單節(jié)點)fdisk l三個分區(qū)作用解釋：fdisk /dev/sdb-作為ocr和voting disk存放文件fdisk /dev/sdc-存放快速恢復區(qū)文件fdisk

41、 /dev/sdd-存放數(shù)據(jù)庫文件fdisk /dev/sdbc|d依次n p 1 Enter Enter w，實現(xiàn)分區(qū)fdisk l-再次查看并在rac2節(jié)點查看，確保與rac1完全一致分區(qū)完畢，不要對新加磁盤進行格式化，保持裸設備。5.2、配置ASM磁盤(兩節(jié)點)使用udev管理配置磁盤方式rpm -qa|grep udev-查看是否安裝udev執(zhí)行以下命令，獲取scsi id信息scsi_id -g -u -d /dev/sdb c|d36000c292f99f2349911c3766f3cc53d736000c293f4c9f2c1fdd38a63e5861ad336000c2994d

42、5eda8fbefc5922b14ab651編輯udev配置文件，添加rules文件（/etc/udev/rules.d/）并授權添加以下參數(shù)。方法1：vi /etc/udev/rules.d/99-x-asmdisk.rulesKERNEL=sdb1, BUS=scsi, PROGRAM=scsi_id -g -u -d /dev/$parent,RESULT=36000c292f99f2349911c3766f3cc53d7, NAME=asmdiskOCR, OWNER:=grid, GROUP:=dba,MODE=0660KERNEL=sdc1, BUS=scsi, PROGRAM=s

43、csi_id -g -u -d /dev/$parent,RESULT=36000c293f4c9f2c1fdd38a63e5861ad3, NAME=asmdiskDATA, OWNER:=grid, GROUP:=dba,MODE=0660KERNEL=sdd1, BUS=scsi, PROGRAM=scsi_id -g -u -d /dev/$parent,RESULT=36000c2994d5eda8fbefc5922b14ab651, NAME=asmdiskFRA, OWNER:=grid, GROUP:=dba,MODE=0660注意：一行為一條規(guī)則, 與下一個關鍵詞要有空格GR

44、OUP:=后面不確定值，dba與asmadmin都可以啟動udevstart_udevls /dev/asmdisk*方法2：vi /etc/udev/rules.d/99-oracle-asmdevices.rules直接在命令行下輸入并執(zhí)行以下循環(huán)for i in b c d;doecho KERNEL=sd*, BUS=scsi, PROGRAM=/sbin/scsi_id -whitelisted -replace-whitespace -device=/dev/$name, RESULT=/sbin/scsi_id -whitelisted -replace-whitespace -

45、device=/dev/sd$i, NAME=asm-disk$i, OWNER=grid, GROUP=asmadmin, MODE=0660 /etc/udev/rules.d/99-oracle-asmdevives.rulesdone注意：此處的b、c、d是sdb、sdc、sdd去掉sd啟動udevstart_udevls /dev/asm*6、配置Linux系統(tǒng)6.1、用戶組及用戶設置(兩節(jié)點，root用戶)6.1.1、創(chuàng)建Oracle軟件組groupadd -g 601 oinstallgroupadd -g 602 dbagroupadd -g 603 opergroupadd

46、-g 604 asmadmingroupadd -g 605 asmdbagroupadd -g 606 asmoper6.1.2、創(chuàng)建grid、oracle用戶useradd -u 601 -g oinstall -G asmadmin,asmdba,asmoper griduseradd -u 602 -g oinstall -G dba,oper,asmdba oracle6.1.3、為grid、oracle用戶設置密碼passwd gridpasswd oracle6.2、主機名IP映射文件設置(兩節(jié)點)vi /etc/hosts-加入以下內(nèi)容#public:31 rac132 rac

47、2#vip:33 rac1-vip34 rac2-vip#priv31 rac1-priv32 rac2-priv#SCAN35 rac-scan6.3、配置Linux內(nèi)核參數(shù)(兩節(jié)點)vi /etc/sysctl.conf-加入以下內(nèi)容fs.aio-max-nr = 1048576fs.file-max = 6815744kernel.shmmni = 4096kernel.sem = 250 32000 100 128net.ipv4.ip_local_port_range = 9000 65500net.core.rmem_default = 262144net.core.rmem_ma

48、x = 4194304net.core.wmem_default = 262144net.core.wmem_max = 1048576sysctl p-使以上設置生效6.4、設置grid、oracle用戶設置shell limits(兩節(jié)點)vi /etc/security/limits.conf-加入以下內(nèi)容grid soft nproc 2047grid hard nproc 16384grid soft nofile 1024grid hard nofile 65536grid soft stack 10240grid hard stack 32768oracle soft nproc

49、 2047oracle hard nproc 16384oracle soft nofile 1024oracle hard nofile 65536oracle soft stack 10240oracle hard stack 32768vi /etc/pam.d/login-加入以下內(nèi)容session required pam_limits.so6.5、創(chuàng)建Oracle Inventory Directory(兩節(jié)點)mkdir -p /u01/app/oraInventorychown -R grid.oinstall /u01/app/oraInventorychmod -R 775

50、 /u01/app/oraInventory6.6、創(chuàng)建Oracle Grid Infrastructure Home目錄(兩節(jié)點)mkdir -p /u01/app/gridmkdir -p /u01/app/grid/crsmkdir -p /u01/app/grid/11.2.0chown -R grid.oinstall /u01/app/gridchmod -R 775 /u01/app/grid6.7、創(chuàng)建Oracle RDBMS Home目錄(兩節(jié)點)mkdir -p /u01/app/oraclechown -R oracle.oinstall /u01/app/oraclec

51、hmod -R 775 /u01/app/oraclemkdir -p /u01/app/oracle/product/11.2.0/db_1chown -R oracle.oinstall /u01/app/oracle/product/11.2.0/db_1chmod -R 775 /u01/app/oracle/product/11.2.0/db_16.8、安裝相應系統(tǒng)支持包(兩節(jié)點64&32bit)binutilscompat-libstdc+-33 elfutils-libelf elfutils-libelf-devel gcc gcc-c+ glibc glibc-common

52、glibc-devel glibc-headers ksh libaio libaio-devel libgcc libstdc+ libstdc+-devel make numactl-devel sysstatunixODBCunixODBC-devel方法1：拷貝系統(tǒng)光盤內(nèi)容到本地目錄mkdir /yum/cp /media/* /yum/刪除/etc/yum.repos.d/下內(nèi)容并創(chuàng)建yum.repovi /etc/yum.repos.d/yum.repoyumname=yumbaseurl=file:/yum/enabled=1方法2：rpm ivh nodeps force *r

53、pm6.9、修改grid、oracle用戶環(huán)境變量(兩節(jié)點)Su grid-切換到grid用戶，修改環(huán)境變量Vi .bash_profile-刪除重復內(nèi)容，加入以下內(nèi)容export ORACLE_HOSTNAME=rac1(rac2)export ORACLE_UNQNAME=racexport ORACLE_BASE=/u01/app/grid/crsexport ORACLE_HOME=/u01/app/grid/11.2.0export ORACLE_SID=+ASM1(+ASM2)export ORACLE_TERM=xtermexport PATH=$ORACLE_HOME/bin:

54、/usr/sbin:$PATHexport LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/libexport CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlibexport TMP=/tmpexport TMPDIR=$TMPSu oracle-切換到oracle用戶，修改環(huán)境變量Vi .bash_profile-刪除重復內(nèi)容，加入以下內(nèi)容export ORACLE_HOSTNAME=rac1(rac2)export ORACLE_UNQNAME=racexport O

55、RACLE_BASE=/u01/app/oracleexport ORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1export ORACLE_SID=rac1(rac2)export ORACLE_TERM=xtermexport PATH=$ORACLE_HOME/bin:/usr/sbin:$PATHexport LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/libexport CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jli

56、bexport TMP=/tmpexport TMPDIR=$TMP7、關閉防火墻7.1、設置SELinux(兩節(jié)點)1、立即生效setenforce 0-立即關閉SELinuxgetenforce-查看SELinux狀態(tài)2、永久生效vi /etc/selinux/config-關閉selinux替換SELinux=enforcing為SELinux=disabled7.2、關閉防火墻iptables(兩節(jié)點)service iptables saveservice iptables stop-關閉iptableschkconfig iptables off-設置iptables不隨系統(tǒng)啟動c

57、hkconfig -list iptables-查看防火墻狀態(tài)列表8、設置grid、oracle用戶ssh等效性ssh等效性操作過程一樣，因此只需切換到相應用戶執(zhí)行即可su grid-兩節(jié)點cd /home/gridrm -rf /.sshmkdir /.sshchmod 700 /.sshssh-keygen -t rsassh-keygen -t dsa配置同步rac1節(jié)點cat /.ssh/id_rsa.pub /.ssh/authorized_keyscat /.ssh/id_dsa.pub /.ssh/authorized_keysscp /.ssh/authorized_keys

58、rac2:/.ssh/authorized_keysrac2節(jié)點cat /.ssh/id_rsa.pub /.ssh/authorized_keyscat /.ssh/id_dsa.pub /.ssh/authorized_keysscp /.ssh/authorized_keys rac1:/.ssh/authorized_keys檢測連通性-兩節(jié)點ssh racdb1 datessh racdb2 datessh racdb1-priv datessh racdb2-priv date注意：第一次詢問是否要連接，輸入yes即可。9、時鐘同步9.1、使用Linux系統(tǒng)的NTP服務同步時鐘(兩

59、節(jié)點)vi /etc/ntp.conf-主節(jié)點rac1加入以下內(nèi)容Server Fudge stratum 11Broadcastdelay 0.008vi /etc/ntp.conf -其他節(jié)點rac2加入以下內(nèi)容Server 31 preferDriftfile /var/lib/ntp/driftBroadcastdelay 0.008vi /etc/sysconfig/ntpd-配置NTP服務SYNC_HWCLOCK=yesOPTIONS=-x -u ntp:ntp -p /var/run/ntpd.pid/etc/init.d/ntpd restart-啟動NTP服務chkconfi

60、g ntpd on-設置NTP服務隨系統(tǒng)啟動netstat -an |grep 123 -確保該端口以udp方式開放ntpstat-查看NTP服務狀態(tài)9.2、使用oracle集群軟件ctss服務同步時鐘(兩節(jié)點)11G R2 默認有自己的時間同步機制，沒有NTP也是可以的。有NTP的話ctss應該一直運行觀察模式的。使用集群時間同步服務在集群中提供同步服務，需要卸載網(wǎng)絡時間協(xié)議 (NTP) 及其配置。service ntpd stopchkconfig ntpd offmv /etc/ntp.conf /etc/ntp.conf.original -有/etc/ntp.conf這個文件，cts