1、運行維護管理體系和制度規范目錄333566788991、總則第一條為保障實驗室系統軟硬件設備的良好運行，使員工的運維工作制度化、流程化、規范化，特制訂本制度。第二條運維工作總體目標：立足根本促發展，開拓運維新局面。在企業發展壯大時期，通過網絡、桌面、系統等的運維，促進企業穩定可持續性發展。第三條運維管理制度的適用范圍：運維人員2、編制方法本實施細則包括運維服務全生命周期管理方法、管理標準/規范、管理模式、管理支撐工具、管理對象以及基于流程的管理方法。本實施細則以ITIL/ISO20000為基礎，以信息化項目的運維為目標，以管理支撐工具為手段，以流程化、規范化、標準化管理為方法，以全生命周期的P

2、DC循環為提升途徑，體現了對運維服務全過程的體系化管理。3、運維部工作職責一、負責網站運維和技術支持（一）根據網站運營戰略和目標，負責網站整體架構、欄目、應用系統等技術開發方案制定和組織開發，保障網站技術的穩定性和先進性。（二）負責網站欄目和應用系統的使用培訓和操作使用指南編寫，對用戶使用過程中出現問題的溝通和解決。（三）網站設備和軟件購買計劃書的擬定，包括采購數量、品牌規格、技術參數。會同行政部進行采購。（四）網站設備和軟件操作規程和應用管理制度的制定，并負責監督執行。（五）網站設備和軟件安裝、調試和驗收，使用培訓和維修保養。（六）網站日常運行過程中信息安全和技術問題的協調解決，保障網站24

3、小時安全穩定運行（七）網站技術服務外包管理，主要包括技術外包開發、運行服務托管和空間域名管理。（八）負責網站管理系統及設備保密口令的設置和保存，保密口令設置后報中心主任備案，保密口令設定后任何人不得隨意更改，保密口令每季度更新一次。（九）負責網站新程序、新系統和網站改版升級方案技術的設計開發。二、負責網站信息和技術安全（一）執行國家和省上有關網絡信息技術安全的法律法規，與通信管理和網絡安全監管部門聯絡，及時處理網站信息技術安全方面存在的問題，確保網站安全、穩定、可靠運行。（二）網站信息技術安全保密制度和工作流程的制定，落實信息技術安全保密責任制，執行“誰主管、誰負責，誰主辦、誰負責”的原則，責

4、任到人。（三）在服務器和計算機之間設置硬件防火墻，在服務器及工作站上均安裝防病毒軟件，進行硬件和技術雙保護，確保網站不受病毒和黑客攻擊。（四）負責網站信息技術安全應急處理預案制定和實施。（五）安排專人監控網站各頻道，各頁面，各版塊，各欄目信息內容，建立網站信息技術安全監控值班登記制度，發現問題及時處理，并登記問題和處理結果登記；（六）建立多機備份網站信息服務系統機制，一旦主系統遇到故障或受到攻擊導致不能正常運行，可以在最短的時間內替換主系統提供服務。（七）建立網站系統集中式權限管理，按照崗位職責設定工作人員操作權限，針對不同應用系統、終端、操作人員，設置共享數據庫信息的訪問權限，并設置密碼。不

5、同的操作人員設定不同的用戶名，且定期更換，嚴禁操作人員泄漏密碼。4、運維服務管理體系運維服務管理體系規定了運維活動涉及的各類實體，以及這些實體間的相互關系。相關的實體按照運維服務管理體系進行有機組織，并協調工作，按照服務協議要求提供不同級別的IT運維服務。4.1 運維服務管理對象運維服務管理對象包括基礎設施、應用系統、用戶、研發部門以及IT運維部門和人員，具體內容如下：(1) 基礎設施包括網絡、主機系統、存儲系統、安全系統等。(2) 應用系統包括uap云管理平臺、cloud門戶、demozabbix、機房設備管理系統、vmware以及yum源等。(3) 用戶包括使用如上應用系統的用戶。(4)

6、研發部門包括Iaas平臺研發部門。(5) 運維部門和人員包括內部參與運維活動的相關部門和人員，以及提供運維服務的企業和相關人員。4.2 運維系統功能框架根據建設單位的系統結構和業務開展需要，運維項目組將項目的維護框架分為9個具體組成部分，分別為：服務臺、事件管理、工單管理、問題管理、變更管理、配置管理、工程師考核、知識庫管理、統計、系統管理等9個子項而具體運維流程將以此為依據開展工作。4.3 運維管理組織結構本運維項目的運維管理結構位三層模式，具體如下圖所示。由項目負責人與甲方進行業務范圍接洽，并將溝通結果向下傳遞。項目經理負責項目的整體運維工作，包括各種制度的制定和實施。運維工程師則在項目經

7、理的指導下開展維護工作。4.3.1 運維負責人職責：負責項目商務、整體協調事宜。職位描述：1）、整體負責建設單位運維項目服務計劃的制定，領導項目經理并安排項目工作，指導項目經理完成具體維護工作，每周聽取項目經理的工作匯報，負責考核項目經理工作完成情況。2）、協助建設單位完成新增項目的調研、方案設計并指導項目經理進行具體實施。4.3.2 運維主管職責：規劃、執行、完善信息化項目的運維工作，指導網絡、數據庫維護工程師開展工作。職位描述：1、根據公司戰略目標，指導下屬工程師開展客戶服務工作，確保運維工作能夠滿足客戶的實際需要；2、建立和持續完善運維管理體系，優化運維流程流程，解決運維服務中出現的特殊

8、問題；3、規劃并提升運維工程師專業服務能力，在整體上提高客戶滿意度；4、制定和持續完善績效考核體系；5、制定整理運維項目的應急預案系統，并指導運維工程師實施；6、提高自身專業技能，在業務方面給予網絡管理員和數據庫管理員指導。4.3.3 系統管理員職責：操作系統、應用、數據庫管理，oracle性能調優，實現應用負載均衡。職位描述：1、技術主管非項目常駐人員，根據項目需要進行專業方面指導；2、負責數據庫性能分析與調優，數據庫運行狀態監控，及時發現異常并快速處理。3、熟練掌握OraclelOG的RA技術，能夠實現部署及調優。4、掌握WASWeblogic、Tomcat、websphere等中間件的工

9、作原理，能夠實現部署調優及故障解決。5、熟練掌握red-flag、redhat等linux操作系統，部署oracle10g、mysql數據庫。熟練掌握dataguard技術，保證oracle數據庫冗災、數據保護、故障恢復。6、負責應用負載均衡的部署和調試。7、負責指導數據庫工程師管理員開展工作。4.3.4 網絡管理員職責：維護建設單位網絡系統正常，解決網絡相關故障。職位描述：1、對現有服務器、局域網絡及機房、配線間的日常管理維護；2、對信息安全建設提出相關建議，確保網絡的安全；3、保證外網光纖線路正常，保證局域網運行正常；4、對網絡系統和網絡設備的運行狀態進行監控；5、熟練掌握域策略設置、DH

10、CPDNSFTP服務器、NTFS權限設置等；6、編寫網絡部分的應用處理預案并實施。7、工作認真、細致，積極主動有條理性，具有良好的溝通能力及團隊合作精神.4.3.5 應用、數據庫管理員職責：維護建設單位業務系統運行正常，解決應用和數據庫故障。職位描述：1、監測業務系統運行狀況，應用、數據庫性能監視及優化，作必要調整；2、規劃不同數據的生命周期，制訂備份、恢復、遷移和災備策略，根據業務的需要執行數據轉換及遷移等操作；3、保證應用和數據庫系統的安全性、完整性和運行效率。4、負責數據庫平臺的整體架構及解決方案的制定和實施；5、工作認真、細致，積極主動有條理性，具有良好的溝通能力及團隊合作精神.4.4

11、運維服務標準流程IT運維服務管理流程涉及事件管理、問題管理、配置管理、變更管理、發布管理、服務級別管理、財務管理、能力管理、可用性管理、服務持續性管理、知識管理及供應商管理等，隨著運維活動的不斷深入和持續改進，其他流程可能會逐步獨立并規范。4.4.1 項目運維服務工作標準流程圖4.4.2 服務臺（暫無）服務臺是支持運維服務的核心功能，與各個流程聯系密切。所有管理流程都要通過服務臺為用戶提供單點聯系，解答用戶的相關問題和需求，或為用戶尋求相應的支持人員。在本系統中,服務臺是接收各種來源服務請求和相關信息反饋的唯一入口和出口，同時服務臺還負責一般請求、通過知識庫（歷史事件）能夠解決的請求；他也是復

12、雜問題二線處理的橋梁。由于當前人員不足，服務臺的工作暫時由運維工程師統一處理。4.4.3 事件管理事件管理流程的主要目標是盡快恢復服務提供并減少其對業務的不利影響，盡可能保證最好的服務質量和可用性等級。事件管理流程通常涉及事件的偵測和記錄、事件的分類和支持、事件的調查和診斷、事件的解決和恢復以及事件的關閉。本系統把所有服務請求和報警歸結為事件。事件管理是提供服務臺和事件管理者對于事件記錄、處理、查詢、審核、派發等功能。它也包括通過和第三方監控系統對接，把其發送報警形成事件的功能。4.4.4 工單管理工單管理：工單是現場運維、二線支持的任務載體，運維工程依據所接收工單進行運維工作。工單管理是對工

13、單實現創建、變更、查詢瀏覽、派發、監督等功能的模塊。4.4.5 問題管理問題管理流程的主要目標是預防問題和事故的再次發生，并將未能解決的事件的影響降低到最小。問題管理流程包括診斷事件根本原因和確定問題解決方案所需要的活動，通過合適的控制過程，尤其是變更管理和發布管理，負責確保解決方案的實施。問題管理還將維護有關問題、應急方案和解決方案的信息。問題管理是針對已處理事件的遺留問題或處理事件的方案只是治標不治本的不能徹底解決問題而考慮的模塊。根據事件、及處理方案，問題處理人經過調查、診斷并提出最終解決方法。4.4.6 變更管理變更管理實現所有基礎設施和應用系統的變更，變更管理應記錄并對所有要求的變更

14、進行分類，應評估變更請求的風險、影響和業務收益。其主要目標是以對服務最小的干擾實現有益的變更。變更管理是要對重大資源的新增、變更、升級等運維活動進行審核的功能，以免這些活動對現有資源的可用性造成沒有必要的影響和破壞；同時，他還要實現在工單中產生的變化進行后審計的功能。4.4.7 配置管理配置管理流程負責核實基礎設施和應用系統中實施的變更以及配置項之間的關系是否已經被正確記錄下來；確保配置管理數據庫能夠準確地反映現存配置項的實際版本狀態。配置管理實際上是全部資源的統一管理的功能，包括資源整個生命周期的參數或配置的變化記錄的管理。管理信息主要涉及分類、型號、版本、位置，狀態、相關資料等基本信息還包

15、括核心參數等4.4.8 知識庫管理運維知識經驗的總結、維護和共享是提高員工運維技能水平、增強單位凝聚力的重要手段，也是把寶貴的經驗教訓從支持人員頭腦逐步沉淀、固化的重要方式。知識庫管理：知識庫是提供給運維人員重要的技術資料內容，他匯集在工作的遇到的典型案例歸納總結的知識要點和全面實用資料手冊。在本系統中，知識庫管理提供便于使用的人機接口、快速查詢的技術手段和維護手段。4.4.9 統計及工作報告運維管理系統提供一線解決率統計、客戶滿意度統計、按分類的事件匯總統計、工作報告生成的功能，按照一定格式根據事件數據、工單數據、問題數據、配置數據、變更數據可以幫助運維管理者能把運維的所做的工作內容清晰的羅

16、列出來。5、運維服務內容5.1 運維服務目標實驗室運維部門提供的運行維護服務包括，虛擬機、主機設備、操作系統、數據庫、網絡安全設備和存儲設備的運行維護服務，保證云管理平臺的正常運行，降低整體管理成本，提高Iaas平臺的整體服務水平。同時根據日常維護的數據和記錄，給研發部門提供Iaas平臺優化及改善建議。實驗室運維的組成主要可分為兩類：硬件設備和軟件系統。硬件設備包括網絡設備、安全設備、主機設備、存儲設備等；軟件設備可分為云管理平臺、操作系統、典型應用軟件（如：數據庫軟件等）等。服務項目范圍覆蓋的信息系統資源以下方面的關鍵狀態及參數指標：運行狀態、故障情況配置信息可用性情況及健康狀況性能指標5.

17、2 IT資產統計服務服務內容包括：硬件設備型號、數量、版本等信息統計記錄軟件產品型號、版本和補丁等信息統計記錄網絡結構、網絡路由、網絡IP地址統計記錄綜合布線系統結構圖的繪制其它附屬設備的統計記錄5.3 網絡、安全系統運維服務從網絡的連通性、網絡的性能、網絡的監控管理三個方面實現對網絡系統的運維管理，網絡設備位于IT架構的骨干位置，下面是需要監控的指標，及對應健康狀況故障以后可能引起的問題。設備基礎性能檢測：cpu、內存使用情況監測。當cpu、內存使用率過高，會導致用戶網絡訪問質量下降，丟包、時延較高等狀況的產生。說明當前網絡設備負載較高，需要對下行設備進行遷移，分流，減輕負載。設備日志查看；

18、當設備日志出現異常時，可能是設備出現異常訪問或者異常配置，可能會導致網絡中斷。需要檢測防火墻等安全設備狀態。設備snmp、telnet狀態；當snmp、telnet都不可達時，一般是設備脫網情況的產生，會導致網絡中斷。需要人工查看設備運行狀態。測試Ping，tracert等工具的連通性；當ping丟包率過高，說明網絡訪問質量有問題，需要tracert查看網絡路徑是哪一跳對應的IP設備時延較高或者不可達。分析是哪個網關路由或者策略引起的問題。網絡安全策略應用是否正常；安全策略異常會導致網絡設備遭受入侵，會影響整個網絡的訪問。Internet帶寬流量的實時監測；流量所占帶寬比較高，會造成當前網絡設

19、備對應端口網關的所有網絡訪問質量下降。需要抓包查看是哪些設備對應的訪問流量較高，決定是加大帶寬還是服務器中毒。網絡拓撲鏈路狀態監測；鏈路狀態異常說明網絡中某個設備異常，需要查看鏈路對應的網絡設備健康狀況，結合其他指標分析問題所在。異常網絡數據包流量、Dos、ddos等網絡攻擊情況監測；存在異常網絡數據流量包等，會導致正常的網絡質量下降，說明網絡可能受到攻擊，需要結合netflow和流量狀況查看異常流量的訪問網段，從路由策略或者防火墻限制該網段的訪問光纖光口光功率、光電口誤碼率大小。光功率值不在光模塊的默認光功率范圍內，會導致光口不可用，可能是光模塊出現故障，需要聯系廠家查看光模塊是否正常5.4

20、 主機、存儲系統運維服務提供的主機、存儲系統的運維服務包括：主機、存儲設備的日常監控，設備的運行狀態監控，故障處理，操作系統維護，補丁升級等內容。進行監控管理的內容包括：CPU性能管理；GPU指標過高，會導致服務器程序運行緩慢，出現卡死狀況。需要查看引起GPU過高原因，做虛機遷移等操作，減輕服務器壓力。內存使用情況管理；內存使用率過大，會導致服務器崩潰，需要及時擴充內存資源，或者回收不再使用的虛機資源。硬盤利用情況管理；硬盤使用率過高，會導致開始啟動失敗，需要定期清理服務器臨時文件，或者擴充服務器硬盤。系統進程管理；服務器關鍵進程運行是否正常，異常會導致服務器崩潰，需要查看進程異常原因。實時監

21、控主機電源、風扇的使用情況及主機機箱內部溫度；電源狀態異常，可能會導致服務器斷電，風扇異常，主機穩定過高會導致服務器重啟，需要與廠商聯系，查看硬件是否正常監控主機硬盤運行狀態；硬盤讀寫狀態等標識硬盤可用性，需要查看是否硬盤壓力過大，考慮更換存儲類型ssd等監控主機網卡等硬件狀態；主機網卡down掉，會影響服務器的網絡訪問，硬件異常會影響服務器正常運行，需要聯系廠商做硬件檢測。監控主機HA運行狀況；災備系統運行異常，會導致HA切換異常，需要查看引起HA異常的原因，是軟件問題還是硬件問題，逐步排除原因。5.5 數據庫系統運維服務提供的數據庫運行維護服務是包括主動數據庫性能管理，數據庫的主動性能管理

22、對系統運維非常重要。通過主動式性能管理可了解數據庫的日常運行狀態，識別數據庫的性能問題發生在什么地方，有針對性地進行性能優化。同時，密切注意數據庫系統的變化，主動地預防可能發生的問題。進行監控管理的內容包括：數據庫基本信息：文件系統、碎片、死鎖、CPU占用率較大或時間較長的SQL語句。存在上面會導致業務訪問緩慢，需要定位那些SQL占用內存較大或者死鎖，針對具體情況進行優化代碼。表空間使用信息監測；表空間占用太大會影響查詢效率，需要優化存儲結構，將集中存儲換為單表文件，索引根據實際業務進行優化，是否需要索引，或者索引刪除重建，或者建立分區表。數據庫文件I/0讀寫情況；數據庫I/0反應數據庫瓶頸，

23、查看引起I/O較大的原因是業務量較大還是服務器I/O現在，更換存儲類型，必要情況下更換內存數據庫等。Session連接數量監控；Session長鏈接數量較大會造成數據庫負載較高，需要考慮將長鏈接更換為短連接。數據庫監聽運行狀態監測；數據庫運行狀態為down會導致業務中斷，查看是業務層還是網絡層引起的問題，如果為網絡層，需要對網絡情況排除，如果為業務層導致，要進行SQL優化。查看每日數據備份、數據同步是否正常；數據庫備份異常，會導致備份數據丟失，對于數據庫遷移，和數據恢復造成不可恢復的影響，需要具體查看引起該問題是數據庫本身還是服務器問題，具體問題具體分析解決。對表和索引進行Analyze,檢查

24、表空間碎片；數據庫表和索引的占用量太大會影響查詢效率，需要調整表結構或者索引刪除重建。數據庫對象的空間擴展情況監測；表空間擴展太快會導致數據庫服務器存儲空間占滿，數據庫down掉等異常情況，需要優化表結構。5.6 云管理平臺運維服務云管理平臺主要包括管理節點、計算節點、存儲節點的運維。同時，實時監控重點虛擬機，保證主要業務不中斷。主要內容包括：ManagementServer狀態及性能監控（cpu、內存、磁盤、io、mysql數據庫、系統及應用日志等）；虛擬化主機agent狀態監控；主存儲及二級存儲使用率監控；數據中心虛擬資源（cpu、內存、磁盤）使用量監控；單臺計算節點cpu、內存分配及實際

25、使用量監控；單臺存儲節點硬盤分配及實際使用量監控；虛擬機模版、網絡、方案策略制定；系統虛擬機、虛機路由狀態監控；非計費用戶閑置虛擬資源回收；用戶資源審批、賬戶充值及余額管理；虛擬機外網網絡及端口開通；計算節點主機及存儲節點擴容；5.7 運維工具監控工具實驗室選用開源運維工具Zabbix，Zabbix是一個基于WE界面的提供分布式系統監控以及網絡監控功能的企業級開源運維平臺，也是目前國內互聯網用戶中使用最廣的監控軟件。Grafana-zabbix展示效果入門容易、上手簡單、功能強大并且開源免費是對Zabbix的最直觀評價。Zabbix易于管理和配置，能生成比較漂亮的數據圖，其自動發現功能大大減輕

26、日常管理的工作量，豐富的數據采集方式和API接口可以讓用戶靈活進行數據采集，而分布式系統架構可以支持監控更多的設備。理論上，通過Zabbix提供的插件式架構，可以滿足企業的任何需求。優點：1. 支持多平臺的企業級分布式開源監控軟件;2. 安裝部署簡單、管理方便;3. 功能強大，監控靈活，可實現復雜多條件告警;4. 多種數據采集插件，靈活集成;5. 自帶畫圖功能，得到的數據可以繪成圖形;6. 同時支持調用腳本，很方便;7. 提供多種API接口，定制化最高的監控軟件；8. 出現問題時可自動遠程執行命令（需對agent設置執行權限）;缺點：1. 項目批量修改不方便;2. 社區雖然成熟，但是中文資料相

27、對較少，服務支持有限;3. 入門容易，能實現基礎的監控，但是深層次需求需要非常熟悉Zabbix并進行大量的二次定制開發，難度較大;4. 系統級別報警設置相對比較多，如果不篩選的話報警郵件會很多;并且自定義的項目報警需要自己設置，過程比較繁瑣5. 缺少數據匯總功能，如無法查看一組平均值，需進行二次開發;6. 數據報表需要特殊二次開發定義;實驗室監控體系也有集中式監控擴展到分布式監控，監控系統之間的耦合性逐步降低。在分布式系統中，整個系統有一個監控中心服務器，若干個子監控服務器和被監控對象組成的，每一個子監控服務器負責監控屬于它所屬的子系統，不同的子系統之間也不完全獨立，他們之間的規模也不大，產生

28、的數據也不是很大。這樣就大大減小中心監控服務器的工作壓力。圖：分布式監控架構分布式監控主要分三個層次，最底層是需要監控的節點，他通過啟動snmp服務或者主動發送trapped或者啟動agent進程。收集每個節點的狀態信息，并向監控子服務器發送收集的信息。中間層是proxy服務器層，它負責收集每個節點發送給它的監控信息，然后向中心的監控服務器發送搜集到的監控信息。最上面一層是中心監控服務器，它主要負責收集每個子監控服務器的數據，然后存入數據庫，再通過web服務器發送提供展現、查詢、等服務。分布式的監控結構將大量數據采集的工作分散到每個監控子系統中，從而極大的減少了監控中心服務器的壓力，減少了網絡

29、的負載，但是也可能帶來一定的系統延遲。Zabbix性能優化：性能指標的采集方式根據不同指標類型進行指標分組，如CPUS、內存組、文件系統組、進程組等，每個性能組又對應若干個性能，根據不同用戶對于不同指標關注度不同，指標采集力度也不同，如CP內存等實時度要求比較高的，需要1分鐘采集一次，而對應存儲的硬盤檢測可能趨勢變化不大，所以采集力度可能比較大一周或者一月。而隨著設備量的增加，虛機的擴張變快，zabbix服務器的優化不得不加入考慮，ZZabbixserver的性能同過查看指標，每秒處理數和等待隊列長度Zabbix數據庫調優：a) 使用innodb,為每一張數據庫表使用一個文件，修改my.cfinnodb_file_per_table=1;b) 使用分區表關閉houerkeeper,zabbix_server.conf參數DisableHousekeeper=1;c) 使用分區表，需要建立分區的相關表f配置文件相關樣例如下圖：6、應急服務響應措施運維項目組制定了詳盡的應急處理預案，整個流程嚴謹而有序。但在服務維護過程中，意外