1、南航SVC大數據支撐案例提 綱進一步的的工作系統架構構技術選型型考慮案例說明明數據分散散，形成成數據孤孤島；無無法統一一共享。13456278高端系統統旅客資資料大客戶旅旅客資料料呼叫旅客客資料客艙旅客客資料電子客票票旅客資資料離港旅客客資料銷售旅客客資料客戶統一一視圖系系統（SVC）CustomerLoyalty投訴SeatingInventoryCheck-inFlight DataIrregularOperationsSchedulesGeneralInformationWeight & BalanceTicketingReservations3rd Party呼叫中心B2C離港行李查詢

2、中轉客艙DWET高端大客戶常客SVC通過SVC系統統一一客戶數數據集中訪問問效率不不高，系系統穩定定性不足足，投資資大。SVC初期探索索SVC架構優化化思考及及技術選選型RMDB主要技術術難題擴展困難難并發讀寫寫慢成本高（小型機機+存儲）無法支撐撐海量數數據NoSQL的優點NoSQL的不足大數據量量高性能、高可用用彈性擴展展能力靈活的數數據模型型低成本不完全支支持SQL不支持事事務不支持多多表關聯聯不支持聚聚合查詢詢無法保證證數據一一致性優點點遷移成本本底方案成熟熟穩定能很好的的支撐事事務能保證數數據的完完整性能提供較較高的TPS滿足業務務性能要要求開發成本本低，技技術風險險低有較好的的擴展性

3、性我們的選選擇并發訪問問量高，速度快快，穩定定高效，系統投投資小。系統部署署架構數據庫小型機C檔光纖交換換機光纖交換換機B檔磁盤陣列列磁盤陣列列B檔數據庫軟軟件SVC主備兩套套CBD主備兩套套小型機方方案匯總600萬數據庫PCserver數據庫軟軟件SVC主備兩套套，CBD主備兩套套匯總35萬分布式方方案并發訪問問量高，速度快快，穩定定高效，系統投投資小。投資比較較結果比較較選擇hadoop+hive做分析平平臺高效率：通過分發發數據，hadoop可以在數數據所在在的節點點上并行行地處理理,處理非常常的快速速。高擴容能能力：服務器群群總計可可達數千千個節點點，能可可靠地存存儲和處處理PB級數據

4、。成本低：使用普通通機器組組成的服服務器群群來分發發以及處處理數據據。可靠性：hadoop能自動地地維護數數據的多多份復制制，并且且在任務務失敗后后能自動動地重新新部署計計算任務務。跨平臺：JAVA實現支持持各種平平臺并支支持多種種語言的的MapReduce.A表(30億)+B(2億)表A表做聚合合統計查查詢，時時間5分12秒；A表做數據據清洗，時間12分07秒A表與B表join后做聚合合統計查查詢，時時間14分36秒測試結果果數據分析析平臺架架構業務數據據庫業務系統統數據接口大數據處處理集群群任務調度平臺管理器元數據管理安全管理任務管理集群管理平臺管理平臺監控Hive Devoloper文件

5、管理處理結果導出ETL工具高速數據存取通用數據訪問數據統一管理可配置化無需編程業務處理與hadoop分離12345交易數據據文件/郵件數據據客戶數據據設備/運行數據據大數據處處理平臺臺DatanodeDatanodeDatanodeDatanodeName nodeHDFSETL數據A1A2A1A2A1A2MapReduce任務管理理導入導入數據清洗洗Hadoop可以存貯貯PB級別的數數據，并并且每個個文件在在不同的的機器上上有2份或3份備份，這樣即即使一臺臺機子故故障，將將不會影影響系統統的可用用性。大數據處處理平臺臺大數據存存儲問題題的解決決MySqlHadoop集群ETL工具平臺數據據轉

6、換服服務3、轉換任任務調用用4、數據轉轉換1、數據導導入BI分析BI系統報表查詢詢數據源SVCCBDFFP2、數據導導入Hivemapred5.1、報表生生成5.2、特殊報報表生成成6、報表導出出BI分析效率率的解決決構建開源源數據服服務平臺臺分布式數數據庫中中間件數據庫節節點數據庫節節點數據庫節節點數據庫節節點可擴容至至1024個節點界面化配配置按需擴容靈活緩存存機制：注解式、配置式、編程式、AOP攔截在應用和和底層數數據源之之間，構構建一層層代理，統一數數據層；垂直切分分：數據據按業務務劃分存存儲在不不同的數數據庫，表間關關聯密切切的表劃劃分在一一起，例例如同一一模塊的的表。水平切分分：將

7、同同一個表表中的不不同數據據拆分到到不同的的數據庫庫中；統一數據據訪問API：隱藏后后端復雜雜數據分分布細節節，數據據庫操作作看起來來就像是是在同一一數據庫庫中；建設目標通過分布式集群實現分庫分表，解決大數據支撐問題；利用Galera，在客戶端與MySQL服務器之間抽象出一層“統一數據中間層”，統一數據中間層包含HA功能，以簡化MySQL的高可用環境的構建；實現集群自動管控功能，包括節點增減、監控等；實現數據服務云統一數據據服務平平臺中間間層數據服務務平臺架架構容易引起起:重復研究究法律問題題包版本沖沖突系統不穩穩定技術無法法積累對人員要要求高研發成本本高后續維護護成本高高分享：開源技術統一一

8、管理的的必要性性平臺層視圖層框架層中間件層層js：query、dwr、swato、GWT、prototypeUI控件：Dhtml、jqueryUI、ExtJs、easyuiJSP：velocity、tag、JFSMVC：struts1、struts2、spring、webworkORM：hibernate、ibatis、persist組件：日日志類、工作流流類、XML解釋類、安全類類、緩存存池類、接口服服務類、數據傳傳輸類容器：tomcat、jboss、jetty、apach、nginx消息：activeMq、mule、openESB.集群管理理：zookeeper、heartbeat、lvs

9、、ganglia、NagiosDB：mysql、PostgreSQLNoSQL:hadoop、mongoDB、hive、pig工具：Kettle、sqoop、datax、cobar、Myfox.開源技術推廣和應用開源社區積極推廣，提升項目交付能力，降低IT成本逐步完善和擴展，形成技術積累基于開源社區實現四大統一對選定的技術逐步優化和擴展功能開源技術統一選型公用包統一管理開發框架統一封裝通用組件統一研發分享：開開源技術術管理策策略分享：開源技術術管理方方法公用開源源包用maven進行統一一管理，形成企企業開源源庫占領開源源技術前前沿節約成本本、滿足足業務需需求開源技術術統一選選型開發框架架統一封

10、封裝通用組件件統一研研發產品評估技能評估 法律評估 ROI 評估研發團隊企業開源軟件庫優化完善MVC框架持久化框架UI框架開發規范開發工具推廣實施實現工具具化、模模塊化、規范化化技術選型組件開發組件推廣組件完善組件梳理逐步積累實現重用降低成本提高質量分享：開開源技術術的推進進策略開源實驗驗室技術選型、架構設計、技術研究、產品研發.開源技術研發工作：將技術推廣到每個項目組，每個程序員，讓大家都用起來。技術推廣：提升交付能力：通過積累開源技術能力，達到降低成本，提高效率的目的。分析技術需求、設定技術目標、制定技術規范。規劃與設計：去IOE化降低成本解決性能和大數據問題簡化開源技術降低難度技術規劃與

11、推廣分享：組組織機構構設計技術小組組（虛擬團團隊）開源實驗室研發團隊隊公司領導導項目經理理團隊需求提出出技術發展展規劃規范制訂訂技術評審審開源項目目驗收開源產品品研究、測試、封裝、開發架構師團隊實施推廣團隊架構師技術評估估技術選型型技術目標標制訂架構設計計開源管理理技術文檔檔編寫技術培訓訓技術網站站維護項目技術術支持技術戰略略調配資源源南航推進進軟件開開源化成成果1建立以五五大數據據核心為為基礎的開源化化SOA平臺通過開源源化，已已經完成成旅客信信息、旅旅客行為為、運行行控制信息三大核心數據庫庫及面向SOA核心服務務平臺。2移動化、整合業務務應用端端在企業核核心服務務平臺基基礎上，利用開開源技術術，重新新整合呼叫中心心、地面服服務等應用，面向崗崗位需求求實施移移動化策策略。3建立統一WEB技術架構使用開源源技術，開發可可伸縮性性的統一平臺臺架構，統一移動應用架構，統一WEB應用架構構。4初步形成成JB