商業智能的利器–SybaseIQ盧東明技術總監Sybase軟件中國有限公司Tom.lu@BusinessIntelligence

Busi-ness,還是Business?BusinessIntelligence

商業智能（BI）是什么？

商業智能（BusinessIntelligence，BI）系統使組織能夠通過利用客戶、供應商以及內部業務操作的有關信息來提高商業性能。BI系統的最終目標是使用戶能夠消費大量有關數據，對其進行分析從而使企業有機會增加收入或者節省成本。BI系統通常需要從多個來源收集數據——例如整個公司的事務數據庫和諸如客戶關系管理與供應鏈管理的不同相關應用程序。

BI系統集結、組織以及標準化倉庫中的信息，比如數據倉庫和數據集市中的信息。提供分析工具，以支持專家運行數據查詢以及發現模式和潛在的診斷問題。

Business

Intelligence商業智能（BI）無處不在零售業商品廣告促銷的競爭銷售模式競爭管理市場分析客戶評價分析型CRM制造業優化供應鏈流程智能訂單生命周期存貨分析供應商遵從發送分析電信獲得和留住客戶呼叫行為分析擁塞分析服務使用分析促銷效用分析型CRM金融風險管理信用風險貨幣風險資產與負債管理分析型CRM所有行業性能損益P&L分析欺詐監測技術性能分析價值鏈分析分割分析政府保持市民安全國家安全規章的調研欺詐監測犯罪行為分析健康保障欺詐數據倉庫系統發展規律時間業務報表數據倉庫商務智能解決方案第一階段信息管理提供基本、靜態信息固定格式、時間、內容第二階段信息管理建立數據倉庫存儲業務數據建立數據集市解決特定的專題分析提供OLAP和統計分析第三階段信息管理建立客戶為中心的數據倉庫和數據集市集成復雜的管理工具(OLAP,數據挖掘、業務評估)數據的分析影響業務模式集成客戶交流渠道企業CRM更有效的智能化管理

數據倉庫系統三層結構—數據存儲管理是核心數據獲取層數據存儲層數據訪問層其他系統抽取清洗/轉換/加載綜合業務HR/OA信貸數據倉庫數據集市即席查詢預定義報表OLAP數據挖掘查詢人員分析人員EIS人員數據集市元數據OLTP/OLAP異同短小精悍快進快出快速響應事務處理大吞吐量海量數據快速并行計算以查詢為主沒有單一數據庫系統能夠同時滿足OLTP和OLAP類型的數據需求IT瓶頸在哪里？瑞士聯邦技術學院信息及通訊研究所(ETHZürich)的科學家研究發現：I/O瓶頸(或內存儲器存取瓶頸)Speed(Disk)<<speed(RAM)<<speed(CPU)他們預期：CPU速度增長:每年50%內存容量增長:每三年增長4倍Disk吞吐量:過去的十年里只增長了2倍結論：I/O瓶頸惡化普通目標的引擎

不是最優化OLAP引擎為什么選擇SybaseIQ

當你增加數據量、增加用戶數、增加查詢的復雜度時，SybaseIQ可以消除傳統數據庫的限制，仍然能夠保持系統的性能和防止系統失敗不限于用于分析的大量數據（海量數據）不限于大量并發用戶和查詢不限于新應用的發布不限于查詢的復雜性不限于訪問窗口SybaseIQ是一個高優化的分析服務器，在標準硬件平臺和操作系統上，針對極高速分析查詢和報表具有特殊的設計

針對于分析的設計，不是事務的設計–不同于傳統數據庫

非常卓越的查詢性能針對分析型應用具有最低的總擁有成本基于列模式的索引，具有領先的性價比，用于決策支持系統SybaseIQ/content/1035804/SybaseIQ_bloor-report.pdfBloorResearchReport-SybaseIQ,2005;/content/1032408/WinterCorporation2004.pdfWinterCorporationTopTenProgram:SpotlightonSybaseIQ,2004;InfoSizingDWReferenceArchitectureReport,June2004SybaseIQ:速度

快速查詢和加載，垂直存儲數據垂直存儲–每一列分別存儲只存取被查詢使用到的列–降低大量的系統I/O垂直存儲OtherRDBMSSYBASEIQc5c4c3c2c1…c9c8c7c6c5c4c3c2c1…c9c8c7c6r1r2r3r4r5r1r2r3r4r5查詢響應

–以垂直存儲實現快速查詢SybaseIQ:

數據是按列存儲的，而不是按行存儲好處:

只存取查詢所需的數據數據類型是一致的，因而可以很容易被壓縮數據庫易于修改和管理特殊存儲方式

垂直存儲（按列存儲）SybaseIQ–數據大量被壓縮，降低存儲空間和維護成本數據壓縮

–顯著降低存儲空間和維護成本LOADLOADBasetable:0.2-0.5TBIndexes:0.05-0.3TBAggr/Summ:0-0.1TBSummariesAggregates1-2TBIndexes0.5-3TBBasetable“RAWdata”noindexes0.9-1.1TB2.4-6TBTransactionalDBMS加載相同數據:“傳統的數據倉庫”是SybaseIQ數據倉庫的3－6倍

0.25-0.9TB輸入數據:1TB數據源：文件，ETL，復制，ODS9種類型的索引分別針對不同的數據類型和數據特征，以最大效率地發揮索引的優勢。SybaseIQ存儲壓縮實例2005年WinterCorporation世界十大數據倉庫TopTenAwardWinnershttp://原始數據(GB)

NielsenMediaResearch17,969SybaseIQUNIXCentralized/SMPSybaseSunEMC

Yahoo!17,014OracleUNIXCentralized/SMPOracleFujitsuSiemensEMC

DatabaseSize,AllEnvironments,DW*（數據倉庫大小）

公司/組織數據倉庫大小(GB)數據庫操作系統體系結構數據庫廠商系統廠商存儲廠商Yahoo!100,386OracleUNIXCentralized/SMPOracleFujitsuSiemensEMCNielsenMediaResearch17,685SybaseIQUNIXCentralized/SMPSybaseSunEMC數據行數(億)

NielsenMediaResearch5024SybaseIQUNIXCentralized/SMPSybaseSunEMC

Yahoo!3853OracleUNIXCentralized/SMPOracleFujitsuSiemensEMC

為何

SybaseIQ能夠快速增長?

數據爆炸Source:/research/projects/how-much-info-2003/Web174TBonthesurfaceInstantMessaging274TBperyearEmail400,000TBperyearTransactionsGrowing125%peryear數據量TimeSybaseIQ–可伸縮性Multiplex

隨業務需求擴展多路技術結構

–卓越的可伸縮性和靈活性IQCPUCPUMemCPUCPUMemIQCPUCPUCPUMemCPUMemIQCPUCPUMemMemMemMemIQCPUCPUCPUCPUMemMemIQCPUMemCPUMemCPUMemFiberChannel單一的IQ數據倉庫多節點共享訪問只有一個數據存儲無數據分區無分布式鎖管理

每個節點不依賴于其他節點增加服務器和CPUs–TB級磁盤

–近乎無損失的性能ReaderNodesWriterNodeSharedDisks速度快速響應10-100倍的快速查詢響應基于列的存儲結構實時數據訪問無處不索引I/O減少90%可擴展性

適應大量的用戶數同時支持成百上千的用戶數從GB到上百個TB的數據接近實時的新數據裝入—數據倉庫的用戶查詢幾乎不受影響SybaseIQ產品優勢低TCO經濟性30-70%數據壓縮,而不是數據膨脹低成本更少硬件更少的數據存儲設備更少的支持維護人員靈活性開放的標準ANSISQL(ODBC,JDBC)Unix,Linux,Windows任何的查詢任何的schemaWhatOurCustomersSay“…WithSybaseIQ,weprovidesomeoftheworld’slargestassetmanagerstheabilitytoquicklyanalyzemillionsofstockandportfoliotransactions.”

ChrisEscobar,VicePresidentofAnalyticalProducts,ITG“…SybaseIQ

[saves]bothstoragespaceandincreasesthespeed

atwhichdatacanberetrieved.”

LewisWalker,AssistantDirectorforApplicationDevelopment,U.S.SecurityandExchangeCommission“TheIBMandSybaseIQcombinationoffers

unbeatablecost/performance

andgivesS&HSolutionsacompetitiveedgeinretailanalytics.”

SteveRitacco,CTO,S&HSolutions“SybaseIQisour

secretweapon.”

JeffButler,DirectorofResearchDatabases,OfficeofResearch,U.S.InternalRevenueServiceBI應用廣泛強大的、已建立的和快速增長的客戶群在世界上750個地方有1700客戶系統在過去的12個月里，增加145新企業應用MainframeIBMDB2Microsoft