1、SequoiaDB深度剖析AgendaOverviewHighlighted FeaturesThird-party IntegrationUsecase and Cloud1234我們開源啦！Then: Scale UpNow: Scale OutScale Up / Scale OutDocument-oriented DatabaseRDBMSSequoiaDB db.foo.cl.find()_id: $oid: 55220a6c6ccec0df0f000000,name: Alex Zhang,age: 40,address: city: Beijing,road: XiZhiMen

2、,unit: 31,contact: type: phone,id:type: Email,id: 樣例數據管理從數據節點主數據節點從數據節點App Server協調節點App Server協調節點App Server協調節點SequoiaDB Architecture應用程序編目節點編目節點編目節點從數據節點主數據節點從數據節點從數據節點主數據節點從數據節點通過動態增加復制組 數量達到水平擴張的目的AgendaOverviewHighlighted FeaturesThird-party IntegrationUsecase and Cloud1234(S)數據節點

3、(S)高可用性 hello: “world” hello: “world” 協調節點選舉 hello: “world” 數據節點(P)數據節點(P)支持事務的提交和回滾集群使用二段提交模式當前版本支持UR隔離級別集合級別可指定強一致性或最終一致性級別事務支持事務支持db.cs.cl.insert( key0: 0 )db.transBegin()db.cs.cl.insert( key0: 1 )db.cs.cl.insert( key0: 2 )db.cs.cl.update( key0: 1 , key1: 1 )db.transRollback()db.cs.cl.insert( key

4、1: 0 )db.transBegin()db.cs.cl.insert( key1: 1 )db.cs.cl.insert( key1: 2 )db.cs.cl.insert( key1: 3 )db.transCommit() key0: 0 key1: 0 key0: 1 key1: key1: key0: 1 key0: 2 key1: 2 key1: 3 1, 1 主節點備節點找不到？最終一致性寫入成功主節點備節點找到了強一致性寫入成功重新選舉時的一致性要素 在原主節點宕機，原備節點生主后，如何在其他備節點之間做到數據一致性？ 如果事務開啟，重新選舉機制會回滾未完成事務主備備ABAB

5、C我想當主節點我想當主節點我當前任務號是2我當前任務號是1主我當主了，大家向我看齊同步請求B重新加入集群時的一致性要素 當原主節點恢復，如何將該節點與當前的主節點同步？主C備ABD同步請求我最新的版本號是1備AB我最新的版本號是21版本號最后的步驟為2主AB將2之后的操作回滾一提交我也ready了搞定分布式事務機制 二段提交 協調節點首先發起預提交 當所有數據節點響CoordinatorWorkerWorker大家都ready了木有？okayWorker木有問題，可以鳥那咱們一起提交應成功后，進行統俺搞定了搞定G1G2G3G4G5G6水平擴展0-13641365-27302731-40950-

6、682683-13651366-20482048-273134143415-40962732-db.cs.cl.split(“G1”,”G4”,50)db.cs.cl.split(“G2”,”G5”,50)db.cs.cl.split(“G3”,”G6”,50)20140201My010120140101垂直擴展db.cs.createCL(“My0101”)db.cs.MyHistory.attachCL(“cs.My0101”,UpBound:date:”20140201”,LowBound:date:”20140101”)20140301My02012014020120140401My0

7、3012014030120140501My04012014040120140601My050120140501db.cs.createCL(“My0201”)db.cs.MyHistory.attachCL(“cs.My0201”,UpBound:date:”20140301”,LowBound:date:”20140201”)MyHistorydb.cs.createCL(“My0301”)db.cs.MyHistory.attachCL(“cs.My0301”,UpBound:date:”20140401”,LowBound:date:”20140301”)編目數據數據數據數據數據數據數據

8、中心A（主）編目數據數據數據數據數據數據數據中心B（從）異地災備讀寫只讀同時手工停止每個分區組中的任意節點對該節點所在的文件系統進行備份同時啟動每個分區組中被停止的節點不影響業務操作，業務不感知，無性能副作用備份過程當中可能影響高可用備份恢復 離線備份 使用db.backupOffline命令 離線備份過程當中數據庫為ReadOnly狀態 發送離線備份命令至每個分區組的主節點進行備份操作 在線備份離線備份PSSPSSPSS協調節點db.backupOffline()備份備份備份在線備份PSSPSSPSS協調節點node.stop()備份備份備份node.stop()node.stop()nod

9、e.start()node.start()node.start()性能對比 命令行操作界面 Javascript語法 全圖形化界面部署 狀態監控 數據操作操作界面AgendaOverviewHighlighted FeaturesThird-party IntegrationUsecase and Cloud1234導入導出 支持從JSON和CSV格式進行導入和導出 sdbimprt sdbexprtOracleSequoiaDBsdbimprtsdbexprtCSVC/C+JavaPHP.NETPython驅動對接原生SQL支持通過PostgreSQL支持通過SparkSQL支持通過Hive

10、支持SQL支持Hadoop支持SequoiaDBJDBC/API接口HiveHadoop分布式計算框架HDFS分布式存儲引擎Spark支持SequoiaDBApache Spark StandaloneSparkSQLSparkStreamMLlibGraphXAgendaOverviewHighlighted FeaturesThird-party IntegrationUsecase and Cloud1234 需要高性能的非結構化數據存儲 時間序日志存儲 應用程序日志 傳感器狀態信息 用戶行為畫像分析 用戶行為統計分析 決策樹、樸素貝葉斯等數學分析手段 實時風險管理 基于流處理進行實時任

11、務監控適用場景大數據平臺總體架構大數據平臺總體架構 邏輯功能視圖邏輯功能視圖數據集成數據集成抽取清洗轉換搜集實時流處理實時流處理事件流處理（Event Processing）引擎專家系統（Expert System）（實時決策引擎）元數據加載數據質量管理任務調度與管理基礎設施（服務器、存儲、網絡）基礎設施（服務器、存儲、網絡）線上線上外部外部手機銀行網站社交網站搜索/位置交互數據交互數據線下線下數據源數據源BANCS/BOCSCCMSBOCNETGTSGLHR網上銀行數據服務門戶Ad-Hoc數據挖掘(SandBox)業務監控精準營銷分析門戶欺詐控制實時授信資產負債管理風險管理客戶關系管理平衡計分卡報表與信息查詢搜索/探索數據目錄利潤貢獻度分析復雜分析復雜分析簡單分析簡單分析訪問與性能區訪問與性能區數據挖掘區數據挖掘區文件匯總加工區匯總加工區數據預處理明細查詢明細查詢離線分布式分析明細查詢信息生命周期歷史查詢信息安全半結構化數據大數據分布式存儲與管理 管理管理交易數據交易數據信息分析信息供應Distributed File SystemsRelational文檔多媒體網絡和社交媒體機器生成數據倉庫大數據處理&發現海量非結構化&結構化數據訪問，轉換和存儲數據存儲和管理數據源預測分析(In-Database)分析主題庫（數據集市）數據挖掘文本挖掘統計分析語義分析空間地理分析MapRed