分布式應用無銀彈董健 1互聯網應用/企業應用那些事 2分布式為彈性應用解困3分布式平臺的核心要素設計剖析342008奧運首次訂票12306“互聯網思維”2B應用SaaS避免蓋棺定論問題一直都在托翁法則2008奧運首次訂票12306“互聯網思維”2B應用SaaS避免蓋棺定論問題一直都在托翁法則“舍得”建設性改良0~1VS1~100顛覆逆襲企業應用?capacityplanning?enterprise-scale,carrier-scale?不好的用戶體驗?限定的使用模式 (大型)互聯網應用??商業模式衍生出技術色彩?高用戶量目標?不固定、不可控?快速迭代的沖擊?活難干、沒預算?商業模式推動技術變革彈性架構?完善、靈巧彈性架構?完善、靈巧高效?值得尊敬的兼容性布局彈性可伸縮VS彈性可擁擠彈性的CTO架構迭代資資金的彈性VS規模的彈性彈彈性的開發人員功功能迭代彈性應用的范疇前端鏈路后端數據庫負載均衡運行容器數據交換數據存儲式平臺內部實現需求原理設計思想具體實現深入了解現有平臺評估自研、改造 1互聯網應用/企業應用那些事 2分布式為彈性應用解困3分布式平臺的核心要素設計剖析34彈性應用面臨的困境OLTPOLTP(1+1=?)并并行/分布式計算、大數據會會話型應用(++i)彈性可伸縮高性能高可用高可靠困境中的答案彈性可伸縮高性能高可用高可靠?提升計算節點個數??提升計算節點個數?同一類任務由超過一個CPU完成?摩爾定律“回歸”計算 通過scaleout解脫單一計算節點上無法從硬件無限突破的兩分布式存儲?提升存儲節點個數?維持單位存儲管理成本?編程范式和API支撐?編程范式和API支撐?最少的知識投資?通用、底層、簡單、輕量?杜絕“分布式”設計框架編織進日常生活，直到你無從發現為止”——MarkWeiser運行態開運行態?強大的運行容器，應用透明?多線程/進程/機器透明并發?必殺技：強大的RASP式應用決定如何“分”和“治”有秘訣無銀彈?有秘訣無銀彈?功能和RASP的N?加法變乘法“舍得”?九六四?功能與方案的“舍得”?主動的“舍”?時間/空間上的“舍”?不同應用不同取舍?收放自如的“舍”?不光是智商的問題 1互聯網應用/企業應用那些事 2分布式為彈性應用解困 3分布式平臺的核心要素設計剖析4數據協議話通訊協議可插拔、可擴展、業務透明持久化計算資源間統一可插拔、可擴展、業數據協議話通訊協議可插拔、可擴展、業務透明持久化計算資源間統一可插拔、可擴展、業務透明豐富的數據類型存管理服務實例間通信包便捷的編程模型操作系統明編程范式編程范式PC對話DAMap-Reduce批處理、并行計算語言操作請求服務框架初始化應用初始化路由負載均衡議議框架主循環數據協通訊協請求服務框架初始化應用初始化路由負載均衡議議框架主循環數據協通訊協處理響應應應用服務應用應用框架框架Callback那些事開發工作量出錯幾率運行時靈活度RASP最小程度的新語義引入配置驅動一種框架解決多種業務Map-ReduceBuzword逆向思維，本末倒置簡單粗暴的“分而治之”適合批處理典型的分布式編程模Map-ReduceBuzword逆向思維，本末倒置簡單粗暴的“分而治之”適合批處理請求請求式分布式應用平臺和應用有條件隔離?HTTPSession?容器+運行時VS統一容器請求成本高、并發弱必備負載均衡請求間同步需第三方支持適合OLTP用架構效率用架構效率的分布式模型、靈活、高效、個性化的分布式應用架構服務服務捷開發單的異步小程度入侵態隔離新請求據協議議定服務發現服務衡服務ReliabilityAvailabilityScalability度調用服務運行態(平臺)新請求據協議議定服務發現服務衡服務ReliabilityAvailabilityScalability度調用服務啟啟動動態服務發布/禁用PerformancPerformance據一致性OOA&MMonitoring路由任務分配者數據協調者負載均衡動路由、機器、進程、線程、服務路由任務分配者數據協調者負載均衡動路由、機器、進程、線程、服務應用定制策略配任務點據驅動話驅動應用定制任務分配由和負載信息的共享VSN備份點注冊&數據更新121322典型的數據一致性問題注冊&數據更新121322 1' 1' 2'23'1據疊加更新注冊&數據更新據疊加更新1134數據的一致性時時間窗口數據不一致“噩夢”最需要“秘訣”式系統避的如何同步一寫多讀提高寫性能：開源、節流寫節點的高可用：簡單最美高頻負載數據的同步策略高可用可識別、可容忍、可修復不會引起擁堵管理數據業務數據同步什么調度器依賴于任務粒度盡力運算調度器依賴于任務粒度盡力運算CPU100%操作系統內核任務虛擬化CPU計算資源/能力虛擬化多集群任務調度任任務粒度編程模型決定調度靈活性系統性能統一調度計統一調度函數函數/方法/服務運行掛起時間片分布式計算框架I/O慢速服務阻塞任務步驟請求多多進程多機單線程多線程 1互聯網應用/企業應用那些事 2分布