云計算PaaS平臺的Key-Value服務SinaAppEngine陳磊@simpcl分享內容背景介紹關于SAESAE的整體架構SAE的KVDB服務Key-Value服務的改進背景介紹什么PaaS？PaaS是Platform-as-a-Service的縮寫，意思是平臺即服務。Web開發者認為PaaS=Web運行環境+一堆分布式服務從PaaS實現角度隔離、統計、安全、擴展關于SAE二、SAE不僅僅是PaaS關于SAE三、SAE的發展歷史新浪及合作第三方支持微游戲、微盤、校園微博、Q微博、互聯網的那點事...云計算產品研發計算類服務、存儲類服務、云應用商店、云服務商店、CDN、IaaS平臺...

新浪云計算SinaC2009.112011.5.182011.72010.10.10SinaAppEnginealpha版上線SinaAppEnginealpha2版上線微盤上線SinaAppEngineBeta2版上線正式開放注冊開通支付云應用商店上線2010.22010.9SinaAppEngineBeta版上線SAE誕生TmpFS支持首個公測版本發布SAE的整體架構SAE從架構上采用分層設計，自上而下分別為：反向代理層、路由邏輯層、Web計算服務池、日志和統計中心以及各個分布式服務。SAE的整體架構3.Web計算服務池a.由一些不同特性的Web服務池組成，按照不同的SLA提供不同級別的服務；b.一個Web服務池由一些相同屬性的Web服務器組成，通過前端的反向代理擴展服務能力；c.每臺Web服務器上運行相應的Web運行時環境，其嵌入了相應的SAE沙盒。d.用戶的代碼最終通過相應Web運行時環境的API調用各種服務。SAE的整體架構HTTPServerSandbox連接保護請求統計請求控制libc函數保護（DLL注入）......SAEPHPSandBoxSAEZendSandbox運行環境隔離CPU控制本地I/O限制網絡I/O改造系統級API禁用及修改......SAE的整體架構4.各種分布式服務CronImageTaskQueueMailDeferredJobFetchURLRDCMemcacheXStorageRankTmpFSKVDBCounter計算類服務存儲類服務SAE的KVDB服務SAE的KV存儲服務需求：持久存儲Key-Value數據存儲服務而非存儲引擎支持數據隔離、認證和統計支持讀寫分離服務器宕機自動切換服務可以任意水平擴展支持重平衡、無縫遷移服務API功能豐富、簡單易用SAE的KVDB服務ClientMeteServerInternalDB

DBClustermasterslaveslavemasterslaveslavemasterslaveslave指令流數據流SAEKVDB服務架構圖SAE的KVDB服務SAEKV服務的如何工作？客戶端從WebRuntime中獲取當前請求所屬的appkey；客戶端向MetaServer發出請求，獲取該appkey相應的appname-key到實際存儲節點的映射關系；客戶端根據取得的映射信息訪問相應的存儲節點；SAE的KVDB服務客戶端與MetaServer客戶端可以緩存從MetaServer獲取的信息；會話超時機制以及不可用服務器標記功能；長連接支持，有效的減少到服務端的連接數量；多機房服務器列表，防止機房故障；客戶端與DBServer客戶端通過AppKey來作為自己的身份認證SAE的KVDB服務DBCluster示意圖masterslaveslave......group0masterslaveslave......group1

masterslaveslave......group2

masterslaveslave......groupn

SAE的KVDB服務DBCluster介紹分成多個組；每一組服務器一主多從，Master服務器由組內各服務器投票選舉產生；通過復制，組內的每臺服務器數據完全相同，實現讀寫分離和備份；通過增加服務器組來實現水平擴展；每一組服務器存儲哪些數據由MetaServer決定；SAE的KVDB服務MetaServerClusterMetaServerMetaServerMetaServerInternalDB多臺MetaServer定時獲取InternalDB數據緩存信息并提供查詢服務定時獲取主從信息定時獲取DB節點信息發起重平衡，遷移數據SAE的KVDB服務關于MetaServer的一些問題I.如果保證metaserver的一致性？類paxos算法II.如何觸