1、支付寶架構魯肅2010年6月精武門課程業務平臺系統架構技術平臺業務架構課程目標快低穩大課程大綱1. 業務架構與業務平臺2. 系統架構與技術平臺3. 架構過程與資源1業務與應用架構支付業務模式資金流支付業務配套模式業務流整體業務與應用架構支付業務模式支付寶行業業務流資金流外內虛實資金流虛實資金在支付寶虛擬賬戶體系中的流轉，體現為支付寶賬戶中的余額變動。資金在現實世界中的流轉，體現為客戶與支付寶銀行賬戶中余額變動，或者現金的轉移。虛實資金流之間存在聯動關系。支付寶銀行簡單資金流舉例 網銀充值客戶賬戶支付寶客戶銀行賬戶銀行支付寶銀存賬戶充值簡單資金流舉例 賬戶內轉賬AB支付寶轉賬/支付簡單資金流舉例

2、 提現(同行，T+1)客戶賬戶支付寶支付寶銀存賬戶銀行客戶銀行賬戶3. 提現1. 凍結2. 解凍 (T+1)簡單資金流舉例 提現(跨行)客戶賬戶支付寶支付寶銀存賬戶打款銀行客戶銀行賬戶提現清算中心銀行復雜資金流舉例 公共事業繳費繳費資金歸集賬戶支付寶付款銀行繳費賬戶1. 充值繳費合作銀行客戶銀行賬戶支付寶銀存賬戶公共事業單位賬戶公共事業單位賬戶公共事業單位賬戶3. 提現繳費單位銀行2. 墊資復雜資金流舉例 COD物流公司收款過渡戶支付寶買家賬戶賣家賬戶交易分潤中間賬戶物流公司收入賬戶支付寶收入賬戶買家物流公司銀行賬戶現金1. 充值2. 轉賬3. 轉賬4. 轉賬5. 轉賬7. 轉賬支付寶銀存賬戶

3、簽收員淘寶收入賬戶6. 轉賬資金流處理的系統模式收銀臺清 算賬 務會 計核算銀行接入平臺業務系統支 付銀行系統虛資金流處理實資金流處理虛實資金流聯動業務流資金流聯動資金處理平臺賬務會計賬務系統賬務交易流水記賬憑證分戶賬戶 (外)會計系統會計分錄流水分戶賬戶(內)內部分戶歷史日余額外部分戶歷史日余額科目匯總消息系統分戶日余額日切日結實時記賬異步準實時登記會計分錄日終子系統賬務查詢報表分錄子系統記賬子系統業務系統支付清算支付系統充值協議提現協議內轉協議充退協議支付指令清算系統消息系統清算指令網銀接入卡通接入銀企直聯其它銀行接入方式實時處理文件處理渠道管理異步清算處理同步清算處理賬務系統支付請求結果

4、回調文件實時記賬銀行往來任務調度業務系統收銀臺核算中心核算系統銀行流水登記流水歸檔處理流水核算處理消息系統入賬流水登記異步準實時登記入賬流水核算處理子系統核算報表流水登記子系統會計系統銀行流水登記系統銀存待結轉統計業務流支付寶外部企業內外支付寶內部的業務流程，體現為一連串內部系統或人工任務的執行。支付寶外部的業務流程，體現為一連串外部系統或人工任務的執行。內外業務流之間存在聯動關系。簡單業務流舉例 即時到賬交易支付寶下單創建交易交易付款 B2C商戶支付發貨收貨復雜業務流舉例 COD下單攬收付款簽收送貨請求發貨付款給支付寶買家賣家物流提供資金對賬文件創建物流訂單創建交易交易簽收物流訂單清算交易付

5、款與分潤物流訂單收費分潤支付寶外部業務流與資金流聯動 - COD創建物流訂單創建交易交易簽收物流訂單清算交易付款與分潤物流訂單收費分潤支付寶業務流物流公司收款過渡戶支付寶資金流買家賬戶賣家賬戶交易分潤中間賬戶物流公司收入賬戶支付寶收入賬戶1. 充值2. 轉賬3. 轉賬4. 轉賬5. 轉賬7. 收費淘寶收入賬戶6. 轉賬業務流處理的模式 數據申請單產品業務單通知單資金單操作日志內部業務流處理業務資金流聯動內外業務流聯動外部內部平臺業務流處理的模式 數據舉例 交易 交易外部單據產品交易單交易通知交易資金單據交易操作日志內部業務流處理業務資金流聯動內外業務流聯動外部內部平臺產品賬業務流處理的模式 數

6、據舉例 通用代扣 產品代扣記錄代扣資金單據內部業務流處理業務資金流聯動內外業務流聯動外部內部平臺業務流處理的應用系統模式申請單業務單通知單資金單操作日志外部內部平臺內部平臺外部業務單領域與服務層應用層API個人版企業版通知平臺資金處理持久工具支付業務配套模式業務流查詢支付前支付中支付后資金流簽約/解約對賬風控通知營銷數據分析收費產品賬額度權限服務消費記錄個性化差錯處理資損控制支付業務配套實現模式 交易交易系統交易引擎流程引擎規則引擎資金處理產品賬接入商戶通知數據持久收費接入統一事件紅包系統產品賬系統收費系統商戶通知消費記錄溝通(郵件、短信等）商戶查詢積分支付系統風險核查消息系統超時處理業務系統

7、業務系統擔保交易 即時到賬交易 貨到付款交易異步交易事件處理資損核查思考: 平衡穩與快安全、穩定、可伸縮業 務 增 長 與 創 新快穩大平臺航旅傳統虛擬B2C網站會員生活助手金融合作安全內部系統業務線解放平臺支撐兄弟支付寶業務與系統架構發展史2005年1月業務系統2007年1月2005年1月2007年1月淘寶外部B2C網銀卡通標準卡通航旅個人版代發代扣收費企業版網點生活助手信用卡消費卡銀企直聯2008年6月2010年10月二代支付寶業務二代支付寶系統架構建設一代支付寶系統架構建設一代支付寶業務交易服務化賬務服務化會員服務化雙峰一期雙峰二期統一收銀臺網站拆分系統架構發展落后于業務發展2010年4

8、月核心一代支付寶架構圖行業金融合作內部系統（CRM,結算,風控）商業智能賬務淘寶交易網銀卡通外部B2C個人網站會員2007年起至2008年中，交易、賬務、會員三大服務化項目完成，代表一代支付寶架構封頂。業務與應用架構概況產品線基礎核心資金處理平臺客戶信息平臺核心管控行業個人內部系統（CRM,結算,風控）金融合作網銀卡通銀企直聯網點傳統行業虛擬行業航旅B2C收單生活助手會員安全收銀臺支付清算核算中心收費登錄服務賬務會計會員信息商戶信息會員信用兄弟業務平臺行業個人擔保交易代發代扣消費信貸信用支付微支付企業賬戶管理個人賬戶管理積分紅包轉賬MOTO儲值卡無線支付商業智能線下支付海外支付即時到賬交易MP

9、OS安全服務會員等級企業網站個人網站開放平臺二代系統建設局部效果示意淘寶外部B2C網銀卡通航旅代發代扣網點生活助手信用卡消費卡銀企直聯網游淘寶外部B2C網銀卡通航旅代發代扣網點生活助手信用卡消費卡銀企直聯網游支付清算平臺（支付、清算、收銀臺）一代系統二代系統支付業務處理的系統模式API平臺業務單處理支付處理清算處理通信前置賬務會計收費營銷客戶信息銀行支付清算網互聯網商戶風控基礎業務訪問渠道銀行接入產品公共服務收銀臺交易業務架構應用架構2應對技術挑戰高可用可伸縮技術架構原則低成本基礎技術平臺高可用 目標99.99%高可用 策略避免發生降低概率控制影響快速恢復高可用的架構原則1. 無單點設計2.

10、可監控3. 可測試4. 可回滾5. 可禁用6. 短事務與柔性事務7. 異步設計8. 無狀態9. 使用成熟技術10.業務分等級11.業務可降級12.多數據中心部署高可用的設計手段 故障識別服務使用者服務接入流程、任務、決策領域倉儲外部服務資源外部服務領域對象服務代理并發請求重復請求超量請求資源不可用資源響應超時通信中斷外部服務響應超時外部服務違背功能契約BUG處理超時服務不可用請求積壓處理中斷高可用的設計手段 故障應對故障條件應對方式超量請求配額控制重復請求冪等控制并發請求并發控制請求積壓請求丟棄服務/資源響應超時時間控制可恢復通信故障合理重試處理中斷事務/分布事務BUG自檢可伸縮 目標無限伸縮

11、可伸縮 策略數據復制/讀寫分離垂直拆分(按業務類型拆分)水平拆分(按客戶/請求拆分)xzy可伸縮的架構原則1. 無系統單點設計2. 無數據單點設計3. 容量與資源使用可監控4. 異步設計5. 無狀態設計6. 并發控制設計7. 并行運算設計8. 應用與數據的獨立性9. 可復制10.可緩存11.可水平拆分12.多數據中心部署可伸縮設計案例: 交易數據拆分12n1核心交易數據(分表并分庫)交易系統交易處理服務(寫場景)消費記錄系統消費記錄查詢服務(讀場景1)12n2商戶查詢系統消費記錄數據(分表并分庫)商戶查詢與對賬(讀場景2)12n3商戶/平臺商交易數據(分表并分庫)消息系統發布數據變更訂閱數據變

12、更數據緩存會員信息系統會員數據庫12n會員對象緩存業務系統內部二級緩存會員服務客戶端業務應用查詢/更新查詢時，先讀緩存更新時，同步使緩存對象失效可伸縮 - 反例: 不可伸縮的業務設計創建物流訂單創建交易交易簽收物流訂單清算交易付款與分潤物流訂單收費分潤支付寶業務流物流公司收款過渡戶支付寶資金流買家賬戶賣家賬戶交易分潤中間賬戶物流公司收入賬戶支付寶收入賬戶1. 充值2. 轉賬3. 轉賬4. 轉賬5. 轉賬7. 轉賬淘寶收入賬戶6. 轉賬可伸縮: 關注容量、性能與資源使用服務使用者服務提供者服務服務吞吐量伸縮公式伸縮上限單資源吞吐量上限響應時間數據庫消息其它服務其它服務內部服務數據庫訪問量消息量關

13、鍵服務訪問量伸縮公式外部服務外部服務外部服務可伸縮 資源使用舉例 (交易收銀臺)paycifacctranstradepaycoreyzt8x2x系統次數總處理時間(ms)cif8173msacctrans245mstrade1140mspaycore1140msyzt1140ms合計: 13638ms (占比: 85%)低成本 目標更低低成本 策略提高利用率三去業務分級低成本的架構原則1. 廠商中立設計2. 業務分等級3. 異步設計4. 無狀態設計5. 應用與數據的獨立性6. 可復制7. 可緩存8. 可水平拆分9. N+1設計10.多數據中心部署低成本 數據中心面臨的挑戰城市(杭州)IDC-

14、AIDC-BIDC-C (新建)IDC-T (新建)應用50%應用50%應用50%非關鍵應用數據庫100%數據庫100%外部負載均衡數據與應用分布不足，一次業務處理中，應用需要跨IDC訪問很多次集中的數據庫，對時延有極高要求。低成本 多數據中心方向訪問渠道業務處理資金處理松散耦合銀行客戶業務處理業務處理IDC-A1IDC-AiIDC-B1IDC-BjIDC-C1IDC-Ck銀行客戶跨層IDC間松耦合同層IDC間無耦合架構原則匯總技術架構原則高可用可伸縮成本無單點，N+1設計可監控無狀態短事務與柔性事務并發控制異步處理可復制可緩存可回滾、禁用可測試應用與數據獨立可水平拆分計算可并行分級與降級支持多數據中心部署工具產品線展現與前端產品線分布服務產品線數據產品線調度產品線通訊產品線基礎設施產品線管控產品線基礎技術產品線技術平臺架構全局觀業務流查詢資金流簽約/解約對賬差錯處理無單點N+1設計可監控無狀態并發控制異步處理可復制可緩存可回滾可禁用應用與數據獨立可水平拆分計