京東文件系統簡介劉海鋒QConShanghai2013CopyrightofJD.com為什么自主研發實現技術與經驗正在進行的工作問題與挑戰商品訂單365*數億*~10KB商品圖片幾十億*(20~200KB)庫房記錄365*十億*(KB~MB)各種方案關系數據庫OracleExadata,…Pains–沒法擴容、定期刪除開源存儲系統HDFS、FastDFS、…Pains–難以選型、定制、維護自主研發核心軟件系統可以自主研發Ifyoubelieveyoucan注意事項緊扣業務需求高度定制分期開展第一期不做大而全縮短開發周期，提高ROI系統定位V1:ScalableSystemKey-FileStore特別針對海量小文件強可靠、強一致、高可用Key由系統本身生成可滿足很多業務需求

–Really?V2:supportuser-definedkeysandmore為什么自主研發實現技術與經驗正在進行的工作編程語言的選擇Go寫系統框架，C寫單機存儲引擎各取所長WhyGo?良好性能，高開發效率適合小團隊開發總體架構客戶端Java,C/C++,nginx-based,Go,..ClusterCoordinatorZooKeeperDatanode3datanodes

formareplicagroup1leader+2followers一致、持久的存儲單元通常每磁盤部署一個實例ClustercoordinatordatanodeJavaclientreplicagroupmonitorchecker集群視圖replica-groupId->memberaddresses&weightsWeight標識可讀可寫狀態/jfs-root/datanodes/replicagroup-1/:20130;0:20130;

0:20130;-1…replicagroup-5/

:20130;1758

:20130;

0

:20130;0

…客戶端實現讀寫路由等關鍵邏輯JFSKey舉例jfs/t5/8/10240/10000/A5B8FC33-YReplicaGroup-5Internalkey-8/10240/10000ChunkId/Offset/SizeCRC-A5B8FC33Y-已壓縮JFS復制協議Paxos算法的變體固定成員角色–oneprimary+2followers不做majority-basedleaderelectionFull-quorumreplication二元狀態機-ReplGroupReadyorReplGroupSplitprimaryfollowerfollowerclient單機存儲引擎一組Append-Only文件，無內存索引chunkId/offset/sizeasinternalkey便于Crash-Recovery操作就是做文件同步如何做Garbage-Collection？利用lseek()compact故障處理與恢復兩種類型Fail-RestartFail-Replace統一處理ChunkfilesynchronizationPrimary(corrupted)Follower(restarted)FollowerPrimary(new)PrimaryFollowerBFollowerA可靠性與一致性強一致各個成員均寫入才返回寫成功同一復制組保持數據一致每個數據文件的每個字節強可靠集群宕機、磁盤損壞文件誤刪除或截斷若某個或某兩個數據文件被誤刪，系統自動恢復可用性定義給定一個復制組

若某成員在線則讀可用僅當全體成員在線才可寫整個系統的寫可用性至少一個復制組可寫除非IDC斷網斷電，JFS集群總是可寫可讀因為總是部署很多復制組在不同網段離線模塊Monitor各個datanode的運行時metricsChecker各個復制組的一致性核對磁盤故障的主動檢測datanodemonitorchecker持續優化流水線寫支持大文件透明壓縮針對文本對象，節省帶寬與機器資源客戶端壓縮vs服務端壓縮多數據中心異步復制，客戶端就近讀取通過ErasureCoding降低存儲成本利用訪問時效性性能數字應用舉例商品訂單每年500TB庫房流水記錄每年超過1PB商品圖片近百TB，持續增長消息隊列服務開發中相關工作類似系統Facebook’sHaystackTaobao’sTFSFastDFS、Weed-FS、…JingdongFilesystemV1更重要的數據強一致性無單點故障無內存索引透明壓縮,etal.為什么自主研發實現技術與經驗正在進行的工作重新審視需求核心業務的海量小文件交易訂單、商品圖片、庫房記錄、消息隊列…云存儲服務面向私有/公有云的對象存儲服務針對IaaS平臺的持久塊設備存儲對象存儲基本架構ServiceGatewayLoadBalancerDatastoragesubsystemMetadatasubsystemConsistencyMaintainerAccountManagerobjectstorageevolutioninsideJD.com之前版本HDFS作為數據存儲子系統Pains：85%容量是小于1MB的對象MySQLsharding負責元數據管理Pains：manualpartitioning現在版本JFS替換HDFS負責小文件存儲下一版本JFSastheONLYbackendJFS-v2：ScalableDirectories作為對象存儲服務的完整后端Bucket->DirectoryJFSDirectory特性單級目錄，自定義文件名與屬性單個目錄內文件數不限支持目錄內prefix/range查詢、有序遍歷JFSasthecompletebackend(tinyfiles,bigfiles,directories)ServiceGatewayLoadBalancerConsistencyMaintainerAccountManagerJFS-v3：Block-deviceFiles預分配、定長、獨占寫在此基礎上提供持久塊存儲服務JFSasthebackendPhysicalHostVMVMVMVolumeManager愿景統一的存儲后端，提供不同產品抽象內部各子系統有獨立的復制協議與存儲引擎JingdongFilesystemBlockdeviceinterfacePrivateClientLibrariesPublicobject