1、P2P在在 EAST數據系統中的應用數據系統中的應用報告人：趙偉豐報告人：趙偉豐導導 師：舒炎泰師：舒炎泰6/29/20062提綱提綱選題背景選題背景研究內容研究內容已完成工作已完成工作將來的工作將來的工作工作時間安排工作時間安排3提綱提綱選題背景選題背景EAST簡介簡介P2P簡介簡介P2P在高性能數據處理中的應用在高性能數據處理中的應用研究內容研究內容已完成工作已完成工作將來的工作將來的工作工作時間安排工作時間安排4EASTExperimental Advanced Superconducting Tokamak5EAST數據系統數據系統On-LineOff-Line基于基于C/S模式模式在

2、線系統在線系統qCAMAC、VXI和和PCI采集子系統采集子系統組成組成 主要負責實時采主要負責實時采集實驗數據，并集實驗數據，并將數據傳輸到數將數據傳輸到數據服務器據服務器離線系統離線系統有多臺數據服務有多臺數據服務器和用戶組成器和用戶組成主要負責實驗數主要負責實驗數據的存儲、顯示據的存儲、顯示和處理和處理6P2P(Peer-to-Peer)一種點對點網絡計算模式一種點對點網絡計算模式所有機器都是一個節點（所有機器都是一個節點（Peer）所有節點地位是對等的，既充當服務器，為其他所有節點地位是對等的，既充當服務器，為其他結點提供服務，同時也享用其他結點提供的服務。結點提供服務，同時也享用其他

3、結點提供的服務。節點之間直接共享和交互資源，不需要任何服務節點之間直接共享和交互資源，不需要任何服務器或者中間介質的轉發。器或者中間介質的轉發。特點：非中心化、可擴展性、健壯性、高性特點：非中心化、可擴展性、健壯性、高性/價比、價比、隱私保護、負載均衡隱私保護、負載均衡7P2P分類分類集中式拓撲結構集中式拓撲結構 Napster分布式拓撲結構分布式拓撲結構 Unstructured GnutellaStructured CAN, Chord, Pastry混合式拓撲結構混合式拓撲結構 KaZzA8集中式集中式 P2PABIndex Server9分布式 P2PAB分布式非結構化拓撲分布式非結構

4、化拓撲q采用隨機洪泛和轉發采用隨機洪泛和轉發qTTL控制消息傳輸控制消息傳輸q健壯性好，擴展性差健壯性好，擴展性差 資源的發現效率低。資源的發現效率低。分布式結構化拓撲分布式結構化拓撲q分布式散列表分布式散列表q較好的擴展性、魯棒較好的擴展性、魯棒性、自組織能力。可以性、自組織能力。可以提供精確的發現。提供精確的發現。qDHT維護機制復雜，維護機制復雜，僅支持精確關鍵詞匹配僅支持精確關鍵詞匹配查詢，無法支持內容查詢，無法支持內容/語義等復雜查詢語義等復雜查詢10混合式混合式 P2PAB114種結構的性能比較種結構的性能比較12P2P的研究熱點的研究熱點對于對于P2P系統的研究熱點主要在分布式系

5、統的研究熱點主要在分布式P2P的搜索機制和可擴展性方面。的搜索機制和可擴展性方面。對于集中式和混合式對于集中式和混合式P2P系統，已在大量系統，已在大量領域進行了廣泛的應用，但缺乏系統的、領域進行了廣泛的應用，但缺乏系統的、定量的研究。定量的研究。13P2P技術在技術在SLAC中的應用中的應用BaBar Copy Program (bbcp)Supports 3rd party copy operations using an agentInstantiate a source node and a target nodeRelay parameters to the source and t

6、argetSourceTargetConnectSend DataAgent14提綱提綱選題背景選題背景研究內容研究內容設計基于設計基于P2P的的EAST數據系統的體系結構數據系統的體系結構基于基于Napster的的EASTNap程序實現程序實現基于基于P2P的的EAST數據系統的性能評價數據系統的性能評價完全分布式完全分布式P2P在在EASTNap數據系統中的應用研究數據系統中的應用研究已完成工作已完成工作將來的工作將來的工作工作時間安排工作時間安排15基于基于P2P的的EAST數據系統的體系結數據系統的體系結構構 設計依據：設計依據：現有現有C/S方式下方式下EAST數據系統的特點數據系統

7、的特點未來未來EAST實驗的設計要求實驗的設計要求P2P技術的特點技術的特點16基于基于Napster的的EASTNap程序實現程序實現 主要實現以下程序：主要實現以下程序：基于基于Napster實現實現EASTNap服務器索引程序服務器索引程序q定義定義EASTNap協議協議q建立索引建立索引Hash表表q實現雙參數（實現雙參數（Shot、Signal）查詢查詢q解決內網訪問問題解決內網訪問問題根據根據EASTNap協議實現采集機端程序協議實現采集機端程序根據根據EASTNap協議實現用戶端程序協議實現用戶端程序17基于基于P2P的的EAST數據系統性能評價數據系統性能評價通過分析和測量獲得

8、一些基本參數通過分析和測量獲得一些基本參數通過建模和仿真等方法對基于通過建模和仿真等方法對基于C/S和和P2P兩兩種方式的種方式的Server的性能進行分析的性能進行分析建立建立testbed對整個系統進行測試對整個系統進行測試18分布式分布式P2P在在EASTNap數據系統中的應用研究數據系統中的應用研究集中式集中式P2P由于索引服務器的存在，使整由于索引服務器的存在，使整個系統的健壯性大大降低。個系統的健壯性大大降低。完全分布式完全分布式P2P則很好的解決了此問題則很好的解決了此問題19提綱提綱選題背景選題背景研究內容研究內容已完成工作已完成工作體系結構的設計體系結構的設計基于基于C/S和

9、和P2P兩種方式的系統性能分析兩種方式的系統性能分析EASTNap程序的初步實現及現場測試程序的初步實現及現場測試將來的工作將來的工作工作時間安排工作時間安排20基于基于P2P的的EAST數據系統的體系結構數據系統的體系結構On_LineOff_Line21C/S和和P2P兩種方式系統性能的分析兩種方式系統性能的分析Data Collection(s)Data available on Servers/ Pees(s)Workstation Complete Processing (s)Final Completion (s)3 CAMAC 7.9 2 VXI 35.2 5 PCI 0 C/S

10、 with 1 servers 157.3127.8 285.1C/S with 2 servers87.363.9151.2C/S with 4 servers58.233.591.7P2P with 10 DAS 35.2 33.5 68.7 22C/S和和P2P兩種方式系統性能的分析兩種方式系統性能的分析C/S Model-M/M/1P2P Model-M/D/11/0.211/0.00461T)(22TC/S Model Result0.11101000.251.252.253.254.254.75Workload(ch/s)Delay (s)P2P Model Result0.001

11、0.010.11101000.2550100150200217.5Workload(ch/s)Delay (s)23EASTNap程序實現及測試結果程序實現及測試結果C/S方式下：方式下：文件上傳文件上傳DataSrv的時的時間間與文件大小的關系與文件大小的關系 P2P方式下：方式下：文件上傳文件上傳IndexSrv的時間的時間與文件大小的關系與文件大小的關系 24EASTNap程序實現及測試結果程序實現及測試結果0100020003000400050006000C/SP2PC/SP2PC/SP2PC/SP2PTime(ms)CompressTransmitC/S和和P2P兩種方式下，采集兩種

12、方式下，采集1s、10s、50s、100s 的文件有效時間的比較的文件有效時間的比較25提綱提綱選題背景選題背景研究內容研究內容已完成工作已完成工作將來的工作將來的工作 對系統性能、參數等進一步分析與仿真對系統性能、參數等進一步分析與仿真 建立建立testbed，對系統進行測試對系統進行測試 完全分布式完全分布式P2P在在EASTNap數據系統中的應用研究數據系統中的應用研究工作時間安排工作時間安排26提綱提綱選題背景選題背景研究內容研究內容已完成工作已完成工作將來的工作將來的工作工作時間安排工作時間安排27工作時間安排2005.10-2006.1閱讀相關文獻，熟悉閱讀相關文獻，熟悉EAST數據系統和數據系統和P2P網絡拓撲結構；網絡拓撲結構；構建基于構建基于P2P的的EAST數據傳輸系統的體系結構數據傳輸系統的體系結構2006.2-2006.4分析分析EAST數據系統的基本參數，數據系統的基本參數，利用實驗室設備和利用實驗室設備和OpenNap軟件建立初步測量軟件建立初步測量P2P參數的環境，完成參數的環境，完成P2P方式下一些基本參數的測量方式下一些基本參數的測量2006.5-2006.7分析分析OpenNap源代碼，按照源代碼，按照EAST數