HDFS測試報告,Alidw-2011,目的,測試HDFS的IO性能，擴展性，并發性測試fuse_dfs接口的IO性能，并發性衡量HDFS代替MFS的可行性,HDFS相關知識,FUSE相關知識,FUSE（用戶空間文件系統）允許非特權用戶創建功能完備的文件系統，而不需要重新編譯內核。對于讀寫虛擬文件系統來說，FUSE是個很好的選擇。,int(*access)(constchar*,int);int(*chmod)(constchar*,mode_t);int(*chown)(constchar*,uid_t,gid_t);int(*flush)(constchar*,structfuse_file_info*);int(*getattr)(constchar*,structstat*);int(*mkdir)(constchar*,mode_t);int(*mknod)(constchar*,mode_t,dev_t);int(*unlink)(constchar*);int(*truncate)(constchar*,off_t);int(*open)(constchar*,structfuse_file_info*);int(*read)(constchar*,char*,size_t,off_t,structfuse_file_info*);int(*write)(constchar*,constchar*,size_t,off_t,structfuse_file_info*);,HDFS配置,硬件配置DELLPowerEdgeR510CPU：Intel(R)Xeon(R)CPUE55062.13GHz(4CORE)x2MEM：12GBDISK：SATA2T7200 x12ETHERNET：BroadcomCorporationNetXtremeIIBCM5716GigabitEthernet軟件配置OS：RedHatEnterpriseLinux2.6.18-164.el5HADOOP：hadoop-0.20.2FUSE：fuse-2.8.4JDK：1.6.0_23,測試度量,datanode個數：1,2,3測試文件大小：1G,2G,4G,8G,16G,32G,64G讀并發數:1,2,4,8,16,32,64寫并發數:1,2,4,8,16,32,64客戶端數:1,2,3fuse_dfs掛載點數:1,2,測試工具,hdfs_test(c)：測試命令的執行和測試結果的采集,-jobtotalstatus-jobbegin=15:29:06end=15:30:21elapsed=75.00(S)-taskdetailstatus-pid=23690begin=15:29:06end=15:30:20elapsed=74.00(S)pid=23691begin=15:29:06end=15:30:20elapsed=74.00(S)pid=23694begin=15:29:06end=15:30:20elapsed=74.00(S)pid=23696begin=15:29:06end=15:30:20elapsed=74.00(S)pid=23698begin=15:29:06end=15:30:21elapsed=75.00(S)pid=23700begin=15:29:06end=15:30:20elapsed=74.00(S)pid=23702begin=15:29:06end=15:30:21elapsed=75.00(S)pid=23704begin=15:29:06end=15:30:20elapsed=74.00(S)-tasktotalstatus-pnum=8elapsed=594.00(S),測試命令,hdfsclient寫ddif=/dev/zerobs=4096count=%d|hadoopfs-put-%s/%s-%d.dathdfsclient讀hadoopfs-get%s/f%03d.dat-/dev/nullfuse寫ddif=/dev/zerobs=4096count=%dof=%s/%s-%d.datfuse讀ddif=%s/f%03d.datbs=4096of=/dev/null,文件大小對傳輸速率的影響,隨著文件尺寸的增加，執行時間線形增長，傳輸速度比較穩定，一直保持在100M/S左右,文件大小對傳輸速率的影響,通過hdfsclient讀的速度居然比寫的速度要慢一些。而且cache對速率影響也比較大，第二次讀取要比第一次快15%左右。隨著文件大小的增長，傳輸速率有些波動，不過還算是穩定，大概在8990M/S之間。,并行度對傳輸速率的影響,在單臺hdfsclient上，隨著并行度的增加，總的傳輸效率比較穩定，在4個并行的情況下基本達到單塊千兆網卡的極限流量，此時瓶頸在網卡上。對于并行中的每個進程，執行時間也隨著并行度的增加而線形增長。,并行度對傳輸速率的影響,與前一個測試的結果類似,Datanode個數對傳輸速率的影響,1個datanode時候的速率相對快一些，可能是由于結點增多后選擇datanode的算法要更消耗性能吧。,Datanode個數對傳輸速率的影響,讀的情況就沒那么明顯,rep個數對傳輸速率的影響,當rep增加到2的時候，傳輸的速率降低得非常多，因為此時要存儲2份數據。,rep個數對傳輸速率的影響,按理論說rep個數多應該多read有很大幫助，請大家思考為什么這張圖沒有體現？,fuse對傳輸速率的影響,hadoop的文檔介紹使用fuse寫操作會有30%的效率損失，但是實際測試發現fuse的寫速度僅僅有hdfsclient的一半。但是fuse的好處就是為hdfs提供一個極其方便的接口，使用戶感覺不到hdfs的存在。,fuse對傳輸速率的影響,使用fuse讀取的速率比使用hdfsclient要慢大概10%左右，因為fuse會有一定的消耗。不過這點性能損失和fuse帶來的便利性比較起來不算什么。,本地寫對傳輸速率的影響,Dw-dhw-8既是hdfsclient，又是datanode，此時hdfs會直接將block寫到本地磁盤，所以寫入的速度會遠遠超過網卡的限制。,本地寫對傳輸速率的影響,在將rep變成3份的時候，本地寫的效率就沒那么明顯，因為此時還需要將本地寫的數據分布其他兩個節點上。,本地讀對傳輸速率的影響,Dw-dhw-8所需要的block全部能在本地找到，所以此時讀取不需要走網絡，完全可以在本地讀取。,本地讀對傳輸速率的影響,Dw-dhw-8所需要的block有一部分可以在本地找到，而其他只能從其他的datanode獲得，所以此時傳輸速度沒有上一個測試快，但也超過了110M/S,瓶頸1：datanode,此時每個hdfsclient的傳輸速度大概都在52M/S左右，那么對應datanode上的傳輸速度基本在105M/S，基本達到了一個網卡傳輸能力，此時的瓶頸已經在datanode的網卡上了。可見在hdfs的集群中datanode的數量是系統能力很關鍵的因素。,瓶頸1：datanode,瓶頸2：client,在單臺hdfsclient上，隨著并行度的增加，總的傳輸效率比較穩定，在2個并行的情況下基本達到單塊千兆網卡的極限流量，此時瓶頸在網卡上。對于并行中的每個進程，執行時間也隨著并行度的增加而線形增長。,瓶頸2：client,瓶頸3：fuse,這張圖看起來很明顯，當并行度增加到8的時候，寫的速率急劇下降，僅僅是并行度4時候的60%左右。我想我們遇到了新的瓶頸，fuse處理能力的瓶頸。如果你把fuse的log打印出來，就知道此時fuse有多么的忙碌。可見在架構設計的過程中fu