文件存儲虛擬化李欣F5售前顧.li@文件存儲虛擬化李欣文件存儲系統(tǒng)存在的問題如何解決問題虛擬化文件存儲系統(tǒng)議程文件存儲系統(tǒng)存在的問題議程對于文件存儲，您最頭疼的問題是什么？3Source:TheInfoProStorageStudyQ1,2007F5ARX幫助您解決這些問題對于文件存儲，您最頭疼的問題是什么？3Source:The存儲的架構(gòu)混亂4存儲的架構(gòu)混亂4NAS存儲已經(jīng)成為系統(tǒng)的瓶頸1984年制定的NFS協(xié)議標(biāo)準(zhǔn)已經(jīng)不能滿足今天的性能要求即使在一個(gè)10Gbps的網(wǎng)絡(luò)上，現(xiàn)有的NFS3.0運(yùn)行起來也就和在一個(gè)1Gbps網(wǎng)絡(luò)上的性能差不多NFS4.1(pNFS)還是在一個(gè)未來中當(dāng)NFSMount客戶端點(diǎn)超過16個(gè)的時(shí)候，性能將急劇下降高端的NAS服務(wù)器每秒鐘能執(zhí)行10萬次I/O操作，但其價(jià)格已經(jīng)很難接受5NAS存儲已經(jīng)成為系統(tǒng)的瓶頸1984年制定的NFS協(xié)議標(biāo)準(zhǔn)已用磁帶存儲還是用磁盤存儲HPLTO4Ultrium磁帶(C7974A)800GB500元IBMLTO4(46C5359)800GB680元希捷（Seagate）1TBST31000525SV7200轉(zhuǎn)32MSATAII監(jiān)控級硬盤719元西部數(shù)據(jù)（WesternDigital）1TBWD1000FYPS7200轉(zhuǎn)16MSATAII綠色環(huán)保企業(yè)級盒裝硬盤7*24880元6磁帶存儲的優(yōu)點(diǎn)是容量大，缺點(diǎn)是存取速度慢硬盤存儲的優(yōu)點(diǎn)是速度快，缺點(diǎn)是。。。用磁帶存儲還是用磁盤存儲HPLTO4Ultrium磁帶(文件存儲空間需求的快速增長大多數(shù)企業(yè)的文件存儲空間是以倍數(shù)以上的每年增長新的富媒體文件如圖片、視頻等導(dǎo)致存儲空間需求急劇增大法規(guī)遵從使企業(yè)必須保留多年的數(shù)據(jù)隨時(shí)備查Web2.0的興起導(dǎo)致了文件存儲空間需求呈指數(shù)方式上升7文件存儲空間需求的快速增長大多數(shù)企業(yè)的文件存儲空間是以倍數(shù)以不同廠商的不同產(chǎn)品平臺企業(yè)在發(fā)展的過程中，必然的會(huì)采購有不同廠家的存儲產(chǎn)品存儲產(chǎn)品的特性導(dǎo)致每個(gè)廠家基本上都采用封閉的解決方案一旦采用某一廠家的產(chǎn)品，將來的擴(kuò)容、備份、遷移、復(fù)制等職能采用同一廠家的產(chǎn)品8不同廠商的不同產(chǎn)品平臺企業(yè)在發(fā)展的過程中，必然的會(huì)采購有不同如何省錢！！！！經(jīng)濟(jì)危機(jī)大環(huán)境下，必然承受的壓力如何有效的使用現(xiàn)有的存儲資源如何避免存儲設(shè)計(jì)的30%法則，提高資源的利用率？當(dāng)硬盤價(jià)格已經(jīng)跌倒1元1GB的時(shí)候，您的存儲是多少元1GB？9如何省錢！！！！經(jīng)濟(jì)危機(jī)大環(huán)境下，必然承受的壓力9如何解決問題？10如何解決問題？10基于軟件的分布式文件虛擬化存儲lustre,hadoop,pNFS,Moosefs,GFS,DFS,StorageX,Rainfinity11基于軟件的分布式文件虛擬化存儲lustre,hadoop,p基于硬件的文件虛擬化存儲F5ARX12VirtualIP“VirtualVolumeManager”RoutesvirtualpathtophysicalpathVirtualVolumeNetAppVolume

EMCVolume

NASVolume

Applications,Usersarx:/eng/project1/spec.docarx:/eng/project1/record.mp3arx:/eng/project1/specold.doc

VirtualPathna:/vol/vol1/project1/spec.docPhysicalPathemc:/vol/vol2/project1/record.mp3win:/vol/vol3/project1/specold.doc基于硬件的文件虛擬化存儲F5ARX12VirtualIP兩種方式的比較軟件分布式存儲硬件虛擬化存儲數(shù)據(jù)完整性不完整，通常采用link方式或者文件分塊方式存放完整，對于單個(gè)文件完整存放，不采用link數(shù)據(jù)可恢復(fù)性一旦管理服務(wù)器崩潰，無法恢復(fù)數(shù)據(jù)只需要重新掃描文件系統(tǒng)性能高，但受限于客戶端代理的性能和管理服務(wù)器性能高，但受限于硬件芯片的吞吐能力可靠性低，核心系統(tǒng)的可靠性取決于操作系統(tǒng)和服務(wù)器硬件高，專用設(shè)計(jì)的硬件芯片穩(wěn)定、可靠技術(shù)支持開源軟件沒有技術(shù)支持廠商提供專業(yè)技術(shù)支持功能擴(kuò)展性單一，只針對分布式存儲豐富，可實(shí)現(xiàn)分級存儲、動(dòng)態(tài)遷移、遠(yuǎn)程復(fù)制等多項(xiàng)功能客戶端Agent必須通過客戶端Agent截獲操作系統(tǒng)的文件讀寫不需要安裝客戶端軟件13兩種方式的比較軟件分布式存儲硬件虛擬化存儲數(shù)據(jù)完整性不完整，構(gòu)建高性能穩(wěn)定可靠的虛擬化文件存儲系統(tǒng)14構(gòu)建高性能穩(wěn)定可靠的虛擬化文件存儲系統(tǒng)14F5硬件文件存儲交換機(jī)ARX架構(gòu)采用專用的硬件芯片處理數(shù)據(jù)流量采用高性能多核CPU管理MetaData信息15ClientsNASandFileServersAdaptiveResourceSwitchTransactionLogControlPathRemotetransactionlog(mirror)LocalControlPathManagementDataPath(FastPath)F5硬件文件存儲交換機(jī)ARX架構(gòu)采用專用的硬件芯片處理數(shù)據(jù)流實(shí)現(xiàn)負(fù)載均衡的NAS集群通過ARX，可以把多臺NAS集合起來，整體對外提供更高的I/O讀寫性能和吞吐率16ARX實(shí)現(xiàn)負(fù)載均衡的NAS集群通過ARX，可以把多臺NAS集合起來分級文件存儲/歸檔管理/DD近線存儲通過ARX，可以輕松的實(shí)現(xiàn)文件歸類存儲、分級存儲、歸檔管理使用大容量的廉價(jià)存儲空間，使近線存儲的成本降低通過使用DataDeDup存儲設(shè)備，可以進(jìn)一步降低二級存儲成本對于客戶端而言，原有的存儲結(jié)構(gòu)沒有任何變化17ARX分級文件存儲/歸檔管理/DD近線存儲通過ARX，可以輕松的實(shí)關(guān)于數(shù)據(jù)遷移通過ARX文件虛擬化存儲，可以實(shí)現(xiàn)在線的數(shù)據(jù)遷移無需進(jìn)行冗長的遷移規(guī)劃無需進(jìn)行多次增量拷貝18ARX關(guān)于數(shù)據(jù)遷移通過ARX文件虛擬化存儲，可以實(shí)現(xiàn)在線的數(shù)據(jù)遷移關(guān)于災(zāi)備站點(diǎn)復(fù)制當(dāng)在生產(chǎn)中心和備份中心都部署ARX的時(shí)候，可以通過ARX實(shí)現(xiàn)自動(dòng)數(shù)據(jù)復(fù)制可支持不同品牌的后端NAS設(shè)備支持NFS和CIFS支持文件增量復(fù)制19關(guān)于災(zāi)備站點(diǎn)復(fù)制當(dāng)在生產(chǎn)中心和備份中心都部署ARX的時(shí)候，可如何省錢？存儲設(shè)備節(jié)省：二級存儲可以采用廉價(jià)的大容量存儲方案備份的費(fèi)用節(jié)省：可以為二級存儲設(shè)定更長時(shí)間的全備份窗口系統(tǒng)空間利用率提高：可以突破30%的設(shè)計(jì)界限，使系統(tǒng)可以使用更高的存儲空間利用率擴(kuò)展的成本節(jié)省：不再受限于單一廠家的擴(kuò)容方案功能擴(kuò)展成本節(jié)省：不用單獨(dú)購買歸檔軟件、數(shù)據(jù)遷移軟件、遠(yuǎn)程復(fù)制軟件管理運(yùn)維成本節(jié)省：在線數(shù)據(jù)遷移無需中斷業(yè)務(wù)，在線擴(kuò)容、在線移動(dòng)文件20如何省錢？存儲設(shè)備節(jié)省：二級存儲可以采用廉價(jià)的大容量存儲方案智能文件虛擬化簡化數(shù)據(jù)管理90%使用率10%使用率AB文件存儲虛擬化AB存儲孤島復(fù)雜靜態(tài)映射簡化數(shù)據(jù)管理增加IT靈活度去減少存儲成本智能文件虛擬化簡化數(shù)據(jù)管理90%使用率10%使用率AB文分級存儲降低存儲投入成本

20%熱點(diǎn)數(shù)據(jù)80%非熱點(diǎn)數(shù)據(jù)A25TBTier1$10/GB總成本=$250KA5TBB20TB文件存儲虛擬化Tier1$10/GBT1成本=$50KTier2$1/GBT2成本=$20K總成本=$70K削減50％以上的存儲成本分級存儲降低存儲投入成本

20%熱點(diǎn)數(shù)據(jù)ATier1優(yōu)化備份減少備份數(shù)據(jù)和成本

每周全備份，保留四周100TB磁帶備份$0.75/GB$75K磁帶備份成本.A25TB20%熱點(diǎn)數(shù)據(jù)80%非熱點(diǎn)數(shù)據(jù)A5TBB20TB文件存儲虛擬化熱點(diǎn)文件90天內(nèi)訪問的非熱點(diǎn)文件90內(nèi)未訪問的每周全備份，保留四周20TB磁帶備份$0.75/GB$15K磁帶備份成本.減少備份成本80%以上備份和恢復(fù)的時(shí)間節(jié)省優(yōu)化備份減少備份數(shù)據(jù)和成本

每周全備份，保留四周A20%現(xiàn)有存儲資產(chǎn)的最大化利用

90%使用率10%使用率A10TBB10TB存儲孤島ABA10TBB10TB文件存儲虛擬化20TBAB\\WinA\sharedX\\WinB\sharedY“sharedX”“sharedY”90%使用率10%使用率合理設(shè)備使用率減緩新采購有效的利用現(xiàn)有的存儲資源

減緩新存儲設(shè)備的采購\\org_name\sharedX\\org_name\sharedY現(xiàn)有存儲資產(chǎn)的最大化利用

90%使用率10%使用率AB存透明平滑的NAS合并和數(shù)據(jù)遷移ABAB\\WinA\sharedX\\WinB\sharedY“sharedX”“sharedY”NAS無中斷、透明遷移幾乎零宕機(jī)時(shí)間靈活遷移日程安排A10TBB10TB文件存儲虛擬化ABNAS減小遷移時(shí)間，數(shù)據(jù)遷移時(shí)減少資源占用率在90%以上透明平滑的NAS合并和數(shù)據(jù)遷移ABAB\\WinA\sha關(guān)于性能對比于業(yè)界目前能查到的最高性能NAS：并行I/O的主要好處是它可以提供很高的應(yīng)用性能和巨大的可調(diào)整性。“BlueArc的Titan3200的速度性能可以達(dá)到1.6GBps，I/O性能可達(dá)到380KIOPS。26ARX-1000400MBytes/Sec400MFiles100KOps/SecARX-500100MBytes/Sec400MFiles25KOps/SecScalePerformanceARX-40001GByte/Sec2BFiles300KOps/Sec10GbARX-6000關(guān)于性能對比于業(yè)界目前能查到的最高性能NAS：并行I/O的主ARX存儲架構(gòu)介紹課件文件存儲虛擬化李欣F5售前顧.li@文件存儲虛擬化李欣文件存儲系統(tǒng)存在的問題如何解決問題虛擬化文件存儲系統(tǒng)議程文件存儲系統(tǒng)存在的問題議程對于文件存儲，您最頭疼的問題是什么？30Source:TheInfoProStorageStudyQ1,2007F5ARX幫助您解決這些問題對于文件存儲，您最頭疼的問題是什么？3Source:The存儲的架構(gòu)混亂31存儲的架構(gòu)混亂4NAS存儲已經(jīng)成為系統(tǒng)的瓶頸1984年制定的NFS協(xié)議標(biāo)準(zhǔn)已經(jīng)不能滿足今天的性能要求即使在一個(gè)10Gbps的網(wǎng)絡(luò)上，現(xiàn)有的NFS3.0運(yùn)行起來也就和在一個(gè)1Gbps網(wǎng)絡(luò)上的性能差不多NFS4.1(pNFS)還是在一個(gè)未來中當(dāng)NFSMount客戶端點(diǎn)超過16個(gè)的時(shí)候，性能將急劇下降高端的NAS服務(wù)器每秒鐘能執(zhí)行10萬次I/O操作，但其價(jià)格已經(jīng)很難接受32NAS存儲已經(jīng)成為系統(tǒng)的瓶頸1984年制定的NFS協(xié)議標(biāo)準(zhǔn)已用磁帶存儲還是用磁盤存儲HPLTO4Ultrium磁帶(C7974A)800GB500元IBMLTO4(46C5359)800GB680元希捷（Seagate）1TBST31000525SV7200轉(zhuǎn)32MSATAII監(jiān)控級硬盤719元西部數(shù)據(jù)（WesternDigital）1TBWD1000FYPS7200轉(zhuǎn)16MSATAII綠色環(huán)保企業(yè)級盒裝硬盤7*24880元33磁帶存儲的優(yōu)點(diǎn)是容量大，缺點(diǎn)是存取速度慢硬盤存儲的優(yōu)點(diǎn)是速度快，缺點(diǎn)是。。。用磁帶存儲還是用磁盤存儲HPLTO4Ultrium磁帶(文件存儲空間需求的快速增長大多數(shù)企業(yè)的文件存儲空間是以倍數(shù)以上的每年增長新的富媒體文件如圖片、視頻等導(dǎo)致存儲空間需求急劇增大法規(guī)遵從使企業(yè)必須保留多年的數(shù)據(jù)隨時(shí)備查Web2.0的興起導(dǎo)致了文件存儲空間需求呈指數(shù)方式上升34文件存儲空間需求的快速增長大多數(shù)企業(yè)的文件存儲空間是以倍數(shù)以不同廠商的不同產(chǎn)品平臺企業(yè)在發(fā)展的過程中，必然的會(huì)采購有不同廠家的存儲產(chǎn)品存儲產(chǎn)品的特性導(dǎo)致每個(gè)廠家基本上都采用封閉的解決方案一旦采用某一廠家的產(chǎn)品，將來的擴(kuò)容、備份、遷移、復(fù)制等職能采用同一廠家的產(chǎn)品35不同廠商的不同產(chǎn)品平臺企業(yè)在發(fā)展的過程中，必然的會(huì)采購有不同如何省錢！！！！經(jīng)濟(jì)危機(jī)大環(huán)境下，必然承受的壓力如何有效的使用現(xiàn)有的存儲資源如何避免存儲設(shè)計(jì)的30%法則，提高資源的利用率？當(dāng)硬盤價(jià)格已經(jīng)跌倒1元1GB的時(shí)候，您的存儲是多少元1GB？36如何省錢！！！！經(jīng)濟(jì)危機(jī)大環(huán)境下，必然承受的壓力9如何解決問題？37如何解決問題？10基于軟件的分布式文件虛擬化存儲lustre,hadoop,pNFS,Moosefs,GFS,DFS,StorageX,Rainfinity38基于軟件的分布式文件虛擬化存儲lustre,hadoop,p基于硬件的文件虛擬化存儲F5ARX39VirtualIP“VirtualVolumeManager”RoutesvirtualpathtophysicalpathVirtualVolumeNetAppVolume

EMCVolume

NASVolume

Applications,Usersarx:/eng/project1/spec.docarx:/eng/project1/record.mp3arx:/eng/project1/specold.doc

VirtualPathna:/vol/vol1/project1/spec.docPhysicalPathemc:/vol/vol2/project1/record.mp3win:/vol/vol3/project1/specold.doc基于硬件的文件虛擬化存儲F5ARX12VirtualIP兩種方式的比較軟件分布式存儲硬件虛擬化存儲數(shù)據(jù)完整性不完整，通常采用link方式或者文件分塊方式存放完整，對于單個(gè)文件完整存放，不采用link數(shù)據(jù)可恢復(fù)性一旦管理服務(wù)器崩潰，無法恢復(fù)數(shù)據(jù)只需要重新掃描文件系統(tǒng)性能高，但受限于客戶端代理的性能和管理服務(wù)器性能高，但受限于硬件芯片的吞吐能力可靠性低，核心系統(tǒng)的可靠性取決于操作系統(tǒng)和服務(wù)器硬件高，專用設(shè)計(jì)的硬件芯片穩(wěn)定、可靠技術(shù)支持開源軟件沒有技術(shù)支持廠商提供專業(yè)技術(shù)支持功能擴(kuò)展性單一，只針對分布式存儲豐富，可實(shí)現(xiàn)分級存儲、動(dòng)態(tài)遷移、遠(yuǎn)程復(fù)制等多項(xiàng)功能客戶端Agent必須通過客戶端Agent截獲操作系統(tǒng)的文件讀寫不需要安裝客戶端軟件40兩種方式的比較軟件分布式存儲硬件虛擬化存儲數(shù)據(jù)完整性不完整，構(gòu)建高性能穩(wěn)定可靠的虛擬化文件存儲系統(tǒng)41構(gòu)建高性能穩(wěn)定可靠的虛擬化文件存儲系統(tǒng)14F5硬件文件存儲交換機(jī)ARX架構(gòu)采用專用的硬件芯片處理數(shù)據(jù)流量采用高性能多核CPU管理MetaData信息42ClientsNASandFileServersAdaptiveResourceSwitchTransactionLogControlPathRemotetransactionlog(mirror)LocalControlPathManagementDataPath(FastPath)F5硬件文件存儲交換機(jī)ARX架構(gòu)采用專用的硬件芯片處理數(shù)據(jù)流實(shí)現(xiàn)負(fù)載均衡的NAS集群通過ARX，可以把多臺NAS集合起來，整體對外提供更高的I/O讀寫性能和吞吐率43ARX實(shí)現(xiàn)負(fù)載均衡的NAS集群通過ARX，可以把多臺NAS集合起來分級文件存儲/歸檔管理/DD近線存儲通過ARX，可以輕松的實(shí)現(xiàn)文件歸類存儲、分級存儲、歸檔管理使用大容量的廉價(jià)存儲空間，使近線存儲的成本降低通過使用DataDeDup存儲設(shè)備，可以進(jìn)一步降低二級存儲成本對于客戶端而言，原有的存儲結(jié)構(gòu)沒有任何變化44ARX分級文件存儲/歸檔管理/DD近線存儲通過ARX，可以輕松的實(shí)關(guān)于數(shù)據(jù)遷移通過ARX文件虛擬化存儲，可以實(shí)現(xiàn)在線的數(shù)據(jù)遷移無需進(jìn)行冗長的遷移規(guī)劃無需進(jìn)行多次增量拷貝45ARX關(guān)于數(shù)據(jù)遷移通過ARX文件虛擬化存儲，可以實(shí)現(xiàn)在線的數(shù)據(jù)遷移關(guān)于災(zāi)備站點(diǎn)復(fù)制當(dāng)在生產(chǎn)中心和備份中心都部署ARX的時(shí)候，可以通過ARX實(shí)現(xiàn)自動(dòng)數(shù)據(jù)復(fù)制可支持不同品牌的后端NAS設(shè)備支持NFS和CIFS支持文件增量復(fù)制46關(guān)于災(zāi)備站點(diǎn)復(fù)制當(dāng)在生產(chǎn)中心和備份中心都部署ARX的時(shí)候，可如何省錢？存儲設(shè)備節(jié)省：二級存儲可以采用廉價(jià)的大容量存儲方案備份的費(fèi)用節(jié)省：可以為二級存儲設(shè)定更長時(shí)間的全備份窗口系統(tǒng)空間利用率提高：可以突破30%的設(shè)計(jì)界限，使系統(tǒng)可以使用更高的存儲空間利用率擴(kuò)展的成本節(jié)省：不再受限于單一廠家的擴(kuò)容方案功能擴(kuò)展成本節(jié)省：不用單獨(dú)購買歸檔軟件、數(shù)據(jù)遷移軟件、遠(yuǎn)程復(fù)制軟件管理運(yùn)維成本節(jié)省：在線數(shù)據(jù)遷移無需中斷業(yè)務(wù)，在線擴(kuò)容、在線移動(dòng)文件47如何省錢？存儲設(shè)備節(jié)省：二級存儲可以采用廉價(jià)的大容量存儲方案智能文件虛擬化簡化數(shù)據(jù)管理90%使用率10%使用率AB文件存儲虛擬化AB存儲孤島復(fù)雜靜態(tài)映射簡化數(shù)據(jù)管理增加IT靈活度去減少存儲成本智能文件虛擬化簡化數(shù)據(jù)管理90%使用率10%使用率AB文分級存儲降低存儲投入成本

20%熱點(diǎn)數(shù)據(jù)80%非熱點(diǎn)數(shù)據(jù)A25TBTier1$10/GB總成本=$250KA5TBB20TB文件存儲虛擬化Tier1$10/GBT1成本=$50KTier2$1/GBT2成本=$20K總成本=$70K削減50％以上的存儲成本分級存儲降低存儲投入成本

20%熱點(diǎn)數(shù)據(jù)ATier1優(yōu)化備份減少備份數(shù)據(jù)和成本

每周全備份，保留四周100TB磁帶備份$0.75/GB$75K磁帶備份成本.A25TB20%熱點(diǎn)數(shù)據(jù)80%非熱點(diǎn)數(shù)據(jù)A5TBB20TB文件存儲虛擬化熱點(diǎn)文件90天內(nèi)訪問的非熱點(diǎn)文件90內(nèi)未訪問的每周