1、利用新硬件提升數(shù)據(jù)庫(kù)性能淘寶中心系統(tǒng)數(shù)據(jù)庫(kù)組 余鋒yufeng新浪微博：淘寶褚霸2019-07-07;Agenda 數(shù)據(jù)庫(kù)軟硬件開(kāi)展趨勢(shì) CPU 內(nèi)存 磁盤(pán) 網(wǎng)絡(luò)2; 數(shù)據(jù)庫(kù)百萬(wàn)TPS不再稀罕！3;MemSQL4MemSQL 1.2 million inserts/second on a 64-core, 1/2 TB of RAM machine;MySQL Cluster5MySQL Cluster 7.2 achieves 4.3BN reads per minute with 30 data nodes2-socket servers using X5670 with Infiniba

2、nd interconnect and 48GB of memory per machine;硬件開(kāi)展迅猛 8 Xeon 7540 CPU，96邏輯CPU 512 GB DDR3 600G SSD *12 萬(wàn)兆網(wǎng)卡6文藝青年的配備文藝青年的配備 2 E5-2420 CPU，24邏輯CPU 96GB DDR3 600G SSD *8 千兆網(wǎng)卡普通青年的配備普通青年的配備;平衡系統(tǒng)計(jì)算數(shù)據(jù)流磁盤(pán)網(wǎng)卡內(nèi)存CPU7;存儲(chǔ)本錢(qián)/性能8CPU內(nèi)存Flash 卡SSD硬盤(pán)容量本錢(qián)/性能;性能必知數(shù)字9L1 cache reference 0.5 nsBranch mispredict 5 nsL2 cach

3、e reference 7 nsMutex lock/unlock 25 nsMain memory reference 100 nsCompress 1K bytes with Zippy 3,000 nsSend 2K bytes over 1 Gbps network 20,000 nsRead 1 MB sequentially from memory 250,000 nsRound trip within same datacenter 500,000 nsDisk seek 10,000,000 nsRead 1 MB sequentially from disk 20,000,0

4、00 nsSend packet CA-Netherlands-CA 150,000,000 ns;Agenda 數(shù)據(jù)庫(kù)軟硬件開(kāi)展趨勢(shì) CPU 內(nèi)存 磁盤(pán) 網(wǎng)絡(luò)10;CPU Scalability11148163264;CPU Scalability12148163264;CPU ScalabilitCache和主存吞吐量020000400006000080000100000120000L1 CacheL2 CacheL3 CacheMemoryreadwritecopy14;Cache和主存延時(shí)15051015202530354045L1 CacheL2 Cache

5、L3 CacheMemorylatencylatency;多核性能惡化緣由16;SandyBridge-E17;SNB-E對(duì)數(shù)據(jù)庫(kù)更友好 6個(gè)CORE，計(jì)算力強(qiáng) 4個(gè)DDR內(nèi)存通道，2個(gè)QPI互聯(lián)，內(nèi)存帶寬足 內(nèi)置PCI-E 通道，IO才干強(qiáng) 更大的L3，Cache更高效18;Agenda 數(shù)據(jù)庫(kù)軟硬件開(kāi)展趨勢(shì) CPU 內(nèi)存 磁盤(pán) 網(wǎng)絡(luò)19;內(nèi)存和外存的差距20毫秒納秒;內(nèi)存和數(shù)據(jù)集1234567891011121321數(shù)據(jù)集超越內(nèi)存;內(nèi)存選擇 來(lái)者不拒，越多越好 本錢(qián)思索，裝下最熱數(shù)據(jù)集 百G以上不奇異22;Agenda 數(shù)據(jù)庫(kù)軟硬件開(kāi)展趨勢(shì) CPU 內(nèi)存 磁盤(pán) 網(wǎng)絡(luò)23;數(shù)據(jù)庫(kù)IO方式 日

6、志文件順序IO，落地為要 引擎盡最大努力把臟數(shù)據(jù)轉(zhuǎn)變成順序IO 引擎不同，數(shù)據(jù)構(gòu)造不同， 差距很大 歷史緣由，傳統(tǒng)數(shù)據(jù)庫(kù)基于IO設(shè)計(jì)，最大內(nèi)存也防止不了IO24;混合存儲(chǔ)模型非易失內(nèi)存Flash硬盤(pán)25;Raid卡26PCIe 2.0 x8Support Up to 128 SATA DevicesDual Core ROC1GB cache;SSD27;Flash卡28PCIe2.0 x8850MB/s(4KB)220,000IOPS(4KB)PCIe2.0 x4ioDriveIOPS:withFlash140,000ReadIOPS,000WriteIOPS;非易失內(nèi)存29PCIe1.1x44KBlockWrites:165,000IOPS4KBlockReads:185,000IOPSDDR3Non-VolatileDIMM8G;Agenda 數(shù)據(jù)庫(kù)軟硬件開(kāi)展趨勢(shì) CPU 內(nèi)存 磁盤(pán) 網(wǎng)絡(luò)30;千兆網(wǎng)卡性能表現(xiàn)3112481632641282565121024204840968192163843276865536bwlat;網(wǎng)卡選擇 網(wǎng)