HBaseinPractice首先講一下針對(duì)IOIOHBase也有很HDDIOHDDHBaseHBase提供了很多方法，第一個(gè)就是Compaction限流，基本思想就是限制它每秒能寫(xiě)出的數(shù)據(jù)量，在1.1.0版本以上才能使用，對(duì)于1.3.0版本分界線以上以下配置不同，具體配置如上圖所示。你可以設(shè)置其吞吐的上限和下限，也可以設(shè)置平峰期的限制。我們進(jìn)行限流肯定其他的應(yīng)用，如spark等。Flush限流是在1.3.0版本以上支持的，其實(shí)主要的IO來(lái)源就是Compaction和Flush，配置與Compaction比較像。值得注意的是限流不能過(guò)低，如flush就會(huì)delay，內(nèi)存會(huì)膨脹，如果膨脹超過(guò)一定區(qū)域就會(huì)blockingupdate，會(huì)出現(xiàn)寫(xiě)allstoresmainStoreCFflushPer-CFFlush1.1.01.1.0-2.0CFmainStore16Mflushflush。后flushCF現(xiàn)CF過(guò)多，因此也會(huì)有下限值控制，也是16M。使用這個(gè)功能也需要注意，開(kāi)啟這個(gè)功能有很多數(shù)據(jù)是不flush，但是如果出現(xiàn)故障，replay的數(shù)據(jù)會(huì)變多，在HBase中有個(gè)參optionalcacheflushinterval，可以設(shè)置過(guò)多長(zhǎng)時(shí)間強(qiáng)制flush一次，還有一個(gè)flush1.0log都是12塊硬盤，如果用一個(gè)WAL(writeaheadlog)，HDFS是三個(gè)副本，雖然能將吞吐一個(gè)regionserver配置4個(gè)WAL，測(cè)試性能會(huì)提升20%。版本低于1.2.0：replication存在問(wèn)題,vider->multiwall,hbase.wal.regiongrouping.strategy->boundedhbase.wal.regiongrouping.numgroupsWAL是依據(jù)你的盤確定，IO能力是否充足。WALSSDSSDStoragePolicy，但該功能在2.0版本上才有。對(duì)不同的CF設(shè)置不同的Storage需要支持StoragePolicy配置，如果生成的文件都是HDD,會(huì)影響讀取的性能。ONE_SSDHDFSclientSSDbackport。對(duì)于混合磁盤環(huán)境（SSDHDD），WALONE_SSD，CFONE_SSDSSDMergeMVCCandSequenceId能問(wèn)題：branch-1.01.0.3branch-1.4.0ASYNC_WALBucketCachekey1.2.0如果遠(yuǎn)程讀SSD，需要考慮網(wǎng)絡(luò)開(kāi)銷，ONE_SSD策略+HDFS遠(yuǎn)程讀開(kāi)銷尤其大。排隊(duì)時(shí)間。TotalCallTimeRegionServerserverHBaseserver數(shù)據(jù)看起來(lái)沒(méi)問(wèn)題，這種情況需要業(yè)務(wù)debug客戶端的問(wèn)題，例如是否業(yè)務(wù)程序GC，或者客戶端是不是網(wǎng)絡(luò)出口存在擁塞。TotalCallTime等于ProcessCallTime加上TimeserveractivehandlerQueueCallTime請(qǐng)求是從隊(duì)列出來(lái)后處理。ActiveHandler在1.4.0版本以前是沒(méi)有讀寫(xiě)分離監(jiān)控的。讀寫(xiě)分離的好處就是Handler打滿到底是讀出問(wèn)題還是寫(xiě)出問(wèn)題就可以很容易監(jiān)控。RPC隊(duì)列長(zhǎng)度也可以判斷機(jī)器是否出問(wèn)題了，RPC連接數(shù)很高也是消耗系統(tǒng)資源。上圖是我們監(jiān)等這些都會(huì)監(jiān)控。需要說(shuō)明的是對(duì)latency的監(jiān)控，HBase出問(wèn)題到底是文件系統(tǒng)出問(wèn)題故障的話HBase肯定會(huì)受影響，因次對(duì)于putWALsynclatency，對(duì)于get要監(jiān)控HDFSpreadlatency，Scan請(qǐng)求監(jiān)控HDFSreadlatency。對(duì)于HDFSpread/readlatency的監(jiān)控指標(biāo)需要1.4.0版本以上才有。如果發(fā)現(xiàn)Get請(qǐng)求latencyHDFSpreadlatencyHDFS須對(duì)p999高的RegionServer一一排查。第三個(gè)就是內(nèi)存相關(guān)的指標(biāo)，GC相關(guān)的監(jiān)控指標(biāo)對(duì)于排查問(wèn)題作用未必很大（是否存在GCGCPauseTimeWithoutGCGC1.4.0hangCPU等，都會(huì)導(dǎo)致進(jìn)程堵塞。再一個(gè)就是對(duì)BlockCache/MemStoreSize的監(jiān)控，如何監(jiān)控Hfile數(shù)過(guò)多，一方面可以監(jiān)控blockingupdate的頻率，另一方面是看MemStoreSize是否變大了。BlockCache1.3.0datametametablock命中率一般都很高，訪問(wèn)頻率也很高，如果不區(qū)分開(kāi)metadata，cachedatablock65meta率基本是100%。regionserverhandlerregionServerregionstaleRegionServerIO器已經(jīng)出問(wèn)題，因?yàn)槌鰡?wèn)題的請(qǐng)求沒(méi)有匯報(bào)給server，另外如果機(jī)器資源耗盡，新的請(qǐng)求serverservermetrics務(wù)，但是master還是可以服務(wù)。接下來(lái)講一下日志的排查，首先關(guān)于慢請(qǐng)求。如發(fā)現(xiàn)一個(gè)server的999時(shí)間很長(zhǎng)，第一反RegionServerresponseTooSlow會(huì)打印任何有關(guān)processingtime、row等具體信息的，因此請(qǐng)關(guān)注HBASE-16033/HBASE-16972這兩個(gè)JIRA。會(huì)打印詳細(xì)信息，前面一個(gè)截圖是對(duì)普通請(qǐng)scanscanbranch-以上，branch-以上，或1.3.0以上版本。在自己的版本還做了一Upstreamlongprocesstime還是longqueueTimelongprocesstime會(huì)導(dǎo)致一系列的longqueueTime。如果不區(qū)分會(huì)看到很多responseTooSlow，但是你并不知道出現(xiàn)的問(wèn)題是什么。當(dāng)然還需那如果請(qǐng)求處理時(shí)間很接近但未到達(dá)10秒，比如8秒，對(duì)于這種慢請(qǐng)求怎么debug？這regionServerjstackhandlerwaitwaitClientsinglebatchbatchhbasebackoffp