HotSpotGC調優原理與實踐

肖虎

Agenda內存管理GC算法調優技巧經驗分享內存管理Explicit(例如C)分配內存：malloc釋放內存：free優點高效缺點開發成本高內存管理Auto(例如Lisp、Java、.net、erLang)語言本身來負責內存的分配和回收優點開發效率高避免內存分配bug缺點不可預期的latency內存管理JavaGarbageCollectorMemoryAllocateMemoryFreeGarbageCollectionGarbage:沒有被引用的對象如忘記釋放應該釋放的

引用，就會

造成memoryleakSunJDKMemoryArea-XX:PermSize–XX:MaxPermSize-Xms-Xmx備注：在SunJDK中本地方法棧和方法棧是同一個，因此也可用-Xss控制SunJDKMemoryArea方法棧&本地方法棧線程創建時產生，方法執行時生成棧幀；方法區存儲類的元數據信息、常量、方法代碼等；堆Java代碼中所有的new操作；NativeMemory(CHeap)DirectByteBuffer、JNI、Compile、GC；GCinHotspot備注：通常將對新生代進行的回收稱為MinorGC或YoungGC；對舊生代進行的回收稱為MajorGC，但由于MajorGC除并發GC外均需對整個堆以及持久代進行掃描和回收，因此又稱為FullGC。NewOldCopyingMark-SweeporMark-CompactGenerationalGCmostobjectsaretemp-livedsoJDKdecidesplitheapintotwogenerationstousegcalgorithmproperlyGCinHotspotGenerationalGCGCAlgorithmDetailsTracing–Copying(aspecialcase)圖片來源于JavaOne2010《TheGarbageCollectionMythbusters》Sessionbytony,johnGCAlgorithmDetailsTracing–Copying(aspecialcase)圖片來源于JavaOne2010《TheGarbageCollectionMythbusters》Sessionbytony,johnGCAlgorithmDetailsTracing–Copying(aspecialcase)圖片來源于JavaOne2010《TheGarbageCollectionMythbusters》Sessionbytony,johnGCAlgorithmDetailsTracing–Copying(aspecialcase)圖片來源于JavaOne2010《TheGarbageCollectionMythbusters》Sessionbytony,johnGCAlgorithmDetailsTracing–Copying(aspecialcase)圖片來源于JavaOne2010《TheGarbageCollectionMythbusters》Sessionbytony,johnGCAlgorithmDetailsTracing–Copying(aspecialcase)圖片來源于JavaOne2010《TheGarbageCollectionMythbusters》Sessionbytony,johnGCAlgorithmDetailsTracing–Copying(aspecialcase)onlyneedscanliveobjects,sogcspeedonlydecidedbyldsnofragmentationneedupdateobjectpointerneedkeepanemptymemoryareaEdenS0S1OldGenerationNewGenerationGCAlgorithmDetailsTracing–Mark-Sweep圖片來源于JavaOne2010《TheGarbageCollectionMythbusters》Sessionbytony,johnGCAlgorithmDetailsTracing–Mark-Sweep圖片來源于JavaOne2010《TheGarbageCollectionMythbusters》Sessionbytony,johnGCAlgorithmDetailsTracing–Mark-Sweep圖片來源于JavaOne2010《TheGarbageCollectionMythbusters》Sessionbytony,johnGCAlgorithmDetailsTracing–Mark-Sweep圖片來源于JavaOne2010《TheGarbageCollectionMythbusters》Sessionbytony,johnGCAlgorithmDetailsTracing–Mark-Sweep圖片來源于JavaOne2010《TheGarbageCollectionMythbusters》Sessionbytony,johnGCAlgorithmDetailsTracing–Mark-Sweep圖片來源于JavaOne2010《TheGarbageCollectionMythbusters》Sessionbytony,johnGCAlgorithmDetailsTracing–Mark-Sweepneedscanallobjects,soifjavaheapbecomeslarger,thengcslower可清除所有的Garbage內存碎片，分配低效需要在一定的時機觸發GCAlgorithmDetailsTracing–Mark-Compact圖片來源于JavaOne2010《TheGarbageCollectionMythbusters》Sessionbytony,johnGCAlgorithmDetailsTracing–Mark-Compact沒有內存碎片，分配高效增加了回收需要耗費的時間需要更新所有移動過的object的refpointer需要在一定時機觸發GCAlgorithmSummaryWhygcneedstoptheworld?Mark-Sweep,Mark-Compactifrefchangesornewobjectcreatedwhenmarking;compactneedupdatepointer,so...Copyingcopyingneedupdatepointer,so...GarbageCollectorSerialParallelYGC:ParallelScavenge(PS)FGC:ParallelMSC,ParallelCompactingConcurrentYGC:ParNewFGC:CMS,failthenSerialMSCGarbageCollector-SerialClient模式下默認；可用-XX:+UseSerialGC強制使用。優點對于Server應用而言，沒看出有什么優點缺點慢，不能充分發揮硬件資源GarbageCollector-Serial細節參數-XX:SurvivorRatio=x，控制eden/s0/s1的大小；-XX:MaxTenuringThreshold，用于控制對象在新生代存活的最大次數；-XX:PretenureSizeThreshold=x，控制超過多大字節的對象就在old上分配；GarbageCollector-ParallelGarbageCollector-ParallelServer模式下默認；YGC:PSFGC:ParallelMSC可用-XX:+UseParallelGC或-XX:+UseParallelOldGC來強制指定；ParallelGC代表FGC為ParallelMSCParallelOldGC代表FGC為ParallelCompacting優點高效；缺點當heap變大后，造成的暫停時間會變得比較長。GarbageCollector-ParallelPartialCompactwhenuseParallelOldGCGarbageCollector-Parallel細節參數-XX:SurvivorRatio=x，控制eden/s0/s1的大小，含義為eden:survivorspace；-XX:MaxTenuringThreshold，用于控制對象在新生代存活的最大次數；-XX:-UseAdaptiveSizePolicy，去掉YGC后動態調整eden、from以及tenuringthreshold的動作；-XX:ParallelGCThreads，設置并行的線程數；GarbageCollector-ConcurrentMostly-ConcurrentGCGarbageCollector-Concurrent可用-XX:+UseConcMarkSweepGC來強制指定；優點在對Old進行回收時，對應用造成的暫停時間非常短，適合對latency要求高的應用；缺點需要更多的內存內存碎片和浮動垃圾；Old區上的內存分配效率低；回收的整個耗時比較長；和應用爭搶CPU；GarbageCollector-Concurrent細節參數-XX:CMSInitiatingOccupancyFraction，設置OldGen使用到達多少比率時觸發；-XX:CMSInitiatingPermOccupancyFraction，設置PermGen使用到達多少比率時觸發；-XX:+UseCMSInitiatingOccupancyOnly，禁止hotspot自行觸發CMSGC；MemoryMonitoring內存使用情況Heap&PermGenjstat–gcorjstat–gcutiljmap

–heapCHeaptopMemoryMonitoring誰用了內存Heapjmap–histojmap–dump,thenmat(dump文件太大，windowsmat無法分析，怎么辦？)CHeapgoogleperftoolsMemoryMonitoringGC的狀況YGC/FGC的頻率、耗時、回收的效果jstat–gcutil-XX:+PrintGCDetails–XX:+PrintGCDateStamps–Xloggc:<file>GCChoiceThroughputmoreimportantParallelOldGCLatenciesmoreimportantUsuallyParallelOldGCfirst,ifnotsatisfiedthenCMS.FootprintHeapSizeStartingPointCalculateLiveDataSizeSet–Xms,-Xmxto3xto4xLDSPatternsGoal:降低FGC執行的頻率可選方案增大old；在不放大heap的情況下，可能會造成一些問題；放大heap；盡可能減少從new晉升到old的對象；TenuringThreshold、SurvivorSpaceSize；優化系統性能。PatternsGoal:減小FGC造成的暫停時間可選方案減小Heap；GC換為CMS；升級或增加CPU。PatternsGoal:降低YGC的執行頻率可選方案增大新生代；有可能造成FGC頻繁。優化系統性能。PatternsGoal:縮短YGC造成的暫停時間可選方案減小新生代；有可能會造成new晉升到old的對象增加；增加或升級CPU。ExperiencesCMSGCTuningTenuringThresholdTuningMTT越大，晉升到old的對象可能越少，同時可能會導致YGC耗時變長；MTT越小，晉升到old的對象可能越多，同時可能會使得YGC耗時變短，但也就造成了old的GC更頻繁，對于CMS而言，還會造成更多的內存碎片。Bestbehavior:bytessurvivingperagedecreaseasageincreases.SurvivorSizeTuning當太多對象晉升到Old時，可能會造成YGC耗時變長，此時應考慮適當放大SurvivorSize；ExperiencesCMSGCTuning最重要的不要出現promotionfailed和motionfailed降低觸