1、服務(wù)治理在貓眼娛樂的技術(shù)演進之路錄outline01020304貓眼業(yè)務(wù)臨的難點微服務(wù)穩(wěn)定性保障微服務(wù)架構(gòu)演進未來規(guī)劃與探索錄outline01020304貓眼業(yè)務(wù)臨的難點微服務(wù)穩(wěn)定性保障微服務(wù)架構(gòu)演進未來規(guī)劃與探索服務(wù)治理的關(guān)鍵要素系統(tǒng)：確保服務(wù)能夠按照業(yè)務(wù)愿景進運和演進：確保在之上作的程師能夠取得最的舒適感系統(tǒng)人多語業(yè)務(wù)耦合爬惡意流量業(yè)務(wù)洪峰常柔性系統(tǒng)穩(wěn)定性人效貓眼在該領(lǐng)域臨的主要難點數(shù)千萬DAU百億級調(diào)百萬級QPS2017年春節(jié)檔Redis千兆卡打滿帶來的嚴重影響向貓眼過千的服務(wù)，中間件動輒半年以上的版本升級周期舉個栗錄outline01020304貓眼業(yè)務(wù)臨的難點微服務(wù)穩(wěn)定性保障微服務(wù)

2、架構(gòu)演進未來規(guī)劃與探索可治理在貓眼的落地理論架構(gòu)壓測試故障演練容量評估預(yù)案設(shè)置限流熔斷降級報警整體復(fù)盤專項優(yōu)化故障前故障中故障后向故障全命周期進治理 樂觀與悲觀并濟流量下的概率性故障可治理在實際產(chǎn)中的難點與挑戰(zhàn)如何擺脫黑盒運營 的困境？如何解決快速恢 復(fù)導(dǎo)致雪崩？如何無侵入故障 注入？如何應(yīng)對秒殺的挑 戰(zhàn)？Client Side vs Server Side？如何避免有術(shù)無 道的困局？禹 - 可治理中動化的限流、熔斷、降級、隔離、演練、監(jiān)控報警的站式可性保障案禹 - 可治理中預(yù)測與模型共享帶來的0延時體驗輕接使運維升級成本下降70%以上性能的極致優(yōu)化，RT在9us策略復(fù)率90%以上禹 - 系統(tǒng)

3、架構(gòu)無延時輕接入高性能低成本惡意流量檔期來臨演唱會搶票禹 - 限流 - 臨的場景惡意流量2016檔期洪峰2017-2018促銷/秒殺活動2018演出百萬QPS秒殺2019精細化為名單內(nèi)容特征持續(xù)洪峰限流客戶端限流降級預(yù)案單機限流持續(xù)洪峰限流單機限流瞬時洪峰限流Set化策略引擎 任意維度組合 滑動窗計數(shù)特征庫積累 去噪預(yù)測算法 按時批量緩沖 就近多維度緩存 然窗計數(shù)控四化權(quán)衡動態(tài)Ratelimiter流量打平多級組合與降級分析同步化1234禹 - 限流 - 洪峰下準確與實時的場應(yīng)對Tips階段精細化過濾快速熔斷階梯錯誤標準自定 恢復(fù)義更可靠的錯誤 率判斷禹 - 熔斷 - 快速熔斷與階梯恢復(fù)禹 -

4、 演練 - 多維打通型演練余次數(shù)百次故障注覆蓋所有核鏈路發(fā)現(xiàn)近百個問題，含數(shù)個P0級問題整合壓測與 故障演練預(yù)案演練不 影響線上演練全生命 周期管理灰度鏈路常 規(guī)化演練秒級流量探 測多維度圖表自動巡檢流量預(yù)觀察禹 - 監(jiān)控 - 精細化運營錄outline01020304貓眼業(yè)務(wù)臨的難點微服務(wù)穩(wěn)定性保障微服務(wù)架構(gòu)演進未來規(guī)劃與探索HAProxyNginxTengineDubboThriftGrpcServicemesh微服務(wù)架構(gòu)演進 - 如何提升效中心式治理融合式 分散治理貼合式 分散治理有節(jié)制、可插拔、半貼合式的中治理服務(wù)格在貓眼的落地理論架構(gòu)Servicemesh在產(chǎn)環(huán)境應(yīng)的難點與挑戰(zhàn)控制板

5、的邊界如何切割？能下沉帶來新的單體應(yīng)問題如何解決？對業(yè)務(wù)進程零侵現(xiàn)實嗎？交付質(zhì)量如何保障？性能和資源開銷不可忽視如何最程度保障可性？盤古 - 服務(wù)治理中下代的服務(wù)連接、注冊、發(fā)現(xiàn)、中間件管理的站式解決案盤古 - 服務(wù)治理中盤古 - 數(shù)據(jù)平架構(gòu)ResourceStarterTransporterConnectionListenerEventLoopTransportSessionAccept FilterReadWrite FilterProtocolStreamReceiverStreamStreamSenderRouterMatcherLoadBalancerClusterStreamRou

6、terStreamReceiver FilterStreamSender FilterFailoverConnManagerHolderDuplex DefenderHotRestartXDSMetricsBuer ManagementPool ManagementSPIFrameworkServerAdminPicker盤古 - 控制平的切割與優(yōu)化遙測下沉，限流接建流控，解決性能問題服務(wù)注冊與發(fā)現(xiàn)整合，提供完整解決案配置型平MMCP協(xié)議快速接，Pilot零成本數(shù)據(jù)型平和普通應(yīng)致性對待，踐Pet&Cow理論:DWFK8Q:DWFK3XVK3DVVWKURXJK3RUWDO$SSOLFDWLRQ

7、 $3RUWDO$SSOLFDWLRQ %7UDFH3RUWDO3RUWDO2FHDQXV5HJLVWU$WKHQD$WKHQD5HJLVWU5HJLVWU&RQJ6HUYHU5HJLVWU5HJLVWU0HWD6HUYLFH;6 $3,;6 5RXWHU;6 0DSSLQJ;6 $GDSWHU3LORWIPC65543.53.3322.11.71.310.90.70.60.50.50.406000100001500020000tcpudsudsmmap盤古 - 性能優(yōu)化9.69.81010.210.410.610.81110010005000QPS-延時500直連Servicemesh異步S

8、tream通訊模型協(xié)程、字節(jié)、對象資源池化COW & CAS鎖化設(shè)計Payload后置Header+Body復(fù)時間輪單例化處理IPC優(yōu)化探索壓測：0.1ms，灰度：0.5ms穩(wěn)定性：99.9998%CPU：0.8876%MEM: 30.67M研框架RT最較TCP/UDS提升30%盤古 - 全的可性保障CA/PA狀態(tài)機驅(qū)動平滑發(fā)布雙注冊中結(jié)合平滑發(fā)布保活、流量防御、兜底直連多維度灰度、鍵回滾類Eureka我保護Mesh經(jīng)常性發(fā)布業(yè)務(wù)應(yīng)發(fā)布Mesh宕機業(yè)務(wù)灰度注冊中絡(luò)分區(qū)注冊中不可多級緩存場景策略&$&3$33LORW$WKHQD3LORW3LORW$WKHQD5HJLVWU6.6.盤古 - CI/CD閉環(huán)建設(shè)場景初始化智能調(diào)度預(yù)熱、梯度、探頂指標動采集壓測報告動成復(fù)雜拓撲、隨機、概率事件請求響應(yīng)包體伸縮、重啟、宕機流量規(guī)模自動化 性能測試自動化 混沌測試盤古 - 數(shù)據(jù)平“服務(wù)化”三層切割頭尾合井自由拼裝