【倚天實例遷移課程】演講材料合集_第1頁
【倚天實例遷移課程】演講材料合集_第2頁
【倚天實例遷移課程】演講材料合集_第3頁
【倚天實例遷移課程】演講材料合集_第4頁
【倚天實例遷移課程】演講材料合集_第5頁
已閱讀5頁,還剩458頁未讀 繼續免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

演講材料合集楊平超平頭哥倚天解決方案架構師倚天710芯片概述02倚天710的主要特點03倚天710應用落地介紹-里云VulcanVulcanCalxeda-里-里云-里云X16X16X16X16X16X16X16X16X16X16X16的指令,前面的電路模塊都可以暫時由-里云字塔模型,如上圖,L1最靠近?預取就是預先把程序需要的數據搬移到緩存中,而不必等到緩存指針追蹤類應用的預取,提升了-里云>Gather-loadandscatter->HorizontalandserializedvectoroperationsinstructionFrequencyCPUutility9.639.599.599.59.5011.97 9.887.179.639.599.599.59.5011.97 9.887.17-里云fps/corefps/core8642 12.759.468.57─7.227.0212468-C8y-x2649.889.639.599.46-C7-x26412.7511.978.577.32AssistedFrequency倚天架構特點:獨享物理corevcpu1vcpu2InstructionInstructionPipelinePipelineYitianvcpu1vcpu2InstructionPipelineAssistedinstructionFrequencyCPUutility倚天架構特點:獨享L1/L2cacheL1/2CacheYitianL1/2CacheL1/2CacheAssistedFrequency3AssistedFrequency倚天重新定義安全水位—效率提升40%CPUutilityCPUutility-里云0.49870.9360.311-里云-里云應用構建工具倚應用構建工具倚天遷移適配工具圈ALBCFWZLIB/LZ4/ZSTDDragonwellJDKAlinux-里-里云ArmNeoverse軟件生態介紹別再平安謀科技(ArmChina)高級軟件經理-里云ArmNeoverseIntroduction02ArmNeoverseSoftwareEcosystemArmNeoverseSoftwareMigrations-里云01ArmNeoverseIntroductioncloudprovidersInfrastructure&IOTEdgeArmensuresacloudprovidersInfrastructure&IOTEdgeArmensuresacloud-nativeexperienceacrossadiverseandsecureIoTandedgeCassinifortelcooperatorsandvendorsGreaterperformanceandlowerpowerconsumptionFoundationfortheNextGenerationcloud-to-EdgeInfrastructureDeliveringhighperformance,secure,andscalableArmNeoversesolutionsTransformingTransformingthecloudtoedgeinfrastructurewithArmecosystemEnablingpartnerstoinnovateanddesignadiversesetofsolutionsthatsolvecomplexcomputechallengesRobustArmhardwareandsoftwareecosystemfromthebestdesigntoolstothemostadvancedprocessnodes-里云BestBest-in-classperformance,computedensity,andco-designaspectsmakeArm-basedFugakuthe#1supercomputerinthe-里云5GArmNeoverseAnnouncedVMwaredemonstratedEsxion64-bitARMmmwareNvidiabringscuDAstacktoArmplatformsNeoverseN1&E1platformsannouncedDockerandArmpartnerforcloud-nativesoftwareDevdockerAwsannouncesGraviton2cpuAmpereannouncedindustry's1st80-coreserversocsamsungpartnerwithMarvellandxilinxonsiliconTechnologyfor5G{XILINXNokiapartnerswithMarvellandBroadcomonsiliconfor5G"Reefshark〃Tencent騰訊TencentlaunchesArm-basedinstancesoraclecloudlaunchesAmpereAcomputeinstancesarmArmNeoverseAnnouncedVMwaredemonstratedEsxion64-bitARMmmwareNvidiabringscuDAstacktoArmplatformsNeoverseN1&E1platformsannouncedDockerandArmpartnerforcloud-nativesoftwareDevdockerAwsannouncesGraviton2cpuAmpereannouncedindustry's1st80-coreserversocsamsungpartnerwithMarvellandxilinxonsiliconTechnologyfor5G{XILINXNokiapartnerswithMarvellandBroadcomonsiliconfor5G"Reefshark〃Tencent騰訊TencentlaunchesArm-basedinstancesoraclecloudlaunchesAmpereAcomputeinstancesarmNeoversev1andN2platformsannouncedArmlaunches5GsolutionsLabGooglecloudannounces"MtEvans"DPUAlibabacloudunveilsArmv9-basedyitian710cpuAwsannouncestheGraviton3cpuandc7ginstancefamilyArm-poweredFugakuis#1onTOP500for4thtimeNVIDlAannouncesArm"Grace"cpusuperchipMicrosoftAzurelaunchespreviewofArm-basedinstances!-里云VMarvellcollaborateswithDellandHPEon5GopenRANJD.comlaunchesArm-basedcloudserviceNVIDlAannouncesArm"Grace"cpusuperchipandoEM/ODMsupportAzurelaunchesArm-basedinstancesandArmdevkitsGooglecloudintroducesArm-basedTauT2AVMsusingAmpereAltraCpusRedHatbringsopenshifttoArmAWSGraviton3-basedc7ginstancesgoGAArmexpandsNeoverseroadmapwithNeoverseVMarvellcollaborateswithDellandHPEon5GopenRANJD.comlaunchesArm-basedcloudserviceNVIDlAannouncesArm"Grace"cpusuperchipandoEM/ODMsupportAzurelaunchesArm-basedinstancesandArmdevkitsGooglecloudintroducesArm-basedTauT2AVMsusingAmpereAltraCpusRedHatbringsopenshifttoArmAWSGraviton3-basedc7ginstancesgoGAArmexpandsNeoverseroadmapwithNeoversev2(Demeter)platformarmHPEannouncesArm-basedproLiantRL300Gen11usingAmpereAltraCpusMicrosoftAzuremakesArm-basedvirtualmachinesgenerallyavailableNTTDOCOMO&NEcdemonstrate5Gcore72%powersavingsusingGraviton2NVIDIAreveals"Grace"cpusuperchipispoweredbyNeoversev2opencomputeprojectlaunchesArm-hostedOCPExperiencecenter,1stinNorthAmericaNeoverseN2-basedyitian710forecasttopower20%ofAlibabacloudNECMicrosoftAzure,GooglecloudandTencentcloudjoinworksonArmAwsannouncesGraviton3ECPU,Nitrov5andc7gn&HPC7ginstancesTencent騰訊V-里云CloudseverywherearedeployingArm-basedservers-里云EffcientThroughputEfficientperformanceN-seriesNextN2platformplatform2023+2019EEffcientThroughputEfficientperformanceN-seriesNextN2platformplatform2023+2019E-seriesE2platformplatform2023+2019NextMaximumMaximumperformanceandoptimalTCOperformanceposeidonplatformV2platformplatform2023+2020-里云-里云-里云CommercialSupportCI/CDBuildMinutesOptimizationMakeArmNeoversetheleadingarchitectureofchoicefromEdgetotheCloud-里云OPEN-SOURCESOFTWAREairbnbWNDRVRmmwareActions□LFEDGEetcd/\nsysAcceleratingSoftwareairbnbWNDRVRmmwareActions□LFEDGEetcd/\nsysAcceleratingSoftware-里云RAPID7uberelastcsearhSPDXelastcsearhSPDXCommercialSupportMAVENIRA(ellerancommagltyMAVENIRA(ellerancommagltyoo@PBuildkiteaslySIEMENSsnyk…aslySIEMENS·Architectureenablement·SVE2code-gen+%·Architectureenablement·SVE2code-gen+%and·Workloadspecifictuning·Architectureenablement·SVE2code-gen+%languages·NewLLVMFortranfrontecompiler·SVE/2improvements ArmArmCompiler ·+10%SpecInt17·Armv8.6-v9.0·SVE2support·Armv8.6-v9.0·N1supportworkloadsV1/N2V1/N2·SVE2improvements·V1andN2support·Armv8.7-v9.1·+2-5%SpecInt17·V1andN2support·SVE/2improvementsV1/N2V1/N2·Armv8.8-v9.3·SVE2code-gen+%·Auto-vecat-O2·Armv8.8-v9.3·+3%SpecInt17·SVE2auto-vectorization·V1support·SVE/2·improvements·BLAS/LAPACKimprovements·Armv8.9-v9.4·SVE2code-gen+%·Armv8.9-v9.4·SVE2corescheduling·Complexnumberauto-vec·Demetersupport·ArmPLBatched/Sparsefunctions?All%perfnumbersarebasedonbesObservability-里云Observability-里云-里云-里云Actions·partnerpages·Industryevents··Industryevents·Jointcase-studies·TurnkeysolutionsArmDeveloperprogramInnovationcoffee.Demos.Demoscommunity&DiscordForumssocialmediaReal-timecomm-channels·ArmDeveloperHub·Learningpaths·Developeractivation·EarlyhardwareaccessworksonArm-Aarch64bare-metalservers·ArmAmbassadorprogram·Developerspotlight·Digitalshowcasepackage-里云41-里云$gcchello_world.c-03mcpu=native$gcchello_world.c-o3-march=native$./hello.exe$./hello.exeHelloworldHelloworld-里云●ThesereleaseshavenameslikeArmv8.5-AandArmv8.6-Aandform"base"architectures.implementationTheyalsoallowforoptionalextensionssuchasthescalablevectorExtensions-SVEimplementationMicroarchitecturemarketsMicroarchitectureArchitectureTheThe-marchoptiontothecompilerprovidesexpertaccesstotweakthecompiler'scodegenerationtoexactlytherightarchitectureversion-里云--march=armv8.2-Ifyouknowyouwillonlyneedtoexecuteononecputype,youcanuse-mcpuwiththenameoftheVScoretotargetit-mcpu=nativesetsthearchitecturefeaturescorrectlyforthecpuonwhichyouarecurrentlyexecuting//compilerstocompilerstotakebestadvantageofyoursystem-里云allocatorscanbeaccessedusing-moutline-atomics●DefaultbehaviourfromGCC10.1outlineAtomicsuplift(EstimatedspEcjbb2015)40.00%MaxjOPSCriticalMaxjOPS-里云Compilingwithlowoptimizationlevelssuchas-O0and-O1producesineffBydefaultbothClangandGCCwillcompileat-O0.Thisisinappropriateformostreleasesoftware.Optimizationlevelscanbedividedintothoseforsize(suchas-Osand-Oz)andthoseforspeed(suchasOptimizationlevel-O3enablespowerfuloptimizationssuchasautomaticuseofArmNeonTechnologyperformance(LinkTimeoptimization)-里云TraditionalcompilationlooksatonefileatatimeLinkTimeOptimizationlooksacrossawholeprogramThiscanenablenewoptimizationopportunities-里云RegistersareconsideredasvectorsofelementsofthesamedatatypeDatatypescanbe:signed/unsigned8-bit,16-bit,32-bit,64-bit,single/doubleprec.Float(Armv8.2-AalsosupporthalfprecFloat)InstructionsperformthesameoperationinalllanesDestinationRegister Per-lanepredicationVectorpartitioningandsoftware- Per-lanepredicationVectorpartitioningandsoftware-managedspeculationExtendedfloating-pointhorizontalreductions234 ++7HOWSVEworksThehardwaresetsthevectorlength…Insoftware,vectorshavenolengthTheexactsamebinarycoderunsonhardwarewithdifferentvector improvesauto-vectorizationGather-loadandscatter-store1234++55551010predpred=6284INDEXin-1n1100 221+2+3+413-里云Auto-vectorizationandcompilerintrinsicsConsultaSoftwareOptimizationGuideforinstructionlatencies,etc.ToolsTools,SoftwareandIDEsblsogfmulfmulv1.4s,v0.4s,v0.4sfaddpv1.4s,v1.4s,v1.4sfaddpv1.4s,v1.4s,v1.4sfsqrts1,s1dupv1.4s,v1.s[0]fdivv0.4s,v0.4s,v1.4s-里云IntrinsicsareamanualinterfacetotheNeonandSVEinstructioTheycanbeenabledbyincluding<arm_neon.h>or<arm_sve.h>Theycanbeagoodsubstituteforinlineassembly,astheypermitcompilerstooptimisearoundthem#include<arm_neon.h>#include<arm_neon.h>float32x4_tnormalize(float32x4_ta){float32x4_tt=vmulq_f32(a,a);float32_tm=sqrtf(vaddvq_f32(t));}returnvdivq_f32(a,vdupq_n_f32(m));-里云倚天開啟云原生算力新時代——倚天產品能力解析龐雄偉阿里云彈性計算產品專家01智能時代算力需求爆發及挑戰02ECS倚天實例產品能力介紹03ECS倚天實例應用場景落地介紹-里云01智能時代算力需求爆發及挑戰算力需求爆發對基礎設施帶來挑戰-里云數據爆炸式增長海量數據分析處理并發要求高算力要求提升AI、視頻等對算力要求高算力投入成本增加持續提升基礎設施性價比-里-里云處理器性能迭代放緩?單服務器核數擴展降速功耗逐代上漲?硬件和芯片成本上漲算力密集業務比重增長-里云VVVC-JAlibabacloud●Tencent騰訊tsysemReadyVVVC-JAlibabacloud●Tencent騰訊tsysemReadyARMCPU架構以其開放性逐漸成為行業趨勢-里云ARMARM服務器增長率最高全球范圍內,以全球范圍內,以Arm為核心架構的CPU已經開始顯現出增長趨勢。根據全球服務器趨勢圖VSAMD市場占有率國內外等大部分國內外等大部分IT公司均推出了基于Arm平臺產品,依托ARM架構芯片優異的算力、低功耗等特性,有效幫助客戶業務降本增效。豐富的ARM開源生態已經覆蓋主流業務場景-里云完善的支持,典型負載覆蓋Web、數據庫、大數據、中間件等個場景。Container&VirtualizationOperatingSystemwep口penEBSgvisoropenAnolis互聯網生命科學交通物流應用云原生處理器ARMv9物理核(無HT)互聯網生命科學交通物流應用云原生處理器ARMv9物理核(無HT)vTPM特性低功耗?更高物理核性能?垂直場景加速代碼零改造?視頻編解碼80%倚天實例大幅提升產品性價比-里云?僅需重新部署/編譯?支持主流開源系統軟件?原生支持多款PaaS產品48KB48KB共享1.28MB獨享物理核,算力更加強勁?倚天710每一個vCPU是一個物理core。X86每個vCPU是一個HT,兩個超線程共享一個物理Core。?倚天710CPUL1/L2/L3緩存Cache對比X86CPU均有提升,且L2cache獨享。8c32g1物理core=1HT=1vCPU1物理core1物理core=1HT=1vCPU48M/64vcpuIntelIceLakeCPUYitian710CPU50%安全水位70%安全水位50%安全水位70%安全水位-重新定義CPU安全水位X86倚天fps/core11.979.639.599.599.59.50fps/core11.979.639.599.599.59.50-里云計算密集型計算場景,性能更加穩定?多任務高負荷場景,倚天性能線性度表現更好,支持高負載運行?低功耗設計,無睿頻,隨著用戶業務壓力增大性能穩定輸出不下降8642倚天710倚天710 12.75 9.889.468.577.17 7.357.227.177.02X86X8612468-C8y-x2649.889.639.599.46-C7-x26412.7511.978.577.32倚天產品?核密度高:底層物理機架構設計以CIPU為核心,通過CIPU連接2顆倚天CPU,整機密度256core,未來更高?機柜密度高:采用1U緊湊設計,空間倚天產品?核密度高:底層物理機架構設計以CIPU為核心,通過CIPU連接2顆倚天CPU,整機密度256core,未來更高?機柜密度高:采用1U緊湊設計,空間降低50%,低功耗CPU,部署密度翻倍彈性裸金屬容器容器?爆炸半徑減半:采用獨立雙節點型設計方案,獨立OS,降低爆炸半徑,同時可以提升密度,保障產品穩A:VPC環境支持RDMA,比TCP時延降低一半?NVMe:采用NVMeESSD云盤,時延降低10%倚天710倚天710存儲資源最新一代CIPU架構提升IO性能-里云VMVM神龍虛擬化DragonFly2.0VMVM以CIPU為核心系統架構倚天倚天底層架構軟硬協同,全棧優軟硬協同,全棧優化遷移工具加速適配云原生算力賦能業務電商、支付、大數據、數據庫、視頻云….行業場景技術復制應用軟件基礎軟件操作系統虛擬化層基礎設施-里-里云性能優化開箱即用性能優化開箱即用外部業務廣告類、在線教育、廣電傳媒、生命科學等廣告類、在線教育、廣電傳媒、生命科學等圈圈ALBCFWRDSACKWeb/安全數據庫云原生大數據視頻/圖片智能識別智能識別ARM指令弱內存增強AlinuxAlinux3openAnolis③Centos倚天710雙單路機型提升主頻?源碼由編譯器/解釋器生成字節碼,再由虛擬機解釋執??源碼由編譯器/解釋器生成字節碼,再由虛擬機解釋執?虛擬機/解釋器將不同CPU指令集的差異屏蔽,因此解釋解釋型語言開發的程序在遷移到ARM64平臺時,不依賴本地庫則無需重新編譯,若調用了本地庫,則本地庫需要遷移豐富的計算機軟件編譯型語言C/C++/Go/…解釋型語言Java/Python/PHP/…嵌入在高級語言中的匯編語言需要人工介入適配需要遷移,編譯器生成無需人工介入X86與ARM64架構指令集區別大,是應用需要遷移的根本原因軟件跨架構遷移的根本原因是指令集的差異-里云?機器指令必須與CPU的指令集匹配,在運行時通過加載器加載到內存并執行指令。編譯型語言開發的程序在從x86處理器遷移到ARM64位處理器時,必須經過重新編譯才能運行。匯編語言匯編語言二進制機器碼二進制機器碼指令集架構指令集架構編譯鏈接預處理源碼Hello_world.cHello_world.o可執行文件匯編匯編代碼Hello_world.s1.修改C/C++源碼Step1.修改C/C++源碼,此步驟可直接使用阿里CodeScan編譯鏈接預處理源碼Hello_world.cHello_world.o可執行文件匯編匯編代碼Hello_world.s1.修改C/C++源碼Step1.修改C/C++源碼,此步驟可直接使用阿里CodeScan對源碼的分析,?宏相關替換,解決預編譯階段的差?編譯器內建函數替換,與指令集架?內聯匯編替換,針對用戶自定義的2.CMakeLists.txt2.autogen.sh/configureStep3.ARM64平臺有完善的OS包體系,X86平臺使用的庫基本可以平替,包的下載途徑使用鏡像自帶,或一般免費/商業包管理?阿里開源鏡像站4.選擇合理編譯器執行編譯部署運行C/C++是典型的編譯型語言,主要是解決編譯構建腳本及源碼修改兩類問題。從源碼到可運行程序之間需經過如下步驟:預編譯文件被概括稱為編譯階段,選擇正確編譯器即可,用戶不用關心Step2.修改構建腳本,此處根據工程使用的編譯腳本不同有區別,但修改內容固定:?64位編譯選項修改,從X86的-m64修改成ARM平臺的-mabi=lp64?ARM平臺char類型有符號,需要加上-fsigned-char?指定處理器架構換成armv8-a+sve2;CPU換成neoverse-n13.依賴庫準備Step4.根據應用需求選擇編譯器,并通過編3.依賴庫準備譯器/OS的官方途徑下載編譯器推薦版本說明建議版本10以上,性能有大幅提升llvm13/clang13clang13依賴llvm13和gcc-c++GlibCglibc2.3.2詳情參考:/aliyun/yitian-ecs-getting-started/blob/master/C++.md推薦版本說明下載路徑OpenJDK11/17業界常用,阿里ARM平臺性能好https://openjdk推薦版本說明下載路徑OpenJDK11/17業界常用,阿里ARM平臺性能好/projects/jdk/11/Dragonwell11/17阿里優化方案,阿里ARM平臺性能好/alibaba/dragonwell1.選擇合適版本的JDKJava源碼遷移需關注三個階段Java源碼編譯調優參數說明-UseBarriersForVolatile關閉UseBarriersForVolatile選項以提升普通內存IO指令訪問Volative變量的效率-TieredCompilation對于場景固定流量穩定的應用,關閉分層編譯以提高代碼分支預測命中率ReservedCodeCacheSize=僅針對JDK8,提升CodeCache使用率Java字節碼3.部署運行Java是解釋型語言,理論上純java應用可以跨架構運行。但實際上由于java應用經常通過JNI調用C編譯的本地庫,會來帶兼容性問題,所以需要遷移。?有特殊版本需求,可針對性分析評估適配可行性。這里推薦Java8客戶升級,并選擇已適配ARM芯片的合適版本更?若是有源碼的包,建議安裝C/C++遷移3.部署階段,建議遵循ARMECSJava優化建議,設置JVM運行參數調優。詳情參考:/aliyun/yitian-ecs-getting-started/blob/master/Java.mdARM依賴檢測dockerfileARM依賴檢測dockerfile基于倚天的CI/CD流程-里云二方、三方庫代碼倉庫CodeScanCodeScan唯一鏡像IDARM自動SIT測試ARMARM自動SIT測試開發者代碼提交CI測試鏡像構建SIT測試`遷移遷移經驗豐富遷移支持服務-里-里云阿里云已經具備阿里云已經具備多年跨架構遷移經驗,覆蓋電商、金融、數據庫、大數據等多場景數據庫大數據存儲阿里云不僅可以輸出阿里云不僅可以輸出提效工具幫助用戶業務快速適配倚天實例,同時可以派駐專家團隊支撐解決用戶遷移過程中的各種問題。自動分析需修改代碼CodeScan遷移工具主流ARM處理器一鍵分析報告性能飛虎隊金牌支持專家服務支持主流開發語言主流開發語言主流ARM處理器云上云下輸出云上云下輸出一鍵分析報告性能優化收益可通過定向合作輸出客戶業務遷移性能調優一鍵式專家調優工具-里云釘釘視頻云釘釘更多產品Alinux3-里云大數據承載淘寶數據分析、菜鳥數據分析2個大數據承載淘寶數據分析、菜鳥數據分析2個-里云力下,平均延時有30%~50%的優收益超過30%。數據庫倚天云原生算力優勢性能優化開箱即用編解碼需要高算力、高并發 智能算法優化音視頻轉碼成本消耗高轉碼服務短時間需要拉起大量資源倚天云原生算力優勢性能優化開箱即用編解碼需要高算力、高并發 智能算法優化音視頻轉碼成本消耗高轉碼服務短時間需要拉起大量資源倚天實例集群webrtc助力某在線教育客戶輕松降本增效-里云視頻后處理模塊視頻后處理模塊相同配置轉碼路數增加視頻轉錄模塊低成本轉碼-里云6,0005,0004,0003,0002,0001,0004,9143,1333,3493,1333,100獨立物理核心獨立cache獨立物理核心獨立cache和ALU““AI+Science科學計算軟件需要大量資源,傳統計算資源有限、且成本較高。倚天710云實例實現了科學計算場景下的降本與增效,加快了數據驅動物理模型的開發進程。”客戶計算團隊負責人大廳服CDN戰斗服0代碼改造性能提升120%按需彈性歷時三年開發的某塔防類實時對戰團隊游戲,伴隨游戲火爆,玩大廳服CDN戰斗服0代碼改造性能提升120%按需彈性歷時三年開發的某塔防類實時對戰團隊游戲,伴隨游戲火爆,玩家數量上升,數據處理、數據計算、網絡傳輸及其它資源消耗也同步增加,具備高性價比、高算力能力是客戶亟待解決的問題。訂單資產存儲及統計運營數據存儲塊存儲-里云基于倚天c8y在客戶實測中跑分是同級X86架構實例的120%,綜合性價比接近200%。基于倚天c8y在客戶實測中跑分是同級X86架構實例的120%,綜合性價比接近200%。動態管理聊天服校驗及戰斗結算服務數據服務模塊GDB算法優化應用參數數據壓縮系統優化算法優化應用參數數據壓縮系統優化訪存優化eRDMA-里云某互聯網客戶使用倚天實例后,大數據性能提升30%。某互聯網客戶使用倚天實例后,大數據性能提升30%。……應用參數應用參數JDKJDK11AlinuxAlinux3eRDMAeRDMA訪存預期訪存預期數據壓縮數據壓縮倚天710倚天7102.8GHz,無HTDDRDDR5內存高內存帶寬-里-里云賈正華阿里云計算有限公司產品介紹技術優勢用戶案例產品路標-里云-里云AlibabaCloudLinux17.1AlibabaCloudKernel4.19AlibabaCloudLinux2AlibabaCloudLinux3AlibabaCloudLinux3ARM-里云阿里云用戶阿里云用戶極速啟動方案在離線混部方案實例優化方案云原生優化OS方案AEP非易失內存方案AI加速方案安全:可信OS方案操作系統服務支持工單支持客戶調優需求響應操作系統運維分析診斷調優工具安全與補丁管理性能分析工具遷移工具Alibaba文件系統優化RAS阿里云用戶阿里云用戶極速啟動方案在離線混部方案實例優化方案云原生優化OS方案AEP非易失內存方案AI加速方案安全:可信OS方案操作系統服務支持工單支持客戶調優需求響應操作系統運維分析診斷調優工具安全與補丁管理性能分析工具遷移工具Alibaba文件系統優化RAS增強優化Cgroup增強網絡優化操作內存優化調度優化參數調優核心庫優化全系國產化CPU支持OS遷移工具深度DDE圖形桌面兼容版操作100%兼容CentOS8安全CVE更新云內核BabaSSLcontainers社區項目DragonWellCloudKernelSIG基礎設施SIG社區高性能儲存SIG容器鏡像SIG操作Anolis遷移SIG全棧國密SIG&神龍云基礎設施操作系統-里云redis(阿里云沙箱容器)裸金屬鏡像容器鏡像場景Languageredis(阿里云沙箱容器)裸金屬鏡像容器鏡像場景Language性能持續優化依托內核依托內核(PGO、代碼大頁、原子寫)、編譯器(FDO、LTO)、場景配置(中斷聚合、調度調優)等多場景優160%140%120%100%80%60%40%20%0%150%100%優化后優化前優化后140%120%100%80%60%40%20%0%130%100%優化后優化前優化后4)大數據(4)大數據(spark、flink)主要通過主要通過64K內核頁、編譯優化和JDK提升大數據場景性能flinksparkflink115%110%105%100%95%90%113%100%優化后優化前優化后112%110%108%106%104%102%100%98%96%94%110%100%優化后優化前優化后依托內核依托內核(PGO、E0PD、XPS)、編譯器(LTO)、場景配置(應用參數調整)等多場景優化,提升性能60%。180%160%140%120%100%80%60%40%20%0%160%100%優化后優化前優化后160%140%120%100%80%60%40%20%0%145%100%優化后優化前優化后通過編譯器的快速序列化、通過編譯器的快速序列化、SPECjbb配置優化、參數優化、策略優化,提升性能SPECjbb180%160%140%120%100%80%60%40%20%0%160%100%優化后優化前優化后160%140%120%100%80%60%40%20%0%136%100%優化后優化前優化后108%106%104%102%100%98%96%107%100%優化后優化前優化后-里云Alibaba版本拓展支持Alibaba版本拓展支持AlibabaCloudLinux生命周期提供了兩個階段的支持,分別為『開發支持』階段和『維護支持』階段。Alinux3;?對于Alinux3來說,分別提供5年的開發支持周期和5年的維護支持周期。結束支持的日期為2031年4月3023L版本常規支持版本常規支持維護包括:軟件更新、功能維護包括:軟件更新、功能支持、問題修復、安全漏洞修復等取、使用、修改阿里云操作系統免費-里-里云云將會提供全方位的操作系統支持支持-里云于分析不同場景的系統現象診斷與程種系統指標硬件資源計算資源系統軟件瓶頸調度干擾于分析不同場景的系統現象診斷與程種系統指標硬件資源計算資源系統軟件瓶頸調度干擾硬件資源計算資源系統健康一鍵診斷軟中斷運行統計tcp和socket泄漏檢測進程級文件訪問統計IO夯問題自動診斷系統負載分析文件cache占用分析系統調用耗時系統延時抖動網絡延時跟蹤進程級IO統計中斷運行統計應用內存泄漏關中斷過長應用鎖競爭丟包分析-里云-里云I為倚天用戶提供更好的操作系統體驗-里云阿里云產品阿里云產品onYitian集團業務集團業務onYitian云上客戶云上客戶onYitian-里云AlinuxAlinux3Alinux4Alinux5常規發布期按需發布期3年3年7年3年3年年3年年3年年3年年3年年高頻發布期高頻發布期ECS倚天實例編程語言適配王卓阿里云編譯器團隊架構師架構差異版本差異側重點不同架構差異版本差異側重點不同Arm版本更新解釋型語言編譯型語言-里云特性C/C++JavaPython優化案例-里云軟件版本優化C/C++遷移流程-里云代碼遷移-里云I-里云?編譯參數調整:-march=x86-64-march=armv8.5+crypto+sve2-mabi=lp64添加-fsigned-char__x86_64/__amd64__SSE/__AVXbuiltin_ia32_xxx__aarch64____ARM_NEON/__ARM_FEATURE_SVE__builtin_aarch64_I優化?推薦參數armv8.5+crypto+sve2不要在GCC版本<=9的情況下用-native不要在GCC版本<=9的情況下用-native不要在GCC版本<=9的情況下用-native?ProfilingGuidedOptimization(PGO)-里云/yitian/-里云軟件版本優化Java遷移流程-里云架構遷移Java版本選擇-里云2014.32017.92018.92021.4JDK8發布OpenJDK主干支持aarch64JDK11發布JDK8支支持aarch64推薦JDK11:JDK11比JDK8更早支持aarch64,更完善不要使用JDK8u292以下的JDK!不要使用JDK8u292以下的JDK!不要使用JDK8u292以下的JDK!Alibaba開源JDK:AlibabaDragonwellhttps://dragonwell-jdk.io架構無關架構相關架構無關架構相關Java架構遷移Java:解釋性語言,遷移成本低兼容性問題主要來源于JNI調用①應用自己開發的JNI②調用的三方包(主要來源)netty-transportnetty-transport-native-epolljnasnappy-javasqlite-jdbcforest-sqlite-jdbc4.1.504.1.50-里云遷移工具遷移工具EasyYitianJNIJNI-里云I倚天-里云?升級JDK11:aarch64平臺相對JDK8全面提升>JDK11支持aarch64早于JDK8>阿里內部100+應用升級JDK11,性能提升5%-12%>如果使用JDK8且沒設置CodeCacheSize:–XX:ReservedCodeCacheSize=240m>PermSize/MaxPermSize替換為MetaspaceSize/MaxMetaSpaceSize>盡量使用PSGC或者G1GC,減少使用CMS-里云依賴庫Python基礎版本-里云-里-里云?推薦盡量使用最新版本的Python解釋器,Python在3.10以及3.11版本通過f?Python3.6已經在2021年底到達EOL,推薦至少使用Python3.7版本I科學計算庫(scipy,numpy)?推薦OpenBLAS后端構建-里云>各類包管理器直接安裝NumPy或SciPy②sudoaptinstalllibopenblas-devpython3-numpypython3-scipy(ubuntu)參考/aliyun/yitian-ecs-getting-started/blob/master/Python.md?性能測試(GEMM/SVD,可跨架構)dockerrun--rmcape2/numpy:latestI深度學習庫-里云?安裝:OneDNN+ACL優化版本dockerpullarmswdev/tensorflow-arm-neoversepipinstalltensorflow==2.11.0OneDNN+ACLBLASTF_ENABLE_ONEDNN_OPTS=1ONEDNN_DEFAULT_FPMATH_MODE=BF16pythonyour_code.py參考:/aliyun/yitian-ecs-getting-started/blob/master/Python.md-里云-里云-里云I-里云?推薦參數armv8.5+crypto+sve2Atomiccompareandswap?5%提升,個別場景提升50%IProfilingGuidedOptimizations(PGO)-里云PGO整體提升10%-里云I-里云?倚天平臺成功支撐雙十一?相對優化前由20%+性能提升代碼生成優化均集成進AlibabaDragonwell編譯期問題模塊編譯期問題模塊化--add-exports…無需依賴tools.jar/rt.jarSun.misc.Unsafe->JDK.Unsupported.Unsafe依賴包升級ty:netty-all4.1.33.Final電商升級JDK11-里云電商應用JDK8->11CPU使用率降低12%參數調整參數調整-XX:+PrintGCDetails->-Xlog:gc:<logfile>通用log:-Xlog:gc*:gc.log:timeJDK_MAX_PROCESSORS_LIMIT->-XX:ActiveProcessorCount=N輔助升級工具EMT4J/adoptium/emt4jIDemo:JDK升級實戰?檢查并報告當前工程與新版本不兼容的點?支持升級到JDK11/17?支撐阿里巴巴集團內部100+應用升級JDK?捐贈Eclipse基金會,完全開源-里云/adoptium/emt4j-里云IDemo:-里云/adoptium/emt4j/releasesorwget/adoptium/emt4j/releases/download/v0.8.0/emt4j-0.8.0.zipunzipemt4j-0.8.0.zip/emt4j-0.8.0/bin/analysis.sh-f8-t11-oreport.html$path_to_your_appDemo:JDK11升級實戰report解析-里云Demo:JDK11升級實戰report解析(續1)-里云Demo:JDK11升級實戰report解析(續2)-里云Demo:JDK11升級實戰report解析(續3)-里云java-javaagent:<path-to-emt4j-build>/lib/agent/emt4j-agent-jdk8-0.8.0.jar=to=11,file=jdk8to11.datjava-javaagent:<path-to-emt4j-build>/lib/agent/emt4j-agent-jdk11-0.8.0.jar=to=17,file=11to17.datjava-javaagent:<path-to-emt4j-build>/lib/agent/emt4j-agent-jdk8-0.8.0.jar=to=17,file=jdk8to17.datDemo:JDK11升級實戰maven/javaagent通過javaagent通過javaagent-里云<artifactId>emt4j-maven-plugin</artifactId><outputFile>report.html</outputFile>總結語言C/C++推薦版本Gcc語言C/C++推薦版本Gcc10+JDK11V18GCC9及以下不用-nativeJDK8不要用8u292以下版本-里云釘釘掃碼加入掃碼加入【倚天社區】釘釘掃碼加入掃碼加入【倚天社區】-里云掃碼免費領用倚天掃碼免費領用倚天ARM云服務器開啟云上實踐之旅軟件跨架構遷移(x86->ARM)的原理及實踐阿里云彈性計算架構師-里云-里云-里云5std::memory_order_relaxed); -里云-里云-里云根據軟件類型制定遷移策略自上而下制定軟件遷移策略-里云openAnolisopenAnoliscri-ogvisoFirecracker息自上而下制定軟件遷移策略解釋器/編無自上而下制定軟件遷移策略一鍵式軟件遷移工具EasyYitian-里云一鍵式軟件遷移工具EasyYitian-里云一鍵式軟件遷移工具EasyYitian-里云代碼掃描翻譯遷移環-里云 2.Makefile!4.選擇合理編譯器執行編譯!建議版本10以上,性能有大幅提升編譯器優化應用配置優化基礎庫/工具優化所有上線應用輸出優化方法收斂參數輸出優化方法收斂參數-里云 基于專家知識庫分析評估系統全局參數基于專家知識庫分析評估系統全局參數12-里云-里云DevOps開發運營Nginxx86-里云 jansi行時啟動遷移解決依賴:1.第三方軟件重新編譯(snappy/zstd)穩定性驗證第二輪壓測完成開始上線灰度第一輪壓測完成性能優化完成進行初步性能優化,主要進行業務平臺參數優化,無業務代碼改動jna依賴jar包解決依賴:穩定性驗證第二輪壓測完成開始上線灰度啟動遷移完成構建第一輪壓測完成性能優化完成進行初步性能優化,主要進行業務平臺參數優化,無業務代碼改動-里云-里云系統自動化掃描性能優化收益可通過定向合作輸出客戶一鍵分析報告系統全方位調優便捷開通使用主流開發語言主流應用支持性能調優-里云X86+ARM,容器服務ACK多架構應用部署最佳實踐ContentsContents01容器服務ACK簡介0102ACK支持倚天ARM實例03ACK多架構應用部署最佳實踐-里云-里-里云提升業務穩定性提升研發和運維效率提升業務穩定性Po多集群/多云管理ACKServerless客戶IaaS客戶IaaS3本地云??國內首批可信云容器解決方案(容器服務整體ACK)?國內首批可信云無服務器解決方案-先進級(Serverless容器服務ASK)?國內首批可信云服務網格解決方案-先進級(服務網格ASM)?阿里云邊緣容器服務ACK@Edge獲得“2021云邊準認證,在邊緣容器技術能力要求的33項測評中全部通過?邊緣一體機通過“云邊協同的邊緣一體機能力要求”標準獲得證書創新解決方案/產品;由阿里云提供技術支撐的好未來和暢捷通獲得2021年云原生應用優秀案例容器拉起效率測試3.4s/10000容器01/ISO29151/BS10012/CSASTAR/等保三級/PCI-DSS//公安部部標認證-里云高性能Terway網絡 安全沙箱容器安全沙箱容器AliyunLinux3AliyunLinux3高性能Terway網絡 安全沙箱容器安全沙箱容器AliyunLinux3AliyunLinux3-里云?僅需重新部署/編譯?原生支持多款PaaS產品-里云L31.3倍64M/64c*2dieALU/Cache爭搶x86Arm32倍指令執行速度Armcore獨享L1/2cache,容量大2倍+x86Armx86L14/2.6倍L21.6倍X86倚天X86--里-里云支持多架構容器鏡像構建/部署-里云構建多架構容器鏡像指定工作負載調度構建多架構容器鏡像指定工作負載調度-里云?選擇OSAlinux3.2104-里云指定工作負載調度指定工作負載調度多架構容器鏡像結構-里云指定工作負載調度指定工作負載調度/cn-hangzhou/instances/artifact-里云指定工作負載調度指定工作負載調度行dockermanifestinspect-里云指定工作負載調度指定工作負載調度指定工作負載調度指定工作負載調度構建多架構容器鏡像構建多架構容器鏡像kubernetes.io/arch=arm64:NoSchedule,無需構建多架構容器鏡像label:kubernetes.io/arch:"arm64"構建多架構容器鏡像label:kubernetes.io/arch:"arm64"taint:kubernetes.io/arch=arm64:NoScheduleArmArmcontainerdlabel:kubernetes.io/arch:"amd64"x86x86containerd-里云Armx86構建多架構容器鏡像構建多架構容器鏡像-里云label:kubernetes.io/arch:"arm64"taint:kubernetes.io/arch=arm64:NoScheduleArmcontainerdlabel:kubernetes.io/arch:"amd64"x86containerdArmx86Armx86構建多架構容器鏡像構建多架構容器鏡像-里-里云指定工作負載調度指定工作負載調度DevOps開發運營MutilArchImagesPushX86DevOps開發運營MutilArchImagesPushX86NodePoolNginxx86Redisx86Ubuntux86ArmNodePoolNginxArmRedisArmUbuntuArmPullByArchitectureAliyunContainerRegistry(ACR)-里云-里云李騰飛阿里云彈性計算大數據優化負責人01倚天大數據場景遷移適配02倚天大數據性能加速實踐03倚天大數據場景落地實踐-里云ECS倚天實例助力大數據應用場景降本增效ECS倚天實例助力大數據應用場景降本增效ECS倚天實例助力大數據應用場景降本增效Yitian超強算力DDR5高性能內存eRDMA低時延網絡ESSD高性能云盤vpc2Software2Software3.6.84.8 YodaYodaJavaJava2.xJavaJava 4?推薦組件版本和依賴包清單Jar包依賴lz4-java1.4.03.1.4snappy-java1.1.3jansileveldbjni-all4.1.50sigar6.2.2-里云SPARKSPARKTPCxBBTPCxBBMraccSpark/nativesqlMraccSpark/nativesqldragonwellalinux3Kafka···Kafka···大數據……Alinux3Alinux3-里云-里云耗時越短,性能越優4950490048004700總耗時?優化手段:OS緩存策略調優、網卡I/O策略調優、4000040000-里云吞吐數值越大,性能越好集群信息:g8y(Yitian)vsg7(IceLake),6*(8xlarge+ESSDPL1)NexMark:Flink測試使用的BenchMark是nexmark,是一個連續數據流的查詢的基準套吞吐數值越大,性能越好45073%396396826161202221049%48%5861611818040021326724620025020522934135030024188q0q1q2q3q4q5q7q8q9q10q11q12q13q14q15q16q17q18q19q20q21q22g7g8yg8y優化核層面優化、資源配比優化等手段00-里云210210-里云Velox?性能提升:TPCDS1TB相對于vanTPCDS性能歸一化測試環境Spark3.3.1Hadoop3.3.1Hive3.2.1JDK1.8.0_352AlibabaCloudLinux3.210432.522.512.162.10210.50 32.522.512.162.10210.50 SparkSpark進程sparkextensionSparkSpark進程降低網絡帶寬,實現總體計算效率提升。TPCH1T性能歸一化點查Q6模糊查詢(like)點查Q6?降低網絡帶寬:點查業務場景,neardata大幅度減少網絡帶External(Yarn)External(Yarn)Jverbs/UCXSpark-里云-里云-里云.啟動poc.基礎poc.啟動poc.基礎poc..測試完成.開始上線灰度2.native庫重新編譯(snappy/lz4等)-里云))-里云/detail/346-里云/detail/347釘釘掃碼加入掃碼加入【倚天社區】釘釘

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論