




版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
中國聯通分組網組網方案及工程應用
中興通訊承載網產品團隊注意事項1、落地整體策略及口徑以《中國聯通2012年分組工程方案總體策略》為綱要。2、針對具體省份,交流前需與三分部片區經理確認的策略口徑,根據省份落地策略,進行膠片的適當增減。中國聯通分組傳送網引入交流提綱中國聯通分組傳送組網方案中興通訊分組傳送網工程應用案例NGN業務控制中國聯通城域網現狀骨干網城域核心業務控制傳送核心傳送接入匯聚用戶側169骨干網IP承載A網IP承載B網MSTPBRASSRSRAGDSLAM匯聚SW寬帶IPTVVOIP2G基站3G基站大客戶寬帶接入網傳送網2G/3G移動核心網RNCBSCMGWGGSNSBCSS城域CR匯聚BR核心CE核心CEPE-ASBR接入CEOLT寬帶MSCe公眾平面大量帶寬,流量不可控,安全及可靠性較低電信平面時延低,可靠性、安全性、服務質量高,流量可控中國聯通本地承載與傳送網絡的目標架構——圖例引自“中國聯通2012年本地傳送網建設指導意見”(1)“兩張網”的網絡架構:IP城域網承載普通互聯網業務等無明確質量要求,盡力而為的業務,網絡要求開放性;分組傳送網承載以基站業務、集團客戶業務為主的電信級業務,業務要求安全可控,有嚴格的質量要求,網絡封閉性要求強。IPTV業務的承載方式有待進一步研究,近期IPTV業務仍由“IP城域網”承載。(2)分組傳送網絡的位置:分組傳送網全面覆蓋核心、匯聚、接入層中國聯通分組傳送網引入交流提綱中國聯通分組傳送組網方案中興通訊分組傳送網工程應用案例方案內容網絡架構設計IGP以及業務地址規劃業務模型
可靠性QOS部署
時鐘部署RNC核心層匯聚層接入層GE環GE環10GE環10GE環GECh.STM-1E1FEE1FENodeBNodeB網絡分層組織,分為接入層、匯聚層、核心層。網絡組環為主,接入GE環,匯聚、核心采用10GE環。業務量較大時,匯聚層可雙上聯,核心層可full-meshed組網。NodeB分別采用FE、E1傳送數據、話音業務,分組網核心層采用GE、ch.STM-1對接RNC。BTS采用E1接入分組網分組網核心層出ch.STM-1對接MSTP設備,MSTP通過E1連接BSC;在BSC前新增下載設備,下載設備采用E1對接BSC;BSCBTSE1MSTPoffloadCh.STM-11212N*E1N*E112圖例E1FEGE10GECh.STM-1NodeBPSNodeBCSBTSCSIP-RAN網絡拓撲結構推薦:接入環不進行層疊嵌套;接入環只連接匯聚節點;接入GE環接入匯聚層的同一對相鄰的設備;匯聚層雙上聯核心層,減少路由動蕩對其他節點的影響;核心層full-meshed組網,便于業務調度;推薦的IPRAN最優結構核心層匯聚層接入層GE環GE環10GE環匯聚層接入層10GEGE環GE環10GE推薦的IPRAN次優結構核心層匯聚層接入層GE環GE環10GE環10GE環匯聚層接入層10GE環GE環GE環要點:接入環不進行層疊嵌套;接入環只連接匯聚節點;接入GE環接入匯聚層的同一對相鄰的設備;匯聚層可成環,建議4個,最多6個,環形上聯核心層;優點:節省光纖缺點:鏈路壞掉,整個匯聚環上基站至少一半要切換,影響很大;鏈路匯聚整個匯聚環基站的流量,鏈路帶寬消耗嚴重,擴容壓力大,不利于運維;核心層full-meshed組網,便于業務調度;111IPRAN不推薦的組網結構核心層匯聚層接入層GE環GE環12453接入層嵌套接入層雙歸到非相鄰匯聚節點不同接入環互聯連通接入環上節點和匯聚環上節點連通接入環上節點和核心環上節點接入層嵌套路由域過大,容易造成路由動蕩,影響LSP隧道轉發業務,可能主備隧道都同時斷了;二級匯聚斷纖、節點故障所涉及的基站全部切換,影響較大,影響業務;其他情況,路由域變大,劃分困難,業務配置困難。一條路由失效,就會引發整個路由域發生震蕩,業務轉發可能中斷;故障排查困難;路由震蕩的收斂時間不可控,有可能是2s~30s;一般來講,100萬條路由收斂在20分鐘左右,1K條路由收斂在1S左右;嵌套問題接入層嵌套和一個環64個點兩級接入嵌套不推薦,會增加接入環單個OSPF區域的節點數量,無法隔離,可能引發路由動蕩,建議接入層直接掛匯聚設備故障1:影響三個紅環上所有節點,所有基站都切換,影響面積大,網絡可控性差;故障2:影響該環業務切換;同時,三個紅環和一個綠環上的節點都要進行路由收斂計算;一個接入環64個點,鏈路、節點失效,平均影響32個基站,最多影響64個兩級匯聚每個環上8個點一個接入環64節點21接入層建議接入環直接上聯匯聚設備故障1:本環業務切換,影響8個站點;本環路由震蕩一次,進行收斂,其他接入環不受影響,網絡可控;1
聯通IPRAN拓撲建議接入層環形拓撲,節省光纖資源和匯聚設備端口資源;匯聚層雙上行或者口字型連接,如果是環形連接,環上節點數控制在8臺以下;核心層建議Full-mesh連接,提高核心層設備的穩定性;RNC設備盡量不要直接掛接到匯聚層設備上;時鐘限制,IPRAN網絡時鐘鏈路<15跳14RNC1RNC1RNCnRNCnRNC機房1RNC機房2本地網核心RNC側9000設備9000匯聚設備6000接入設備GE接入環GE接入環10GE10GEGE……區縣1匯聚區縣2匯聚區縣核心聯通IP-RAN拓撲節點規劃建議每個GE接入環6~8個點為宜,不超過10個,環帶鏈不超過15跳,接入環接入成對的匯聚設備為最優方案,跨匯聚節點接入接入環為備選方案30M/基站規劃,網絡輕載;未來2~3年,HSDPA+雙頻,84M/基站,6~8個點合適;加上BFD(0.2M/基站)開銷,30M*10+0.2*10=302,302M/1000M=30%,輕載;如果弱化帶寬限制,可以將接入環節點數量擴大到20個;注意時鐘跳數<15的限制其他業務在接入層引進,需要占用帶寬,因此有如上建議;每對10GE上聯匯聚設備下掛基站數量建議<15環,<200基站200:每基站現在30M,30M*200基站=6000M,去除OAM等開銷,10GE鏈路足夠承載200基站;匯聚設備響應200個基站同時切換時,端到端隧道切換時間在200ms左右;正在通話的話音業務小卡一下,影響不大;若8個基站/接入環,按照1FE+2E1/基站設計,且接入環區獨立,無論是否跨匯聚環上的節點,可保證接入環上節點、鏈路失效時切換時間<50ms;匯聚節點失效,即UPE失效,需要PW全部主備切換,且涉及到的IP路由,需要重新分發到對端SPE,切換時間在400ms左右;若一對匯聚設備下掛全部基站<64,則匯聚節點失效,仍能保證<50ms;核心層4~8節點為宜,建議全互聯若不互聯,所有對角線調度業務都要通過環上繞行,占用帶寬;IPRAN的流量模型每個RNC平均200臺基站;所有基站總流量200*30M=6G,匯聚層按照2:1收斂后,則3Gbps;因此,假設把縣區全部的基站都加載到IPRAN網絡,則區縣到本地網核心單個10GE滿足業務需求;本地網核心采用10GE連接RNC側設備,RNC側設備通過GE連接RNC;每臺RNC帶200基站,最多200*30M=6G,則個RNC最多需要部署12塊GE單板,并部署單板級別的保護。HSDPA+/LTE階段,假設單個基站配置流量為100M,區縣基站600臺;600臺基站所需帶寬,600*100M*0.5=30GE,區縣到市部署40GE端口即可滿足業務需求;RNC/SGW數量擴張到30個,每個RNC/SGW所帶基站600*11/30=220臺;220臺*100M=22Gbps,如果RNC/SGW只提供GE單板,則需要44塊;所以RNC/SGW應該提供10GE單板,需要6塊;16RNC1RNCnRNC機房本地網核心RNC側9000設備9000匯聚設備6000接入設備GE接入環10GEGE…區縣10GE匯聚區縣核心10GE所有基站=6G收斂后3G區縣到市10GE方案內容網絡架構設計IGP以及業務地址規劃業務模型
可靠性QOS部署
時鐘部署聯通IPRAN方案的路由劃分建議18RNC1RNCnRNC機房本地網核心RNC側9000設備9000匯聚設備6000接入設備GE接入環10GEGE…MP-BGPOSPFMP-BGPISIS-2MP-BGPUPESPESPEPASBR業務Area1業務Area2IGP總體規劃原則:控制層面路由協議和管理層面了路由協議分離;控制層協議:以匯聚層邊緣點為ASBR,接入層部署OSPF,匯聚到核心到本地網核心部署ISISlevel2;擴展子架與核心9000之間部署OSPF,部署方式同接入層;兩匯聚層Loopback配置OSPFAera0,同一匯聚層節點下掛接入環依次編號為Aera1,2,3……,并配置stub屬性;在ASBR上將OSPF區域末節設備和IS-IS核心設備的loopback地址做互相重分發;L3VPNPE之間運行MP-BGP分發VPN私網路由,匯聚層核心部署HoVPN方案,應對L3VPN域過大問題;管理層協議:接入層采用OSPF多實例,匯聚核心層采用OSPF多進程;OSPF擴展子架Area0OSPF控制層面路由協議規劃管理層面路由協議規劃管理Area2管理Area1業務Area1管理Area1管理OSPF多進程控制ISIS網管路由協議規劃IGP業務路由規劃:以匯聚層邊緣點為ASBR,接入層部署OSPF,核心匯聚層部署ISIS;接入到匯聚推薦雙掛,兩匯聚層節點間為OSPFAera0,同一匯聚層節點下掛接入環依次編號為Aera1,2,3……,并配置stub屬性,但是區域不需要閉環,
核心、匯聚層部署OSPFArea0;向接入層OSPF域則發布默認路由(主備橋接點默認路由的優先級要區分);如果匯聚核心設備超過128臺設備,OSPF劃分進程,在跨進程的節點,建成3向進程2重分發路由,進程2向進程3重分發網管黑洞路由。基站BSC/RNC/aGW基站匯聚層1~k二三層橋接點接入層OSPF2Area0OSPF2核心層Area1Area2BSC/RNC擴展子架Area0AreaN匯聚層K+1~N基站基站接入層OSPF3Area1Area2OSPF3Area0路由重分發路由重分發OSPF2AreaN~M擴展子架Area0網管黑洞路由IGP/BGP業務路由部署IGP業務路由規劃:以匯聚層邊緣點為ASBR,接入層部署OSPF,核心匯聚層部署ISIS;接入到匯聚推薦雙掛,兩匯聚層節點間Loopback1為OSPFAera0,同一匯聚層節點下掛接入環依次編號為Aera1,2,3……,并配置stub屬性,匯聚設備之間為每個接入環增加一對接口,配置相應的Area分支區域,以保證接入環OSPF區域閉環,當建立接入環TE時,TE不會繞到匯聚核心層,
核心、匯聚層部署IS-ISLevel2;擴展子架路由部署方式同接入側;在ASBR上把OSPF路由向IS-IS域做重分發。向接入層OSPF域則發布默認路由(主備橋接點默認路由的優先級要區分);對E1/以太網專線現網部署單段PW,并根據聯通要求,全網部署RSVP-TE分發隧道標簽,
采用松散指定模式;L3VPNPE之間運行MP-iBGP分發VPN私網路由,在L3VPN部署到匯聚層,且PE節點較多的情況下,可考慮部署HoVPN或BGPRR方案基站BSC/RNC/aGW基站匯聚層1二三層橋接點接入層IS-ISL2OSPF1MP-BGP核心層Area1Area2Area0BSC/RNCRNC-CE/SR擴展子架靜態路由Area0IS-IS匯聚層K基站基站接入層OSPF1AreaNAreaN+1ISISL2IS-ISArea0Area0子架OSPFArea0Area0AreaM當多個接入環在同一個接入設備相交掛接到匯聚設備上,這些環劃分到同一個Area區域中;當接入環一側掛接到匯聚設備,一掛接到核心設備,則核心設備上同樣在Loopback1上配置到Area0中;掛接一個區域的一對9000設備之間配置一個L3接口將該接入區域閉環;如果中間經過其他設備,則經過設備通過vlan交換將OSPF鄰居打通;如果接入環掛接到兩個不同的匯聚環上,則兩個匯聚環增加一對光纖將匯聚環打通。復雜接入OSPF協議規劃建議HoVPN路由劃分以及部署HoVPN部署匯聚層和核心層部署二三層橋接設備作為UPE匯聚設備和核心設備作為SPEIGP協議的部署接入層部署OSPF,根據需要配置area1,2,3……,保證每個接入層配屬不同的area,每對接入環在匯聚之間增加個L3接口,將接入Area0閉環,如果匯聚不連續通過Vlan交換打通通道;匯聚層和核心層部署ISIS,均位于Level2BGP協議的部署UPE和其位于同一個環的SPE建立MP-BGP鄰居UPE通告私網路由到SPE,SPE下發缺省路由到UPE;如果接入層沒有互通的要求以及LTE業務,S-PE之間不部署BGP連接;一個S-PE下掛U-PE不超過64個,否則增加S-PE設備,減少S-PE連接;大客戶組網建議大客戶建議UPE之間建立MP-BGP,以避免建網初期S-PE之間配置BGP連接LocalPreference配置建議SPE如需部署BGP連接,需要提升UPE上接口的LocalPreference以避免路由環路;為了保證LTE時代X2時代,流量通過S-PE互通要求,必須保證U-PE------S-PE----S-PE形成路由環路,工程組網U-PE設備LP建議配置1000、800,S-PE對上建議配置500、100;L3VPN基站BSC/RNC/aGW基站匯聚層二三層橋接點接入層核心層備用PWBSC-CE主用PWBSC-CE以太業務匯聚ISISLevel2OSPFUPE-1UPE-2SPE-4SPE-2SPE-1SPE-3ISISL2OSPFIGP多進程和多實例分析IGP多進程IGP多實例基本概念路由器部署IGP多進程,每個進程維護一個LSDB(OSPF)數據庫,并計算和維護自己的路由表,多個進程共同維護全局路由表,路由器優選最優路由。每個進程獨立,類似不同路由協議。路由器部署IGP多實例,不同IGP實例和不同VRF綁定,每個IGP實例維護獨立的VPN路由表設備資源消耗消耗資源每個IGP進程獨立調用設備CPU和內存資源節省資源IGP多實例共享設備系統資源可靠性一般每接入環一個IGP進程,一個接入環路由振蕩不會影響其它接入環,但由于系統資源占用較多,易導致匯聚邊緣節點故障好每個接入環屬于不同的OSPFsub-area,且屬性配置為Stub,接入環之間不會相互引入路由,且僅向核心匯聚設備通告匯聚路由,因此一個接入環路由振蕩不會影響核心匯聚層和其它接入環。運維復雜度復雜匯聚邊緣節點需要配置IGP多進程多實例多區域特性,且需要將不同進程的路由引入到核心匯聚層路由協議,配置工作量大簡單匯聚邊緣節點僅需配置IGP多區域多實例,無需區分多進程,配置工作量大大減少必要性非必須IGP多進程方案仍需要借助多區域和多實例技術以滿足分組傳送網需求必須因為涉及網管DCN和業務封轉路由,以及需要提升可擴展性和可靠性,多區域多實例是必須的。從提升可靠性和簡化運維復雜度角度衡量,分組傳送網接入層路由協議應當選擇IGP多區域多實例。路由協議分區和限制節點數的意義劃分區域的根本原因是:如果一個區域的路由器太多,勢必造成LSDB過大,從而對路由器資源提出了更高的要求并會延緩了收斂的時間。同時一旦出現路由動蕩,會造成大規模的SPF重新計算,造成路由器負荷過重,引發更大規模的網絡問題。劃分區域就是為了減少路由協議對資源的要求和屏蔽網絡的動蕩。限制節點數能夠一定程度上降低LSDB大小,提高SPF計算速度。方案內容網絡架構設計IGP以及業務地址規劃業務模型
可靠性QOS部署
時鐘部署3G基站FE接口業務/LTE業務承載采用中國聯通工程指導意見方案B。L2+L3模式,二三層橋接點在匯聚層。2G/3GTDM業務接入側:內層采用端到端PWE3封裝,外層采用1:1LSP隧道。核心層:通過ch.STM-1接口進行匯聚后,上聯RNC。對于2G轉發到BSC的業務,在BSC前新增一臺下載設備,并通過E1上聯BSC。集團客戶專線二層點到點:TDM、以太網、ATM等集團客戶專線,采用偽線仿真方式實現。二層多點到多點:采用VPLS/H-VPLS方案承載。三層大客戶:對于L3VPN的集團客戶專線,與基站FE接口承載方式類似,但是不建議使用HoVPN組網。業務承載模式建議IP/MPLS業務總體方案建議末端接入層匯聚層核心層業務控制2G/3GTDM3GIPL2大客戶L3大客戶SRBSC/RNCBSC/RNCPWE3/L2VPNHoVPNFE以及L3大客戶采用L2+L3架構,FE業務采用HoVPN組網,大客戶采用L3VPN組網L3位置選擇在匯聚層對于L2VPN和L3VPN的隧道層采用TE隧道EI和L2大客戶業務中的專線業務采用MS-PW分層的PWE3仿真承載,L2大客戶多點到多點業務采用H-VPLS進行承載PWE3/L2VPNL3VPNPWE3PWE3PWE3PWE3/L2VPNL3VPN到邊緣方案-HoL3VPNL3VPN是基于全連接的網絡,存在N平方的問題。在全網部署時,業內采用層次化L3VPN(HoL3VPN)來解決N平方問題,即在接入層采用點到點匯聚型配置。接入節點的流量并不會直接互連轉發,而是通過匯聚節點轉發,接入層支持L3VPN并不能避免流量經過上層迂回從而節省接入層帶寬。全網L3VPN存在N平方問題HoL3VPN(層次化L3VPN)A/B方案對比分析A方案(HoVPN)B方案(PW+L3VPN)多業務承載能力差只能承載三層業務,對于TDM業務和二層業務還必須通過PW的方式接入承載,相當于在接入網并存L2VPN和L3VPN兩種技術方案好通過PW統一承載TDM,二層,三層所有業務,傳送到匯聚層進行業務區分和調度,簡化整個接入網技術復雜度可靠性好TEHSB+VPNFRR好TEHSB/1:1LSP+PWFRR運維復雜度差需要在接入層引入MP-IBGP和L3VPN
RD/RT等大量復雜屬性配置工作,對接入層人員的技能水平要求極高,難以管理和維護好只需要配置點到點的PW和Tunnel,十分簡單,易管理維護,業務開通速度快,故障定位迅速。LTEX2流量承載需要到匯聚點進行轉發HoVPN原理,接入層只保留缺省路由,所有業務需要傳送到SPE節點(匯聚節點)進行迂回和轉發需要到匯聚點進行轉發PW把所有業務傳送到匯聚點進行業務的區分和調度轉發,X2業務在匯聚點進行迂回IP地址消耗量浪費接入設備作為基站網關,每基站每網關,消耗大量IP地址節省匯聚設備作為基站網關設備,多基站共享網關,大大節省IP地址消耗A方案和B方案事實上都是三層VPN方案,區別在于L3VPN的位置選擇,從運維復雜度以及多業務承載的角度衡量,匯聚層是L3VPN開啟的最佳位置,L3VPN到邊緣節點沒有任何需求和意義,只會讓數量龐大的接入網運維復雜,同時沒辦法承載二層業務L3VPN到邊緣,碰到如下問題在邊緣節點引入了BGP協議,配置復雜,對維護人員要求高;二層業務,如E1/L2大客戶仍然采用PW承載,接入層多種模式混開,d對技能要求高;地址規劃方面,需要接入設備和基站共同規劃,若遇到小區分裂,基站RNC歸屬調整,地址重新規劃規劃、配置、割接任務會變得復雜;LTE時代,X2接口要從核心層繞走,不會直接在接入環回繞,這是因為基站建設不同時,一個基站的6個鄰居基站不可能剛好在同一個接入環上;未來基站IPv6化,接入層路由器每個節點都要進行一次設置IPv6前綴;而接入層采用PW,則不存在這樣大的工作量。L2+L3模式更節省IPv4地址;L3VPN開啟位置分析二三層橋節點的位置選取方案a方案b方案c方案特點三層到邊緣HoVPN接入PW+核心匯聚HoVPN接入匯聚PW+核心L3VPN對現網的影響需要為基站互聯端口分配IP地址,涉及大量基站的IP地址調整;采用HoVPN后,LTE時代基站X2接口數據仍然要繞到匯聚層進行轉發,三層功能對接入層設備要求高。基站IP地址的調整量將大大減少;避免了PW和L3VE聚集到核心層對設備帶來的壓力和風險。對接入層設備要求只具備二層處理能力即可。核心設備終結大量PW,需要大量PW和L3VE,對核心層設備性能沖擊較大,且IGP域過小會引入很多跨域問題,問題復雜化。推薦方案b關于RANCE的建議RANCE是MSTP時代的遺留產物,其完成功能目前分組設備都可以完成;原則上新建分組網絡直接連接RNC;在某些特殊情況下,分組網通過CE連接到RNC,比如RNC不具備端口擴容能力等情況。RAN-CERNC基站基站L3VPNL3VPNL3VPNMasterpwSlavepw二三層橋接點L2VPN基站基站MSTP基站BSC/RNC/aGW基站匯聚層ASBR接入層IS-ISOSPF核心層2G/3GTDM基站/以太網大客戶專線PWE3BSC/RNClooseLooseLooseLoosePath-option1MasterPath-option1HotstandByloose一般僅選擇ASBR/ABR作為loose節點DynamicDynamicL2VPN域內MPLS-TE規劃建議(MS-PW)Path-option2Masterlooseloose如果沒有擴展子架,匯聚以上配置TE-FRR保護,匯聚到核心全是ISIS域內路由,建議和L3VPN都使用TE-FRR保護,減少TE路徑的部署;接入層部署HSB保護,配置兩個PathOption,Option1中主LSP逐跳Loose,有保護,Option2只有工作路徑;匯聚層、核心層工作LSP部署兩個PathOption,保證在核心層復雜組往下的路徑建立能力;Dynamic域內動態LSP路徑PWE3TE-FRRBack-UPLSP基站BSC/RNC/aGW基站匯聚層ASBR接入層IS-ISOSPF核心層2G/3GTDM基站/以太網大客戶專線PWE3BSC/RNClooseLooseLooseLoosePath-option1MasterPath-option1HotstandByloose一般僅選擇ASBR/ABR作為loose節點DynamicDynamicL2VPN域間MPLS-TE規劃建議(MS-PW)Path-option2Master擴展子架OSPF有擴展子架時,匯聚到擴展子架配置HSB保護,匯聚到核心到擴展子架跨域;接入層部署HSB保護同和前面域內配置相同;匯聚層與擴展子架之間工作LSP部署兩個PathOption,PathOption1有保護,主用LSP逐跳Loose;Option1的保護路徑以及Option2的工作路徑,在連接擴展子架的9000設備上配置松散,其他動態。Dynamic域內動態LSP路徑LooseDynamicDynamicPWE3Loose基站BSC/RNC/aGW基站匯聚層ASBR接入層IS-ISOSPF核心層2G/3GTDM基站/以太網大客戶專線PWE3BSC/RNClooseLooseLooseLoosePath-option1MasterPath-option1HotstandByloose一般僅選擇ASBR/ABR作為loose節點動態建立LSP節點Dynamic端到端L2VPN
MPLS-TE規劃建議LooselooseDynamicDynamicDynamic工作路徑逐跳松散;保護LSP匯聚節點,啟動動態方式創建。基站BSC/RNC/aGW基站匯聚層ASBR接入層IS-ISOSPF核心層2G/3GTDM基站/以太網大客戶專線PWE3BSC/RNCloosestrictstrictstrictPath-option1MasterPath-option1HotstandBystrictloose均指定為IGP域內網元入接口地址一般僅選擇ASBR/ABR作為loose節點loose當核心匯聚層進行ISIS分層部署時,需要指定該節點為looseABR節點loosestrictTE-FRRBack-UPLSP端到端L2VPN可靠性部署:HSB嵌套TE-FRR(除非有異側斷纖要求,否則不推薦)ABC基站BSC/RNC/aGW基站匯聚層ASBR接入層IS-ISOSPF核心層2G/3GTDM基站/以太網大客戶專線PWE3BSC/RNClooseLooseLoosePath-option1MasterPath-option1HotstandByloose一般僅選擇ASBR/ABR作為loose節點動態建立LSPDynamicTE-FRRBack-UPLSP分層L2VPN可靠性部署:HSB嵌套TE-FRR(不建議,保護復雜)ABCDynamicPWE3主要是擴展子架是6000設備,選擇HSB保護時,可選該方案做異側段纖保護,但是不推薦。擴展子架LooseLooseLoosePath-option2Master基站BSC/RNC/aGW基站匯聚層ASBRIS-ISOSPF核心層3GPS/LTERNC/aGWL2VPNLoosePath-option1MasterPath-option1HotstandByloose一般僅選擇ASBR/ABR作為loose節點動態建立LSPlooseHoL3VPNTE-FRRTE-FRRPW+HoVPN的MPLS-TE路徑規劃建議TE-FRRBack-UPLSPDynamicLooseDynamicLooseLooseLooseDynamicDynamicTE部署方式同MS-PW域內部署方式,TE可以和MS-PW業務共用。Path-option2Master基站FE業務PW+HoVPN方案承載接入層采用PW進行承載,在匯聚層上內部橋接進入HoVPN,BSC-CE終結L3VPN,BSC-CE轉發IP報文到BSC;在接入設備上配置兩個方向的業務流量,配置主備隧道和主備PW進行業務保護;基站網關設定在匯聚層HoVPN入口;BSC的網關設定在BSC-CE,BSC-CE間運行BFD+VRRP進行網關保護;一個S-PE連接MP-BGP協議不超過64個,如果超過建議增加一對S-PE;基站BSC/RNC/aGW基站匯聚層二三層橋接點接入層核心層BSC/RNCRNC/aGWL2VPN備用PWBSC-CE主用PWBSC-CE2GE1/TDM基站/以太網大客戶專線3GPS/LTEHoL3VPNE1業務匯聚E1匯聚IPPWE3/L2VPNPWE3VLAN合并方式:VSI方式L2/L3VPN橋接點內采用VPLS連接基站,且配置相應VRF終結VPLS實現VLAN匯聚;L2/L3VPN橋接設備通過VRF路由完成基站到BSC/RNC/aGW的流量或者跨網段LTEX2流量各個PW之間配置Hub屬性,VSI內的PW建議控制在64個以內;對于X2流量L3VE開啟ARP代理,保證VSI通過L3轉發,不直接通過PW互相轉發業務;VSI模式下無線側IP規劃,建議使用28位網段,若干匯聚環共用一個IP,超過64個,規劃一個新網段;Vlan110.1.1.2RNC/aGWVlan110.1.1.10L3VPN二三層橋接點PWETHPWVSIVRFETHPWVSI接入層核心匯聚層VLAN合并方式:VLAN-Range(包含一對一)Vlan110.1.1.2BSCRNCVlan1010.1.1.10L3VPN二三層橋接點L2VPNETHPWVLAN
RangeVRFETHPWVLANRange接入層核心匯聚層L2/L3VPN橋接點終結PW,并將多個基站的VLAN通過VLAN-Range方式匯聚,配置到一個三層接口,此接口上啟用ARPProxy功能;同環基站之間的ARP報文會被二三層橋接點處理并應答,因此基站之間的報文會被二三層橋接節點進行二層終結,并送到VRF下進行路由轉發L2/L3VPN橋接設備通過VRF路由完成基站到BSC/RNC/aGW的流量或者所有LTEX2流量;
由于橋接點需要處理ARP協議,建議Vlan-range范圍控制在50個以內,避免CPU處理ARP導致繁忙,地址規劃同VSI要求。三層大客戶PW+L3VPN方案承載大客戶組網建議:大客戶建議UPE之間建立MP-BGP,以避免S-PE之間配置BGP連接;不選擇HOVPN組網也避免同匯聚上的大客戶
量繞經核心設備轉發。基站基站匯聚層二三層橋接點接入層核心層L2VPN備用PWCE主用PWCEL3大客戶L3VPNL2VPN備用PW主用PWE1/TDM業務MS-PW擴展子架部署方案LSPHSB保護,配置兩個PathOption路徑,參見前面TE域間部署方式;主鏈路始于接入分組設備A,沿業務流向一直向上,經過路由器B、C,D最終到達擴展子架6200-1PathOption2路經延設備E、F、G、6200-2(口字型連接),最終指向6200-1建議擴展子架采用雙上行方式連接。
MS-PW1+1MS-PW分段保護,S-PE選在匯聚節點,N-PE選擇擴展子架設備6200-1/-2接入層PW雙歸到匯聚層設備,B與6200-1、E與6200-2配置主用PW,匯聚與擴展子架之間配置交叉備用PW;主PW配置分段BFD檢測,備用不部署;PW建議靜態配置;基站BSC/RNC/aGW基站匯聚層二三層橋接點接入層核心層PWE3BSC/RNCRNC/aGWL2VPN6200-16200-22GE1/TDM基站3GPS/LTEHoL3VPNE1業務匯聚E1匯聚IPABCDFEG主用PW備用PWPWE3主用PW主用PW備用PWE1/TDM業務MS-PW非擴展子架部署方案LSPTE-FRR保護,配置兩個PathOption路徑;主鏈路始于接入分組設備A,沿業務流向一直向上,經過路由器B、C,最終到達核心分組設備DPathOption2路經分組設備E、F、G,最終指向DMS-PW1+1MS-PW分段保護,S-PE選在匯聚節點,N-PE選擇擴展子架或者核心層9000設備接入層PW雙歸到匯聚層設備,B與D、E與G配置主用PW,匯聚與核心之間配置交叉備用PW主PW配置分段BFD檢測,備用不部署;PW建議靜態配置;基站BSC/RNC/aGW基站匯聚層二三層橋接點接入層核心層PWE3BSC/RNCRNC/aGWL2VPNBSC-CEBSC-CE2GE1/TDM基站3GPS/LTEHoL3VPNE1業務匯聚E1匯聚IPABCDFEG主用PW備用PWPWE3主用PW主用PW備用PWE1/TDM業務MS-PW組網
1+1雙歸場景主要用于承載TDM業務,PW的主備關系、保護、BFD參照上圖部署,BFDforperPW分段配置,BFD檢測周期推薦100ms,但是備用PW不部署BFD,PW-FRR配置為反轉模式;U-PE與S-PE之間,S-PE與N-PE之間部署TE-FRR/HSB保護,即每段PW部署保護;
PW-FRR用于保護S-PE節點、N-PE節點、RNC鏈路故障,TE-FRR/HSB保護網絡側鏈路、單板、P節點故障;PW上的OAM選用PW-BFD檢測,UNI側故障通過BFDdia通告給S-PE,觸發S-PE上PW-FRR倒換;
對于TDM業務優選該方案,避免N-PE設備運行APS/MC-APS協議。TDMÐ業務單歸組網(一)
1:1單歸場景主要用于承載TDM業務或者ETH專線,PW的主備關系、保護、OAM參照上圖部署,BFD
forPerPW配置,PW-BFD端到端部署,BFD檢測周期推薦100ms,但備用MS-PW上不部署BFD檢測,;U-PE與S-PE之間,S-PE與N-PE之間部署TE-FRR/HSB保護,即每段PW都部署保護;PW配置單發雙收模式,對于E1業務建議配置單發選收;
PW
FRR用于保護S-PE節點故障,TE-FRR/HSB用于保護網絡側鏈路、單板、P設備故障;
對于TDM業務,UNI側采用MSP1+1/1:1保護,但UNI側故障不需要向網絡側映射;對于ETH專線UNI側需要支持LACP;
對于無保護的ETH專線,可以看做是這種方案的特例,只有主用MS-PW承載業務;
如果N-PE是6200設備,TE按照域間方式部署,如果N-PE是9000,TE按照域內方式部署。TDMÐ業務單歸組網(二)多段偽線端到端保護組網;
配置端到端的PW檢測;TE按照域內方式部署。ZXCTN9000ZXCTN9000CE1FE/GES-PES-PEE1U-PE主PW備PWFE/GEE1CE備PW備PW主PW主PWU-PES-PES-PEE1/TDM業務端到端部署方案(聯通初期方案,后續統一到MS-PW)LSP同源同宿,建立環形保護,形成LSP主備鏈路主鏈路始于接入分組設備A,沿業務流向一直向上,經過路由器B、C,最終到達核心分組設備D備鏈路由路由器A為另一條LSP鏈路經分組設備E、F、G,最終指向DPW同源不同宿,兩條PW偽線,終點指向不同PE設備主用PW偽線為接入分組設備A途徑匯聚分組設備B、C到核心分組設備D備用PW偽線為接入分組設備A途徑匯聚分組設備E、F到核心分組設備G基站BSC/RNC/aGW基站匯聚層二三層橋接點接入層核心層PWE3BSC/RNCRNC/aGWL2VPNBSC-CEBSC-CE2GE1/TDM基站/以太網大客戶專線3GPS/LTEHoL3VPNE1業務匯聚E1匯聚IPABCDFEG主用PW備用PW主用LSP備用LSP備PW主用LSPL2大客戶H-VPLS組網此方案用于承載ETH專線或者P2MP業務,PW的主備關系、保護、OAM參照上圖部署,BFD
forPerPW配置,PW-BFD端到端部署,BFD檢測周期推薦100ms;U-PE與S-PE之間,即每段PW都可以被HSB保護,S-PE與N-PE之間部署TE-FRR;U-PE上PW-FRR配置單發選收;異廠家網絡業務互通方案網絡業務互通:對于大型本地網,每一個綜合接入網為同一廠家設備。不同的接入網,劃分不同的AS域。各綜合接入網之間,采用OptionA跨域方式進行互通,PE(ASBR)之間通過多個vrf子接口相聯。ASBR互相把對方看作自己的一個本地CE,使用傳統的EBGP交換公網IPv4路由。通過在各自的核心層部署兩臺設備,互為CE。兩臺CE將對方路由設為默認路由,業務完成自動尋址大客戶大客戶匯聚層二三層橋接點接入層核心層備用PW主用PW大客戶大客戶匯聚層二三層橋接點接入層核心層備用PW主用PW20.1.1.130.1.1.120.1.1.230.1.1.2NGN承載網AS100AS200AS300Inter-ASL3VPNOptionA廠家一綜合承載網廠家二綜合承載網10.1.1.110.1.1.2vrfvrf方案內容網絡架構設計IGP以及業務地址規劃業務模型
可靠性QOS部署
時鐘部署E1/TDM業務域間MS-PW分段保護方案基站BSC/RNC/aGW基站匯聚層二三層橋接點接入層核心層PWE3BSC/RNCRNC/aGWL2VPN6200-16200-22GE1/TDM基站3GPS/LTEHoL3VPNE1業務匯聚E1匯聚IPABCDFEG主用PW備用PWPWE3主用PW主用PW備用PWABCDELSPHSB(hot-standby)主鏈路LSP出現故障,直接切換至備鏈路LSP
環形保護最終E1業務數據流仍然由6200-1設備匯聚至BSC/RNC/aGWPWFRR1+1保護B節點和6200-1節點掉電、RNC側故障;雙PW偽線,主PW偽線down掉后切換至備PW偽線PW工作在回切模式。E1/TDM業務域間MS-PW分段保護方案基站BSC/RNC/aGW基站匯聚層二三層橋接點接入層核心層PWE3BSC/RNCRNC/aGWL2VPNBSC-CEBSC-CE2GE1/TDM基站3GPS/LTEHoL3VPNE1業務匯聚E1匯聚IPABCDFEG主用PW備用PWPWE3主用PW主用PW備用PWABCDETE-FRR主鏈路LSP出現故障,直接切換至備鏈路by-passLSP
環形保護最終E1業務數據流仍然由D設備匯聚至BSC/RNC/aGWPWFRR1+1保護B和D節點掉電、RNC側故障;雙PW偽線,主PW偽線down掉后切換至備PW偽線PW工作在回切模式。E1/TDM業務端到端部保護方案LSPHSB(hot-standby)主鏈路LSP出現故障,直接切換至備鏈路LSP
環形保護最終E1業務數據流仍然由D設備匯聚至BSC/RNC/aGWPWFRR雙PW偽線,主PW偽線down掉后切換至備PW偽線兩條偽線指向不同peer,端到端保護,采用A到G的PW偽線,有G設備匯聚E1業務至BSC/RNC/aGW基站BSC/RNC/aGW基站匯聚層二三層橋接點接入層核心層PWE3BSC/RNCRNC/aGWL2VPNBSC-CEBSC-CE2GE1/TDM基站/以太網大客戶專線3GPS/LTEHoL3VPNE1業務匯聚E1匯聚IPABCDFEG主用PW備用PW主用LSP備用LSP備PW主用LSPAGCBEDF接入層保護方案配置1:1LSP
TEHSB保護,保護環上鏈路和節點(如故障2、3),OAM配置采用BFDforLSP檢測機制配置1:1PW偽線保護,保護匯聚節點(如故障1),OAM配置BFDforPW檢測機制L3VPN基站基站匯聚層二三層橋接點接入層核心層PWE3備用PW主用PW23主TELSP備TELSP1匯聚節點二三層橋接及網關保護方案在匯聚層進行二三層橋接,把PW橋接到三層接口的VRF中;業務網關配置配置在橋接設備上L3VPN網關處于雙網關工作狀態,兩臺網關配置相同的IP、MAC地址,2,3,4鏈路或設備故障,通過BFD和雙RD實現PW路徑的快速倒換和網關保護,1設備故障,通過VPNFRR進行切換
注意:在HOVPN組網中,不需要部署雙RD,僅僅在RR組網部署雙RD,以形成VPN-FRR保護5鏈路出現故障,匯聚層之上進行TEFRR切換保護;A配置主備PW接入到B設備L3VPN,PW終結到B1和B2,配置同一個三層子接口,向上發布基站網段路由,PW的狀態是單發雙收,主備PW不需要攜帶主備信息給B設備的三層路由接口,即主備PW不需要和路由機制聯動主備網關(B1、B2)向上通告基站路由,通過METRIC值區分業務路由優先級。人工指定不同的UPE通告不同優先級的路由。以此保證下行數據轉發路徑的唯一性。A設備主備PW需要向上主動發ARP請求,主備PW上都發,B設備都有基站的主機路由,由于PW是雙收性質,回程數據在主備PW上都可以接收此機制不需要在B類上配置VRRP,避免在B節點之間增加配置用于交互VRRP信令或故障切換時的流量回繞通道,且不會發生在配置VRRP情況下出現雙主的問題;有利于提升網絡的健壯性,降低運維復雜度L3VPN基站基站匯聚層二三層橋接點接入層核心層備用PW主用PWAB1B212345故障1:匯聚層鏈路失效時,匯聚層TE-FRR切換;故障2:匯聚層邊緣設備SPE節點失效時,匯聚層VPNFRR切換,核心層VPNFRR切換;BSC/RNC/aGW匯聚層核心層L3VPNBSC-CEBSC-CEE1業務匯聚匯聚層網絡保護方案UPE-1接入層UPE-2SPE-1SPE-21PEPE12故障3:核心層鏈路失效時,核心層TE-FRR切換;故障4:核心層PE節點失效時,核心層VPNFRR切換BSC/RNC/aGW匯聚層核心層L3VPNBSC-CEBSC-CEE1業務匯聚核心層網絡保護方案UPE-1接入層UPE-2SPE-1SPE-234PEPE34RNC側保護方案BSC/RNC/aGW核心層RAN-CE1RAN-CE2RAN-CE網絡RAN-CEBFD+VRRPRNC側保護方案RAN-CE間部署BFD+VRRP,檢測并保護RAN-CE及RAN-CE與BSC/RNC之間的鏈路故障。故障1:通過BFD檢測,RAN-CE1進行VRRP主備切換,RAN-CE2升級為主,RNC側鏈路進行主備切換,流量直接轉發至RAN-CE2。故障2:RAN-CE1仍然為主,RNC側鏈路進行主備切換,流量通過RAN-CE2二層迂回至RAN-CE1。VRRP心跳報文在RAN-CE之間進行轉發。RNC側二種場景:1)聯通現網存在專有RAN-CE網絡,核心層設備可以經由此網絡上聯到BSC/RNC。2)原則上,在RNC接口資源充足情況下,建議核心層設備直接接入RNC3)
如果RNC無空余接口情況下,可以新增設兩臺RAN-CE設備(聯通現網RAN-CE多為MSTP網絡遺留的產物),作為BSC/RNC的網關,以專用于IPRAN分組傳送網。
RAN-CE2:VRRPBackupRAN-CE1:VRRPMaster備用鏈路主用鏈路BFD+VRRP12BSC/RNC分組和CE之間的保護分組和CE之間采用口字型或者網狀連接(優選網狀),通過IP層進行業務互通;分組和CE之間通過IPFRR實現快速保護;當CE不支持IPFRR時,可以通過靜態路由收斂來實現網絡保護。RAN-CERNC基站基站L3VPNL3VPNL3VPNMasterpwSlavepw二三層橋接點L2VPN方案內容網絡架構設計IGP以及業務地址規劃業務模型
可靠性QOS部署
時鐘部署QOS部署方案QOS控制技術QoS控制機制IntServDiffServ在有限的帶寬下給各種業務提供盡可能好的傳遞保證根本原因:網絡帶寬不是無限的前提條件:不同應用對于網絡的質量要求是不同的,即不同業務對于丟包率、時延和抖動的敏感程度是不同的序號業務種類業務特點Qos級別優先級設置1協議信令帶寬小,需嚴格保證高622G業務對時延、抖動、丟包感知敏感業務EF33GCS業務EF4大客戶2M/以太網專線固定帶寬,安全穩定性要求高AF453GPS業務主要是移動終端上網業務,帶寬大,允許一定時延中AF36互聯網專線以10M/100M為主,允許一定時延AF17OLT上聯業務公眾寬帶業務,實時性要求低低BE業務QoS規劃*優先級設置為中興廠家建議設置,非最終定稿設置;*優先級=7的級別預留,不分配;RNC基站基站L3VPNL3VPNL3VPNMasterpwSlavepw二三層橋接點L2VPNE1FEE1FEch.STM-1GE801.2p->EXP映射DSCP->EXP映射PQ+WFQ調度EXP->EXP映射根據EXP轉發PQ+WFQ調度EXP->802.1p映射EXP->DSCP映射PQ+WFQ調度QoS配置映射建議QoS方案:網絡輕載,采用Diff-Serv模式進行業務優先級區分和調度;在業務接入點1)部署QoS優先級映射機制,將基站或RNC送來的VLAN報文或IP報文的優先級字段映射到IPRAN網絡的L2VPN或L3VPN優先級字段——EXP字段;2)將E1/STM-1業務直接規定到EF優先轉發等級;IPRAN網絡整體部署PQ+WFQ調度隊列,話音和高等級業務進入PQ隊列,其他業務根據優先級進入WFQ輪詢隊列;接入點負責區分優先級,網絡側負責根據優先級快速轉發;方案內容網絡架構設計IGP以及業務地址規劃業務模型
可靠性QOS部署
時鐘部署WCDMA基站不要求嚴格的時間同步,但需要頻率同步;LTE階段MBMS業務需要時間同步支持;第一步,全網部署同步以太網(SyncE);第二步,部署1588v2實現時間同步;頻率源選擇BITS或GPS/北斗,時間源選擇GPS/北斗;頻率源、時間源在核心層注入,可配置主備模式;網絡頻率同步,配置SM算法,選擇最優頻率傳遞路徑,阻塞備用來源,形成主備關系;網絡時間同步,運行BMC算法,優選時間源,并形成主備關系;基站側:1)基站支持同步以太網,則通過FE/GE傳遞頻率2)不支持,則采用1PPS+ToD同步3)若基站有E1接口,可從E1提取時鐘網絡同步方案核心層匯聚層接入層FEE1BTSBTSBITS時鐘信號同步以太網(SyncE)+1588v2Ch.STM-1RNCBITS時鐘信號帶內:FE/GE帶外:1PPS+TOD帶外:E1提取E1FE阻塞備用頻率端口1PPS+ToD時鐘部署方案核心層的網絡采用時鐘保護,并設置主、備時鐘基準源,用于時鐘主備倒換。對于有BITS(BuildingIntegratedTimingSupplySystem)或其他高精度外接時鐘設備時,接入網元首選外定時方式,即設備1PPS+TOD接口或BITS接口時鐘;其次采用線路定時,如FE/GE接口時鐘,這種方式占用一個業務端口;E1時鐘:優先采用全網同步方案,也可采用自適應方案;基站接入層匯聚層核心層RNCMasterSourceSlaveSource全網支持同步以太同步以太1588v2帶內:FE/GE帶外:1PPS+TOD帶外:2Mbits時間部署方案優選同步以太網+1588V2方式進行同步,可以避免背景流量對同步精度的影響;GPS解決方案分組傳送網解決方案RNCNodeBEthernet同步網Ethernet同步網NodeBNodeBRNCNodeBEthernet同步網NodeBNodeB1HZ1HZ1HZ1HZ1HZ1HZ1HZ1HZEthernet同步網中國聯通分組傳送網引入交流提綱中國聯通分組傳送組網方案中興通訊分組傳送網工程應用案例中興通訊雙棧架構,全球領先整合傳輸、數通產品線資源創新性提出雙棧理念,實現統一硬件平臺基于雙棧架構的統一硬件平臺產品規模商用;中移集采蟬聯排名第一海外西班牙電信、意大利電信、馬來西亞電信等商用資源整合2008規模商用2009引領雙棧2010-20112010年,實現真正“雙棧”,基于統一硬件平臺、統一軟件支持MPLS-TP和IP/MPLS;2011年,電信集采第一;2011年,承載中移LTE試商用網絡;2011年,以雙棧平臺架構產品參加中國聯通分組傳送試商用網絡建設=IP/MPLS(IP/RAN)MPLS-TP(PTN)+ZXCTN統一硬件平臺ROS軟件平臺ZXCTN–面向綜合業務承載雙棧架構:支持MPLS-TP+IP/MPLS根據業務場景,選擇最佳組網模式。消除技術選擇風險,優化建網成本。ZXCTN雙棧結構中興通訊雙棧架構產品入網證中興雙棧架構產品全面支持多業務承載核心層匯聚層接入層ZXCTN6300ZXCTN6130ZXCTN9004ZXCTN9008ZXCTN6110ZXCTN6220ZXCTN6120設備名稱物理尺寸(高x寬x深,mm)交換容量(單向)槽位數滿配置功耗(W)熔絲規格電源類型ZXCTN9008888.2*482.6*560800G32
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
- 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 人教版七年級數學上冊《1.1正數與負數》同步測試題及答案
- 2025年法學概論考試的備考經驗交流及試題及答案
- 年度培訓與發展方案計劃
- 山東省青島市廣雅中學2025年數學八下期末達標檢測試題含解析
- 實施教研活動常態化計劃
- 落實計劃的執行力提升
- 行政程序的合法性與透明性研究試題及答案
- 服務器維護最佳實踐試題及答案
- 財務合規管理的重要性計劃
- 2025屆湖北省黃州思源實驗學校八年級數學第二學期期末統考試題含解析
- 2025屆金融公司校招筆試真題及答案
- 村干部公務員試題及答案
- 汽車救援考試題及答案
- 毫針操作基本技術
- 高中家長會 共筑夢想,攜手未來課件-高二下學期期末家長會
- 通用電子嘉賓禮薄
- 鋼筋混凝土獨立基礎施工方案
- GB/T 24610.1-2019滾動軸承振動測量方法第1部分:基礎
- GA 576-2018防尾隨聯動互鎖安全門通用技術條件
- 4.2依法履行義務 說課課件(共19張PPT)
- 美麗鄉村建設施工組織設計
評論
0/150
提交評論