2004年4月1/149并行計算--高性能計算并行計算(ParallelComputing）

高端計算(High-endParallelComputing)

高性能計算(HighPerformanceComputing)

超級計算(SuperComputing)

任何高性能計算和超級計算都離不開使用并行技術2004年4月2/149什么是并行計算?并行計算:

由運行在多個部件上的小任務合作來求解一個規模很大的計算問題的一種方法例:在曙光2000上用8個節點計算的Mandelbrot集結果(Mandelbrot為分形理論創始人)2004年4月3/149現代計算機的共同特點：

并行性2004年4月4/149現代計算機的共同特點：

并行性2004年4月5/149如何實現并行計算?分而治之!2004年4月6/149分而治之并行化的主要方法:分而治之根據問題的求解過程，把任務分成若干子任務(任務級并行或功能并行)根據處理數據的方式，形成多個相對獨立的數據區，由不同的處理器分別處理(數據并行)并行計算的特點為利用并行計算，通常計算問題表現為以下特征：

（1）將工作分離成離散部分，有助于同時解決；

（2）隨時并及時地執行多個程序指令；

（3）多計算資源下解決問題的耗時要少于單個計算資源下的耗時。

并行計算是相對于串行計算來說的，并行計算分為時間上的并行和空間上的并行。時間上的并行就是指流水線技術，而空間上的并行則是指用多個處理器并發的執行計算。

并行計算機的分類并行計算科學中主要研究的是空間上的并行問題。空間上的并行導致了兩類并行機的產生，按照Flynn的說法分為：單指令流多數據流（SIMD）和多指令流多數據流（MIMDMultipleInstructionStreamMultipleDataStream）。我們常用的串行機也叫做單指令流單數據流（SISD）。SISDSIMDMIMD9并行計算機體系結構

組成要素

結點（node）：一個或多個處理器組成

互聯網絡（interconnetctnetwork）：連接結點

內存（memory）：多個存儲模塊組成10并行計算機體系結構并行計算機體系

結構示意圖

內存模塊與結點分離并行計算機體系

結構示意圖

內存模塊位于

結點內部11操作系統與編程語言并行計算機主流操作系統：UNIX/Linux

AIX（IBM）

HPUX（HP）

Solaris（SUN）

IRIX（SGI）

Linux編程語言

Fortran77/90/95

C/C++2004年4月12/149并行計算軟件環境及現狀操作系統：UNIX、LINUX、WindowsNT在SMP,DSM并行機上編譯系統通常具有一定的對用戶程序(C/Fortran)進程自動并行化的能力,但經常需要人工干預(通過編譯制導,命令行選項等)以達到理想的并行效率.且并行主要針對循環進行(屬于細粒度并行);在分布式內存并行機上尚無通過高效的自動并行工具,主要依靠人工編寫并行程序;并行算法的設計及并行程序的編制已成為目前特約大規模并行計算機應用的主要障礙.并行編程現狀:并行軟件開發遠遠落后于并行系統體系結構的發展。缺少合適的并行軟件是阻礙主流用戶社會接納并行計算的原因。:與串行軟件相比，并行軟件數量少，功能原始。2004年4月13/149??編程環境落后的并行編譯器、調試器vs.通用先進的串行編程環境.自動并行編譯器遠遠滿足不了程序并行化的要求.3算法并行模型的多樣化(并行計算機系統結構的多樣性)vs.串行編程中的唯一模型:馮.諾依曼模型問題的并行求解的困難在于問題的多樣性和求解過程中所需的創造性勞動，使得這一過程難以進行自動化對串行機而言,解法=唯一串行算法+計算程序(通用)對并行機而言,解法=某種并行算法+有針對性的計算程序(很難通用)J人稀少而初級的并行編程人員vs.成熟而經驗豐富的串行程序員2004年4月14/149一些途徑充分利用順序程序開發的經驗、方法和工具，特別是順序領域中的問題求解、算法設計方法，這是簡化并行程序開發的重要手段。并行程序開發的困難主要在于問題的并行求解，而不是并行程序設計語言。“從事并行程序設計實踐的人往往把精力耗費在為變量分配內存、為循環體尋求并行上，卻忽略對問題本身的分析。其實能否并行的決定因素是應用問題本身。”在并行算法的設計階段最大限度地開發出問題本身固有的并行性才是提高計算效率的根本手段。只有粗粒度的并行，才能具有高的計算通信比，而粗粒度的并行只能在算法設計階段開發出來15并行編程環境常見的并行編程環境消息傳遞、共享存儲、數據并行特征消息傳遞共享數據數據并行典型代表

可移植性

存儲方式

學習難度

可擴展性MPI，PVM

所有流行并行機

分布式存儲

較難

好OpenMP

SMP，DSM

共享存儲

容易

較差HPF

SMP，DSM，MPP

共享存儲

偏易

一般三種并行編程環境主要特征一覽實現并行鵲編程常見劣方法1.線程蠟模型判（Op顯en扒MP治,P叢OS誘IX科)2.消息皮傳遞新模型芬（PV拉M，MP尤I）PV演M:攏Pa耐ra都ll妹el圈V購ir振tu射al煎M括ac械hi絡ne洗C肢om潑pu皺ti戶ngMP畫I:員Me本ss舒ag誰e液Pa余ss規in頌g匪In押te遍rf杯ac爬e3.數據辨并行滋模型女（HP掘F）三者方可混見合使瞎用:如對恩以SM簽P為節曠點的Cl吊us搜te萌r來說,可以嶄在節鈔點間薦進行塑消息構傳遞,在節藍點內癥進行拜共享恨變量例編程.18并行新算法適合蛾在并這行機犁上實銷現的天算法好的咬并行農算法岸應充懷分發范揮并莖行機叮計算獄機的連潛在組性能并行悅算法并行啞算法亂分類按運始算對河象：數值天并行莫算法角、非倒數值炊并行差算法按并狂行進淺程執沿行順知序：同步下并行甘算法測、異脊步并鬧行算躺法、治獨立盤并行豈算法按計里算任思務：細粒夾度并櫻行算托法（鋤基于圍向量菊和循摩環級討并行知）熄中咐粒度姿并行宇算法側（基沉于較鑒大的增循環肥級并油行）神大粒拴度并洋行算軍法（蘿基于開子任酸務級異并行學）并行藥的層籠次程序破級并艘行子程獲序級美并行語句態級并族行操作互級并鈔行微操歸作級亂并行并行霜粒度粗細后三察層大顛都由名硬件坊和編恰譯器查負責府處理小，程惱序員澤通常掌處理孫前兩乳層的件并行并行稠計算美機的找存儲相結構共享訪內存關、分納布式純內存困、混據合型福分布擦式共導享內疼存接點臟間的擺連接按連隊接方咐式分竿類：Co午mp監le泰te森ly揚-c限on矩ne率ct萄ed撈,槍St棵ar讀,例Tr叨ee笨,籍Li蹄ne仆ar粒A事rr鄰ay水a沫nd魚R閱in魯g,易H臺yp獎er請cu辰be集群插計算撐機：通過瞇高速端網絡LA家N將PC機或閱工作掠站連株結而銹成。接點泛間的馳連接按連炎接方暫式分叢類：Co既mp涌le足te銜ly朝-c辣on遭ne宋ct罩ed撒,頸St應ar遠,振Tr帶ee友,公Li勝ne煎ar防A混rr法ay吳a釀nd任R膚in晌g,范H餅yp叔er濁cu朽be集群善計算始機：通過倒高速察網絡LA并N將PC機或亡工作爺站連分結而歉成。問題圍分解1.作用棋域分集解：與問蝴題相猴關的墾數據鍵將會拜被分演解。擺每個轉并行惡的任銜務只塔能使由用部伶分數屑據鴨。2.功能烏分解較：關聞注要同被完盜成的杠計算留而不脅是操辭作數狼據的各計算錦。問喝題是薪根據艇當前辨一定袋要完悠成的精任務冷劃分歪的。薯每個法任務芳完成牢全部塘工作落的一免部分蟻。關注尤的問拼題1、通揉信2、同截步3、數捕據依剃賴4、負下載平茫衡5、I/衰O并行鎮計算漢的性屑能分供析1、加凡速比肆（sp燭ee戀du架p)2、并庭行效遷率并行番計算糕的術滔語（1）Ta擱sk：可包計算洗工作今在邏扎輯上河不連避續的成分區迫。一擇個任帆務通張常是撇一個秋程序添或者沈類似槽程序融一樣潛的可辛以被灘處理告器執具行的殼指令礎集。Pa南ra恒ll經el錘T余as振k：一微個任隆務可掀以被美多個家處理滾器安洋全的辰并行肺的執棒行，妻產生伏正確某的結柄果。Se惑ri輝al衰E慈xe拳cu罩ti惑on：程渣序相表繼的敬執行愧，每茅次一削個狀凡態。汗在最積簡單等的情挖況下茄，單灘核處壇理器靈就是灘這樣嫂運行遞的。縱可是地，實碑際上邪所有寶并行鞋的任傷務有凡一些燃并行趟程序圓的區影域一調定要原串行兵的執泥行。Pa飯ra晌ll尊el國E必xe摩cu聚ti套on：一瓣個或竿多個針任務份同時群執行參的程賞序，臨每個概任務算同時男能夠頭執行猛相同航的或勞不同疏的代毅碼語斧句。Pi互pe答li抗ni撤ng：不喘同的骨處理偏器單東元把隙一個倆任務戴根據范輸入氏流來弟分解頃成一圾系列岔步驟援來執決行，綁相當語于一慢條流包水線折；并庫行計披算的罷一種鐘。并行兩計算妙的術流語（2)Sh平ar秩ed翠M貝em刑or乞y（共題享內角存）鳳：完全注從硬強件的羽視角獻來描生述計有算機鋤體系倦結構呢，所俯有的井處理礎器直供接存深取通毯用的賄物理僻內存饅（基牽于總狼線結仰構）敢。在兇編程風的角布度上悶來看黑，他渣指出發從并怠行任余務看傭內存句是同妻樣的沈視圖槳，并班且能秧夠直侍接定椒位存廳取相囑同的金邏輯霸內存腐位置描上的捧內容雄，不線管物觸理內屆存是游否真飽的存序在。Sy溝mm課et鍬ri腹c理Mu萍lt釋i-賣Pr爹oc逆es蹲so聲r（對欣稱多妹處理制器）蟲：這種劫硬件冠體系冶結構卸是多考處理辦器共胃享一虜個地匆址空許間訪針問所胸有資話源的歌模型啊；共煮享內庸存計恢算。Di將st巧ri足bu妨te趣d誘Me糊mo確ry（分南布式衣存儲握）：從硬賴件的獎角度耕來看與，基棗于網橋絡存鹿儲的出物理湊內存階訪問西是不栗常見企的。歸在程投序模何型中慰，任贏務只層能看辦到本裕地機混器的屢內存雙，當籌任務是執行殼時一兇定要品用通繭信才目能訪皆問其糾他機巾器上壺的內成存空屢間。Co誼mm慎un典ic守at剖io錯n：并行臭任務想都需澡要交斬換數缺據。在有幾腥種方綠法可釋以完上成，吊例如招：共稻享內欣存總績線、星網絡闊傳輸辛，然斤而不稱管用扔什么嚼方法柴，真涌實的矮數據傍交換怨事件裝通常歸與通莊信相建關。Sy染nc川hr第on氣iz鋼at醬io事n：實時狠并行解任務相的調懇度通引常與味通信月相關下。總裳是通榜過建窯立一偉個程渠序內播的同裕步點獵來完舞成，件一個段任務懸在這弄個程限序點掌上等隆待，其直到忙另一森個任漸務到掛達相仁同的肺邏輯堂設備類點是丸才能迷繼續烈執行封。同冤步至必少要秧等待水一個沸任務籠，致蹄使并頁行程立序的待執行普時間包增加算。并行睜計算迫的術冷語(3授)Ob跨se爬rv穿ed禍S誓pe客ed噴up：測北量代確碼并據行化趕之后凈的加夏速比墾。這始是最乎簡單史也最皮廣泛塘使用筆的測眾量并宿行程俘序性濾能的炮方法鳴。Pa星ra方ll耗el青O畢ve緣瑞rh惹ea到d（并勁行開破銷）：對脹并行零任務悼調度界花費維的時羅間沒旺有做芳有用淋的工碰作。霜并行去開銷料可以險包含橫如下老因素姿：任剩務啟