1、本科生課程大綱課程名稱并行編程原理與程序設(shè)計(jì)課程代碼081513101257課程屬性專業(yè)知識(shí)課時(shí)/學(xué)分48/2.5課程性質(zhì)選修實(shí)踐學(xué)時(shí)16責(zé)任教師 課外學(xué)時(shí)48(32+16)課程屬性：公共基礎(chǔ)/通識(shí)教育/學(xué)科基礎(chǔ)/專業(yè)知識(shí)/工作技能，課程性質(zhì)：必修、選修一、 課程介紹 1.課程描述：并行編程原理與程序設(shè)計(jì)是地球信息科學(xué)與技術(shù)專業(yè)的必修課，也是勘查技術(shù)與工程專業(yè)的選修課。地球物理信息解譯中的計(jì)算量十分龐大，常規(guī)串行電腦和軟件無法解決地球物理資料的解譯問題，必須采用并行算法合并行計(jì)算機(jī)來解決地球物理資料的處理、解釋合反演工作。目前，微機(jī)群和GPU機(jī)群在地球物理領(lǐng)域的應(yīng)用日益廣泛，“地球信息科學(xué)與技

2、術(shù)”和“勘查技術(shù)與工程”專業(yè)必需掌握并行編程的基本原理與方法才能實(shí)現(xiàn)地學(xué)信息高效解譯得目的，本課程主要學(xué)習(xí)基于微機(jī)群的MPI程序設(shè)計(jì)方法和基于GPU集群的CUDA程序設(shè)計(jì)方法，并進(jìn)行適當(dāng)?shù)纳蠙C(jī)實(shí)踐。通過本課程的學(xué)習(xí)，可使學(xué)生了解和掌握大型科學(xué)與工程問題中的基本并行編程技術(shù)，初步具備編寫大型并行應(yīng)用程序的能力。2.設(shè)計(jì)思路：本課程的講授內(nèi)容主要包括兩大部分：第一部分：MPI并行程序設(shè)計(jì)部分：第一章 并行程序設(shè)計(jì)基礎(chǔ)主要內(nèi)容：并行計(jì)算；并行編程模型與并行語言；并行算法第二章 MPI簡(jiǎn)介主要內(nèi)容：什么是MPI；MPI的目的，產(chǎn)生與發(fā)展；MPI的語言綁定；目前主要的MPI實(shí)現(xiàn)；SPMD并行機(jī)上并行程序

3、的執(zhí)行過程第三章 第一個(gè)MPI程序主要內(nèi)容：MPI實(shí)現(xiàn)的“Hello World”；c與Fortran語言的MPI程序的一些慣例第四章 六個(gè)接口構(gòu)成的MPI子集主要內(nèi)容：子集介紹；MPI預(yù)定義的數(shù)據(jù)類型；MPI數(shù)據(jù)類型匹配與數(shù)據(jù)轉(zhuǎn)換；MPI消息； 第五章 簡(jiǎn)單的MPI程序示例主要內(nèi)容：獲取機(jī)器名字和MPI版本號(hào)；數(shù)據(jù)接力傳送；任意進(jìn)程間互相問候，任意源和任意標(biāo)識(shí)的使用；編寫安全的MPI程序 第六章 MPI并行程序的兩種基本模式主要內(nèi)容：對(duì)等模式的MPI程序設(shè)計(jì)；主從模式的MPI程序設(shè)計(jì)，標(biāo)準(zhǔn)通信模式的特點(diǎn)與消息傳遞過程第七章 不同通信模式MPI并行程序設(shè)計(jì)主要內(nèi)容：四種通信模式（標(biāo)準(zhǔn)，緩存，同

4、步與就緒），了解集中通信模式的劃分依據(jù)，掌握四種通信模式的優(yōu)缺點(diǎn)及實(shí)現(xiàn)方式第八章 非阻塞通信MPI程序設(shè)計(jì)主要內(nèi)容：阻塞通信；非阻塞通信簡(jiǎn)介；非阻塞標(biāo)準(zhǔn)發(fā)送與接收；非阻塞通信與其他三種通信模式的結(jié)合；非阻塞通信的完成第九章 組通信MPI程序設(shè)計(jì)主要內(nèi)容：組通信的消息通信功能，同步功能和計(jì)算功能；廣播；收集；散發(fā)；組收集；全互換、同步、歸約、組歸約、歸約并散發(fā)操作的函數(shù)形式、使用方法與執(zhí)行過程；幾個(gè)相關(guān)示例程序第二部分：CUDA并行程序設(shè)計(jì)部分： 第一章 引言主要內(nèi)容：異構(gòu)并行算法，現(xiàn)代GPU的體系結(jié)構(gòu)，為什么需要更高的速度和并行化，應(yīng)用程序加速，并行編程語言和模型 第二章 GPU計(jì)算的發(fā)展歷程

5、主要內(nèi)容：圖形流水線的發(fā)展，固定功能的圖形流水線時(shí)代，可編程實(shí)時(shí)圖形流水線的發(fā)展，圖形與計(jì)算結(jié)合的處理器，GPGPU：一個(gè)中間步驟，GPU計(jì)算，可擴(kuò)展的GPU，發(fā)展近況，未來的發(fā)展趨勢(shì)第3章 CUDA簡(jiǎn)介主要內(nèi)容：PC架構(gòu)，GPU硬件結(jié)構(gòu)，CPU與GPU，數(shù)據(jù)并行性，CUDA的程序結(jié)構(gòu) 第4章 CUDA環(huán)境搭建主要內(nèi)容：簡(jiǎn)介，在Windows下安裝軟件開發(fā)工具包，Visual Studio，工程，64位用戶，創(chuàng)建工程，Linux，安裝調(diào)試器，編譯模型，錯(cuò)誤處理 第5章 線程網(wǎng)格、線程塊以及線程，主要內(nèi)容：簡(jiǎn)介，線程，問題分解，CPU與GPU的不同，任務(wù)執(zhí)行模式，GPU線程，CUDA內(nèi)核，線程塊

6、，線程網(wǎng)格，跨幅與偏移，X與Y方向的線程索引，線程束，分支，GPU的利用率，線程塊的調(diào)度第6章 數(shù)據(jù)并行執(zhí)行模型，主要內(nèi)容：向量加法kernel函數(shù)，設(shè)備全局存儲(chǔ)器與數(shù)據(jù)傳輸，kernel函數(shù)與線程，函數(shù)聲明，啟動(dòng)kernel函數(shù)，預(yù)定義變量，CUDA的線程組織，線程與多維數(shù)據(jù)映射，矩陣乘法一個(gè)更加復(fù)雜的kernel函數(shù)，線程同步和透明的可擴(kuò)展性，線程塊的資源分配，線程調(diào)度與容許時(shí)延第三部分：上機(jī)實(shí)踐部分： 本課程實(shí)踐部分的設(shè)計(jì)思路為：以并行程序設(shè)計(jì)的方法為主線，結(jié)合地學(xué)信息處理中的實(shí)際問題，讓學(xué)生掌握MPI和CUDA程序設(shè)計(jì)的基本方法和技能。課程內(nèi)容包括三個(gè)模塊：MPI和CUDA程序設(shè)計(jì)軟件

7、環(huán)境的設(shè)置與相關(guān)軟件的安裝、數(shù)值積分的并行求解設(shè)計(jì)與編程、聲波方程正演模擬問題的并行設(shè)計(jì)與編程。（1）MPI和CUDA程序設(shè)計(jì)軟件環(huán)境的設(shè)置與相關(guān)軟件的安裝： 實(shí)現(xiàn)不同計(jì)算機(jī)硬件和操作系統(tǒng)條件下MPI軟件的安轉(zhuǎn)與編程環(huán)境的設(shè)置，實(shí)現(xiàn)不同計(jì)算機(jī)硬件和操作系統(tǒng)條件下CUDA軟件的安裝與編程環(huán)境的設(shè)置。（2）數(shù)值積分的并行求解設(shè)計(jì)與編程：給定地學(xué)信息解譯中的常見的數(shù)值積分問題并設(shè)計(jì)其并行求解方案，實(shí)現(xiàn)該類問題的并行高效求解。（3）聲波方程正演模擬問題的并行設(shè)計(jì)與編程：給定地學(xué)信息解譯中的常見的二維聲波方程正演模擬問題并設(shè)計(jì)其并行求解方案，實(shí)現(xiàn)該類問題的并行高效求解。3. 課程與其他課程的關(guān)系先修課程

8、：C程序設(shè)計(jì)，或FORTRAN程序設(shè)計(jì)。本課程還與彈性波動(dòng)力學(xué)、電磁場(chǎng)論、地球物理資料處理等課程密切相關(guān)，本課程是解決上述課程中大型科學(xué)計(jì)算問題的必不可少的工具。二、課程目標(biāo)本課程的目標(biāo)是培養(yǎng)學(xué)生的并行編程思路和能力，初步具備編寫大型并行應(yīng)用程序的能力，培養(yǎng)能用并行計(jì)算機(jī)和并行技術(shù)解決地球物理信息解譯問題的工程技術(shù)人才。（1）掌握MPI程序設(shè)計(jì)基本思路與方法，掌握MPI并行軟件的安轉(zhuǎn)與并行編程環(huán)境的設(shè)置方法。（2）掌握CUDA程序設(shè)計(jì)基本思路與方法，掌握CUDA并行軟件的安轉(zhuǎn)與并行編程環(huán)境的設(shè)置方法。（3）培養(yǎng)學(xué)生并行程序設(shè)計(jì)能力，通過上機(jī)訓(xùn)練，達(dá)到利用并行計(jì)算機(jī)和并行程序解決復(fù)雜工程問題的能

9、力。三、學(xué)習(xí)要求并行編程原理與程序設(shè)計(jì)是一門實(shí)踐性較強(qiáng)的課程，作為一名地球物理方向的大學(xué)生，不僅需要一定的數(shù)、理和地質(zhì)、地球物理的基礎(chǔ)，同時(shí)還需要掌握利用先進(jìn)的并行計(jì)算機(jī)解決地學(xué)問題的基本技能與方法。通過本課程教學(xué)，一方面要掌握并行編程的基本思路與方法，另一方面還要培養(yǎng)和提高學(xué)生的實(shí)踐能力，能夠編寫并行程序解決地學(xué)信息解譯中的工程問題。要達(dá)到以上學(xué)習(xí)任務(wù)，學(xué)生必須：（1）按時(shí)上課,上課認(rèn)真聽講，積極參與課堂討論、作業(yè)典型案例分析。本課程將包含較多的課下作業(yè)、討論、小組作業(yè)展示等課堂活動(dòng)。（2）保質(zhì)保量的按時(shí)完成上機(jī)作業(yè)，只有在作業(yè)中才能夠不斷掌握所學(xué)習(xí)的內(nèi)容。（3）理論學(xué)習(xí)和上機(jī)實(shí)踐的基礎(chǔ)上，

10、要在大學(xué)生創(chuàng)新創(chuàng)業(yè)計(jì)劃和畢業(yè)設(shè)計(jì)等課程中利用本課程的相關(guān)知識(shí)解決實(shí)際問題，提升自己的并行編程能力。四、教學(xué)進(jìn)度序號(hào)專題或主題計(jì)劃課時(shí)主要內(nèi)容概述一 MPI程序設(shè)計(jì)部分1第1章 并行程序設(shè)計(jì)基礎(chǔ)1并行計(jì)算；并行編程模型與并行語言；并行算法2第2章 MPI簡(jiǎn)介1什么是MPI；MPI的目的，產(chǎn)生與發(fā)展；MPI的語言綁定；目前主要的MPI實(shí)現(xiàn)；SPMD并行機(jī)上并行程序的執(zhí)行過程3第3章 第一個(gè)MPI程序1MPI實(shí)現(xiàn)的“Hello World”；c與Fortran語言的MPI程序的一些慣例4第4章 六個(gè)接口構(gòu)成的MPI子集4子集介紹；MPI預(yù)定義的數(shù)據(jù)類型；MPI數(shù)據(jù)類型匹配與數(shù)據(jù)轉(zhuǎn)換；MPI消息5第5

11、章 簡(jiǎn)單的MPI程序示例3獲取機(jī)器名字和MPI版本號(hào)；數(shù)據(jù)接力傳送；任意進(jìn)程間互相問候，任意源和任意標(biāo)識(shí)的使用；編寫安全的MPI程序6第6章 MPI并行程序的兩種基本模式4對(duì)等模式的MPI程序設(shè)計(jì)；主從模式的MPI程序設(shè)計(jì)，標(biāo)準(zhǔn)通信模式的特點(diǎn)與消息傳遞過程7第7章 不同通信模式MPI并行程序設(shè)計(jì)3四種通信模式（標(biāo)準(zhǔn)，緩存，同步與就緒），了解集中通信模式的劃分依據(jù)，掌握四種通信模式的優(yōu)缺點(diǎn)及實(shí)現(xiàn)方式8第8章 非阻塞通信MPI程序設(shè)計(jì)3阻塞通信；非阻塞通信簡(jiǎn)介；非阻塞標(biāo)準(zhǔn)發(fā)送與接收；非阻塞通信與其他三種通信模式的結(jié)合；非阻塞通信的完成9第9章 組通信MPI程序設(shè)計(jì)4組通信的消息通信功能，同步功能和

12、計(jì)算功能；廣播；收集；散發(fā)；組收集；全互換、同步、歸約、組歸約、歸約并散發(fā)操作的函數(shù)形式、使用方法與執(zhí)行過程；幾個(gè)相關(guān)示例程序二 CUDA程序設(shè)計(jì)部分1第1章 引言1異構(gòu)并行算法，現(xiàn)代GPU的體系結(jié)構(gòu)，為什么需要更高的速度和并行化，應(yīng)用程序加速，并行編程語言和模型2第2章 GPU計(jì)算的發(fā)展歷程1圖形流水線的發(fā)展，GPGPU：一個(gè)中間步驟，GPU計(jì)算 3第3章 CUDA簡(jiǎn)介 1PC架構(gòu)，GPU硬件結(jié)構(gòu)，CPU與GPU，數(shù)據(jù)并行性，CUDA的程序結(jié)構(gòu)4第4章 CUDA環(huán)境搭建1簡(jiǎn)介，在Windows下安裝軟件開發(fā)工具包， Visual Studio，Linux，安裝調(diào)試器，編譯模型錯(cuò)誤處理5第5章

13、線程網(wǎng)格、線程塊以及線程2簡(jiǎn)介，線程，線程塊，線程網(wǎng)格，線程束，線程塊的調(diào)度6第6章 數(shù)據(jù)并行執(zhí)行模型2向量加法kernel函數(shù)，設(shè)備全局存儲(chǔ)器與數(shù)據(jù)傳輸，kernel函數(shù)與線程，CUDA的線程組織，線程與多維數(shù)據(jù)映射，矩陣乘法一個(gè)更加復(fù)雜的kernel函數(shù)，線程同步和透明的可擴(kuò)展性，線程塊的資源分配，線程調(diào)度與容許時(shí)延三 上機(jī)實(shí)踐部分1MPI和CUDA的安裝與編程環(huán)境設(shè)置4MPI軟件的安裝，MPI編程環(huán)境的設(shè)置，CUDA軟件的安裝，CUDA并行環(huán)境的設(shè)置2數(shù)值積分的MPI并行求解4編寫程序?qū)崿F(xiàn)數(shù)值積分問題的并行求解3二維聲波方程的并行實(shí)現(xiàn)8編寫程序?qū)崿F(xiàn)二維聲波方程的并行求解五、參考教材與主要

14、參考書1、參考教材：高性能計(jì)算并行編程技術(shù)MPI并行程序設(shè)計(jì)都志輝清華大學(xué)出版社第一版2、主要參考書：MPI與OpenMP并行程序設(shè)計(jì)（C語言版）MichaelJ.Quinn著，陳文光衛(wèi)等譯清華大學(xué)出版社第一版并行算法實(shí)踐 陳國良 高等教育出版社 第一版并行計(jì)算-結(jié)構(gòu).算法.編程 陳國良 高等教育出版社 第一版并行算法的設(shè)計(jì)與分析 陳國良 高等教育出版社 修訂版并行計(jì)算導(dǎo)論 張林波等 清華大學(xué)出版社 第一版消息傳遞并行編程環(huán)境 MPI 陸新民 林鵬 科學(xué)出版社 第一版大規(guī)模并行處理器編程實(shí)戰(zhàn)DavidB.Kirk，Wen-meiW.Hwu著趙開勇汪朝輝程亦超譯，清華大學(xué)出版社第二版CUDA并行程序設(shè)計(jì)（GPU編程指南）ShaneCook著，蘇統(tǒng)華、李東、李松澤、魏通譯，馬培軍審校，機(jī)械工業(yè)出版社第一版六、成績(jī)?cè)u(píng)定（一）考核方式 A