1、電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 計算機組成與設計計算機組成與設計硬件硬件/ /軟件接口軟件接口大容量和高速度：大容量和高速度：開發存儲器層次結構開發存儲器層次結構電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 5.1 引言引言馮若依曼(Von Nouma)美籍匈牙利數學家 1903 1957存儲程序概念。存儲程序概念。要運行的程序必須先調入內存，然后再執行。程序程序MemoryCPULoadAllExecuteOne by one電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 基本術語及概念基本術語及概念n 存儲器的分類 半

2、導體存儲器1. 靜態隨機存儲器 SRAM2. 動態隨機存儲器 DRAM 磁表面存儲器：容量、存儲周期容量、存儲周期例：例：2GB 60ns容量、轉速容量、轉速例：例： 200GB 7200轉轉/分分3. 閃存 - Flash Memory電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 光盤存儲器： 1. 1. CD-ROM：只讀性光盤：只讀性光盤 2. 2. WORM：寫入式（只能寫一次）：寫入式（只能寫一次） 3. 3. CD-RW：可擦：可擦/ /寫光盤寫光盤基本術語及概念基本術語及概念DVD - Digital Versatile Disc 4.7GBVCD - Vid

3、eo Compact Disc 700MB電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 基本術語及概念基本術語及概念n 存儲器存取方式 可按地址隨機地訪問任一存儲單元 隨機存取存儲器(RAM) 訪問時間與訪問地址無關 順序存取存儲器(SAM)必須按順序訪問,例如：磁帶。速度慢，現在已Out了。電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 n 存儲器的主要性能指標 存儲容量單位：Byte、KB、MB、GB 存取周期 CPU連續訪存中平均一次存取操作所需的時間。基本術語及概念基本術語及概念電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 5.

4、1 引言引言控制器控制器數據路徑數據路徑存儲器存儲器處理器處理器輸入輸入輸出輸出指令指令數據數據 存儲器向處理器提供指令和數據但問題是但問題是：存儲器：存儲器太小太小、太慢太慢?電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 5.1 引言引言n 局部性原理 時間局部性如果某個數據被訪問，那么很快它有可能再次被訪問。 空間局部性如果某個數據被訪問，那么與它鄰近的數據有可能很快被訪問。Really? 別騙我！別騙我！電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 5.1 引言引言n 問題：存儲器太小、太慢 辦法：存儲器系統分層結構控制器控制器 數據數據 路徑路徑

5、存儲器存儲器(內存內存)(DRAM)處理器處理器寄存器寄存器L1Cache(SRAM)L2Cache(SRAM)外存外存(硬盤硬盤)電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 n Static RAM(SRAM)靜態存儲器5.1 引言引言 用于制造寄存器、L1/L2 Cache 存取速度快：0.525ns(集成的更快) 集成度低、價格貴 功耗大電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 n Dynamic RAM(DRAM)動態存儲器5.1 引言引言 用于計算機主存的制造 存取速度慢：5070ns 需周期性刷新 功耗小 集成度高，價格便宜電子科技大學

6、計算機科學與工程學院電子科技大學計算機科學與工程學院 5.1 引言引言處理器處理器數據行或數據行或塊塊命中命中: 數據在高數據在高層層存存儲儲器器缺失缺失: 數據沒有位于高數據沒有位于高層層存存儲儲器器電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 術語術語 命中率在高層存儲器中找到訪問數據的比例。 缺失率在高層存儲器中沒有找到訪問數據的比例。缺失率 = 1 命中率電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 術語術語 命中時間訪問高層存儲器所需的時間。 缺失代價將數據塊從低層搬到高層存儲器并送到處理器所需的時間。判斷時間 + 數據傳送時間電子科技大學計算

7、機科學與工程學院電子科技大學計算機科學與工程學院 5.2 Cache5.2 Cache的基本原理的基本原理n DRAM的發展趨勢 容量：4倍/3年 速度：2倍/10年電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 5.2 Cache5.2 Cache的基本原理的基本原理n CPU與Memory的速度差11010010001980 19811983 1984 1985 1986 1987 1988 19891990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000CPU1982增長：增長： 50% / 年年性能性能“Moores

8、 Law”DRAM電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 5.2 Cache5.2 Cache的基本原理的基本原理n 尋址的速度差異 尋址延時與制造材料的物理特性有關 帶寬的增加并行傳輸：多位同時傳輸突發傳輸（Burst transfers）在一個讀寫周期內實現多次傳輸。電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 5.2 Cache5.2 Cache的基本原理的基本原理n 利用帶寬支持存儲器的分層結構 使用Cache支持訪問的局部性 分層設計存儲器，實現內存中大塊數據的傳輸電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 當前計算

9、機的存儲器結構當前計算機的存儲器結構SystemControllerL1 CacheMain Memory(DRAM)GraphicsProcessor(I/O Bus)L2 CacheProcessor電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 CacheCache的原理的原理CPU主存主存Cachen 插入到CPU與主存間n 由快速SRAM實現n 存儲程序的部分 指令 數據n 操作： 命中(在Cache中) 未命中 (不在Cache中)電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 實現實現CacheCache的的4 4個關鍵問題個關鍵問題1：數據塊

10、放在Cache的什么地方？2：如何在Cache中找到所需的數據塊？3：Cache未命中時如何轉換數據塊？4：寫數據時如何寫？A. 只寫Cache？B. 只寫Memory？C. 同時時寫Cache和Memory？D. 其它？電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 基本的基本的CacheCache設計設計電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 基本的基本的CacheCache設計設計二者必須二者必須相等相等電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 基本的基本的CacheCache設計設計組號組號第第0頁頁7位位Cache組

11、號組號第第1頁頁組號組號第第15頁頁第第0頁頁第第1頁頁第第15頁頁第第16頁頁第第17頁頁第第31頁頁第第2032頁頁第第2033頁頁第第2047頁頁0組組1組組127組組主存主存組號組號組內頁號組內頁號頁內地址頁內地址XXYYZZ749定位定位Cache頁，頁，讀取組號讀取組號相等嗎？相等嗎？據此判斷內存目標頁據此判斷內存目標頁是否在是否在Cache中中電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 基本的基本的CacheCache設計設計n 特點：特點： 硬件硬件實現容易；實現容易； Cache Cache利用率低；利用率低；電子科技大學計算機科學與工程學院電子科技大學

12、計算機科學與工程學院 5.2.1 Cache5.2.1 Cache的訪問的訪問n 內存地址結構的設計內存地址結構的設計組號組號組內頁號組內頁號數據頁（數據頁（512B）4位位7位位9位位電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 5.2.1 Cache5.2.1 Cache的訪問的訪問n CacheCache地址結構的設計地址結構的設計標記位標記位有效位有效位數據頁（數據頁（512B）1位位7位位必須與主存頁必須與主存頁大小相同大小相同電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 5.2.1 Cache5.2.1 Cache的訪問的訪問00001010

13、0101110100100111010101110000101010XXXXXXXXX09 812 1119VTagData=DATAHIT電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 舉例舉例假設一個直接映射的Cache，有16KB數據，塊大小4個字，地址32位，那么Cache總共有多少位?(即Cache的大小)參考答案：參考答案：MIPS中：32位/字=4字節/字塊大小：4字/塊=16字節/塊=128位/塊16KB分為：16K16=1K=1024(塊）電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 舉例舉例數據塊數據塊0128bit有效位有效位1bit

14、標記位標記位18bit數據塊數據塊1有效位有效位標記位標記位數據塊數據塊1023有效位有效位標記位標記位1024電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 舉例舉例對于前面例子，若內存地址分別為100005和0 x100005的字節將分別映到Cache的哪一塊？參考答案：n 對于內存地址100005 該內存地址位于第?塊6249塊塊？6250塊塊？6251塊塊？6250塊電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 10位舉例舉例參考答案：n 對于內存地址0 x100005010100000000000000000001500001十六進制十六進制二進

15、制二進制電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 缺失率與塊大小缺失率與塊大小電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 缺失率與塊大小缺失率與塊大小Cache塊較大時，一 旦缺失，帶來的延時和開銷是比較大的。n 提前重啟（early restart）當塊中所需字一旦返回就馬上執行，而不需要等待整個塊都傳過來再執行。 該技術用于指令訪問，效果較好，因為指令通常是連續的。 該技術用于數據Cache效率要低一些，因為請求的數據其分布無法預知。電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 缺失率與塊大小缺失率與塊大小n 請求字優先/關

16、鍵字優先缺失時，先將請求字從存儲器傳輸到Cache中，然后再傳輸該塊的剩余部分，之后再從塊的開始部分傳輸。該技術的延時性能比提前重啟要好一些。電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 5.2.2 Cache的缺失處理的缺失處理n 指令Cache缺失的處理步驟 將PC 4送到存儲器中 通知主存執行讀操作，并等待主存訪問完成 寫Cache項，并設置Cache相關標志 重新取指令，此時指令在Cache中電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 5.2.3 寫操作處理寫操作處理n Write-through(寫直達/通寫)當需要寫數據時（執行Store指

17、令），將數據同時寫入Cache和主存中。優點：Cache和主存的內容保持一致。缺點：耗時長，效率低。電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 5.2.3 寫操作處理寫操作處理n 寫缺失當要寫的數據不在Cache中時，發生寫缺失。1. 將主存中的數據塊讀到Cache；2. 將要寫的數據寫到Cache和主存中；為什么不直接寫到為什么不直接寫到Cache和主存？和主存？電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 5.2.3 寫操作處理寫操作處理n 寫直達方法簡單，但效率低下例如例如，10%的指令是store，沒有Cache失缺的情況下，CPI為1.0，每

18、次寫操作要額外花費100個周期，此時CPI為：CPI - ClockcyclePerInstruction電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 5.2.3 寫操作處理寫操作處理n 寫緩沖（Write buffer）當有數據需要寫入主存時：將數據寫入Cache和寫緩沖區(write buffer)后，處理器繼續執行；當寫主存操作完成后，寫緩沖區里的數據被釋放；若寫緩沖區滿，則處理器必須等待一個寫操作完成后（釋放一個空位）才能將數據寫入寫緩沖區。電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 5.2.3 寫操作處理寫操作處理n 寫回機制（Write b

19、ack 回寫）當有數據需要寫入主存時： 先將數據寫入Cache，并作已修改標記； 當被修改的Cache塊被替換時才將Cache的內容寫回主存；電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 精解精解n 寫缺失時的策略 寫直達/通寫（write through）1. 寫分配策略（write allocate)2. 寫不分配策略（no write allocate) 寫回機制/回寫（write back）電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 5.2.4 5.2.4 例子：內置例子：內置FastMATHFastMATH處理器處理器n 嵌入式MIPS處理器

20、 12級流水線 每個時間周期能完一個指令和數據的存取 指令Cache和數據Cache分離 每個Cache的容量：電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 5.2.4 5.2.4 例子：內置例子：內置FastMATHFastMATH處理器處理器電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 5.2.4 5.2.4 例子：內置例子：內置FastMATHFastMATH處理器處理器n SPEC 2000的缺失率 指令Cache: 0.4% 數據Cache: 11.4% 加權平均: 3.2%電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 精解

21、精解n 分離Cache與混合Cache缺失率對比 Cache總容量：32KB 分離Cache的實際缺失率: 3.24% 混合Cache的實際缺失率: 3.18%電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 5.2.5 5.2.5 設計支持設計支持CacheCache的存儲系統的存儲系統n 主存是由DRAM構成 數據寬度固定 通過總線(Bus)與處理器連接總線頻率比處理要慢很多假設：假設： 地址(address)傳輸需要1個總線周期 存儲器存儲需要15個總線周期 數據(data)傳輸需要1個總線周期電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 5.2.5

22、5.2.5 設計支持設計支持CacheCache的存儲系統的存儲系統如果一個Cache塊有4個字，DRAM的寬度為1個字： 缺失代價： 每個總線周期傳輸的字節數：電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 1 1個字存儲器帶寬個字存儲器帶寬處理器Cache主存主存Bus1個字 缺失代價： 每個總線周期傳輸的字節數：電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 增加存儲器帶寬增加存儲器帶寬2 2個字寬度個字寬度處理器Cache主存主存MUXBus2個字 缺失代價： 每個總線周期傳輸的字節數：電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院

23、 增加存儲器帶寬增加存儲器帶寬4 4個字寬度個字寬度處理器CacheBus交叉存儲組織存儲體存儲體0#存儲體存儲體1#存儲體存儲體2#存儲體存儲體3# 缺失代價： 每個總線周期傳輸的字節數：電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 問題：問題：處理器CacheBus存儲存儲體體0#存儲存儲體體1#存儲存儲體體2#存儲存儲體體3#存儲存儲體體4#存儲存儲體體5#存儲存儲體體6#存儲存儲體體n#這樣可能會更好！這樣可能會更好！電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 存儲器的最新發展存儲器的最新發展n 雙倍速率動態隨機存儲器Double Data R

24、ate DRAM 基本原理：在時鐘的上升沿和下降沿各傳輸一次數據。電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 小結小結n Cache塊越大，則Cache的命中率越高，效率也高，但缺失代價也越大。n 為避免性能損失 增加主存帶寬 增加存儲器位寬 交叉存取電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 小測驗小測驗在Cache設計時，下面哪些指導思想是正確的？A. 存儲器延時越短，cache塊小B. 存儲器延時越短，cache塊大C. 存儲器帶寬越高，cache塊小D. 存儲器帶寬越高，cache塊大電子科技大學計算機科學與工程學院電子科技大學計算機科學與工

25、程學院 5.3 Cache 5.3 Cache 性能的評估與改進性能的評估與改進n 本節要介紹的內容 探討評測和分析Cache性能的方法 減少爭用Cache塊的概率 采用多級高速緩存 改進Cache性能的方法電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 5.3 Cache 5.3 Cache 性能的評估與改進性能的評估與改進n CPU的時間可以劃分為 程序執行時間 主要是Cache未命中的時間 存儲器的阻塞時間CPU時間 = CPU執行時間+存儲器的阻塞時間電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 5.3 Cache 5.3 Cache 性能的評估與

26、改進性能的評估與改進n 存儲器的阻塞時間分為： 讀操作阻塞 寫操作阻塞在大部分寫直達Cache中，讀和寫的缺失代價是一樣的，因此：平均每個程序的訪存次數電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 例：例：Cache Cache 性能計算性能計算問題：處理器實際的CPI是多少？ 指令Cache(I_Cache)的缺失率：2% 數據Cache(D_Cache)的缺失率：4% 缺失代價：100個時間周期 Store/load指令占：36%假定： 處理器的CPI(理想) ：2電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 例：例：Cache Cache 性能計算

27、性能計算平均每條指令缺失的時鐘周期：參考答案：平均每條指令數據缺失的時鐘周期：實際CPI電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 例：例：Cache Cache 性能計算性能計算，其它不變假設：實際CPI存儲器阻塞花費時間占整個執行時間的比例：電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 平均存儲器訪問時間平均存儲器訪問時間AMATAMATn AMAT AveragememoryaccesstimeAMAT=命中時間+缺失率缺失代價例如： CPU時鐘周期：1ns 缺失代價：20個時鐘周期 指令缺失率：0.05 Cache訪問時間(命中時間)：1個時鐘

28、周期AMAT=1+0.0520=2(個時鐘周期)=2ns電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 5.3.1 5.3.1 通過靈活放置塊來減少通過靈活放置塊來減少CacheCache的缺失的缺失n 將數據塊放入Cache的方法 直接映射法 硬件硬件實現實現容易，容易，CacheCache利用率低利用率低 全相聯映射法一個數據塊可映射到一個數據塊可映射到CacheCache的任何位置的任何位置檢索項多、硬件實現復雜，檢索項多、硬件實現復雜，CacheCache利用利用率高率高電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 5.3.1 5.3.1 通過靈活

29、放置塊來減少通過靈活放置塊來減少CacheCache的缺失的缺失n 組相聯映射電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 5.3.1 5.3.1 通過靈活放置塊來減少通過靈活放置塊來減少CacheCache的缺失的缺失n n路組相聯映射假設： 主存：32位地址線 Cache大小：256KB 塊大小：4KB n：4，即4路組組相聯映射電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 Cache Cache 的設置的設置TagBlock 0TagBlock 1TagBlock 2TagBlock 3TagBlock 0TagBlock 1TagBlock 2T

30、agBlock 3TagBlock 0TagBlock 1TagBlock 2TagBlock 34路相聯0組1組15組組的大小=44=16KBCache的組數 =25616=16最后組是15組電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 主存主存(Memory)(Memory)的設置的設置Block 0Block 1Block15Block 0Block 1Block 15Cache分為16組0組Block 0Block 1Block 151組65535組組的大小=164=64KB主存的組數 =23221064=65536最后組是65535組電子科技大學計算機科學與工程學

31、院電子科技大學計算機科學與工程學院 Cache - Cache - 主存主存(Memory) (Memory) 的映射關系的映射關系Block 0Block 1Block 15Block 0Block 1Block 15Block 0Block 1Block 15TagBlock 0TagBlock 1TagBlock 2TagBlock 3TagBlock 0TagBlock 1TagBlock 2TagBlock 3TagBlock 0TagBlock 1TagBlock 2TagBlock 30組1組15組0組1組65535組CacheMemory電子科技大學計算機科學與工程學院電子科技

32、大學計算機科學與工程學院 主存主存(Memory)(Memory)地址地址12 bits組內塊號：01516 bits組號：0655354 bits塊內尋址：塊大小4K31011121516電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 Cache Cache 的標志的標志 ( Tag )( Tag )1 bit16 bits有效位Tag數據塊數據塊Data問題（針對前面的假設）：主存地址：101A 1234 (Hex)計算：該地址數據放入Cache后，在Cache中的的塊號及對應Cache項的Tag是多少？內存中的組號電子科技大學計算機科學與工程學院電子科技大學計算機科學與工程學院 問題解答問題解答(1)(1)：1. 首先計算該地址在主存的塊號:n該地址所在的塊號是：2. 分析塊號n在主存中的組號及組內序號在主存中的組號：101AH組內序號：1H（每組有16個塊