PAGE6PAGE1《云計算與大數據技術》課程大綱課程編號：CPU320027E課程性質：專業教育；選修課課程名稱：云計算與大數據技術英文名稱：IntroductiontoCloudComputingandBigDataTechnology適用專業：軟件工程先修課程：軟件工程I，軟件工程，計算機網絡、操作系統學分：3學時：48（32/16）大綱執筆人：張冰峰大綱審核人：審核時間：2023年4月一、課程介紹（一）課程簡介《云計算與大數據技術》課程主要介紹云計算和大數據的基本概念、云計算的服務模式和關鍵技術、云計算服務供應商構建公有云、私有云，可選的云計算管理工具和組件。大數據應用平臺的搭建和部署，大數據采集清洗和轉換工具、大數據存儲、大數據計算引擎、企業和個人如何搭建大數據平臺完成應用實踐。該課程主要面向軟件工程專業本科生的選修課程，通過本課程的學習，使學生能夠在已有的計算機基礎知識的基礎上，對云計算與大數據架構有一個系統的、全面的了解，掌握架構一個私有云所必需的基本理論、基本知識和基本技能，從而能成功架構一個企業的私用云。能夠根據應用需求搭建大數據技術平臺，完成大數據應用的實踐應用，為今后的學習和工作打下堅實的基礎。（二）與相關課程的聯系與分工本課程主要預修課程為軟件工程，計算機網絡、操作系統。云計算和大數據技術是新時代和新技術的實踐應用，能夠理解操作系統基本原理，安裝Linux操作系統和熟悉基本的操作命令。能夠搭建Hadoop和相關大數據存儲和處理組件，完成大數據一般應用的實踐，可通過高級程序設計語言完成實際應用項目開發。《計算機網絡》主要介紹計算機網絡的基本概念、體系結構、協議標準、網絡編程、互聯網應用等相關知識，以及計算機網絡在企業和個人應用中的應用和實踐。通過本課程的學習，使學生能夠在已有的計算機網絡基礎知識的基礎上，深入理解計算機網絡的原理和應用。《操作系統》主要介紹操作系統的基本概念、體系結構、進程線程、內存管理、文件系統、設備管理等相關知識，以及操作系統在企業和個人應用中的應用和實踐。二、課程教學目標本課程主要圍繞軟件質量管理課程的教學目標，培養學生在軟件開發和質量管理方面的核心能力和關鍵技能，為他們未來的職業發展打下堅實的基礎。具體來說，本課程的教學目標為：教學目標1:掌握云計算和大數據的基本概念、系統架構、關鍵技術和資源架構等知識。教學目標2:掌握架構一個私有云所必需的基本理論、基本知識和基本技能，能夠成功架構一個企業的私用云。教學目標3:掌握大數據基本知識，能夠根據應用需求完成大數據平臺架構的搭建，完成基礎應用開發。教學目標4：培養學生勇于擔當操作系統自主可控偉大事業重任的愛國主義精神，在實踐中培養學生民族自豪感和勤奮刻苦、努力拼搏和創新精神與工匠精神。畢業要求指標點實現矩陣畢業要求畢業要求2級指標點課程教學目標畢業要求1：工程知識1-4．掌握操作系統和計算機組成相關知識，能將其用于復雜軟/硬件工程問題的建模和求解。教學目標1教學目標2教學目標3教學目標4畢業要求4：研究4-1．能夠理解軟件學科相關的基本原理和設計思路，設計可行的實驗及驗證方案，能采用科學方法解決問題；教學目標2教學目標3教學目標4畢業要求5：使用現代工具5-2．能夠開發恰當的技術和資源，并恰當選用軟件開發平臺及編程工具，解決智能軟件的應用開發問題。教學目標1教學目標2教學目標3教學目標4三、課程教學目標達成途徑課程教學目標教學目標1課堂講授：板書與多媒體相結合，重點突出、思路清晰、注重師生互動交流，及時掌握學生學習情況，關注每一個學生的學習。作業：通過完成布置的課后作業，鞏固云計算和大數據的基本概念、系統架構、關鍵技術和資源架構等知識，形成基本應用能力。實驗教學：完成虛擬化軟件VirtualBox安裝部署，安裝CentOS操作系統，安裝JDK，安裝MySQL。專題調研：通過CSDN、知乎網站或APP完成相關知識的搜集和整理，重點掌握實驗教學內容，通過實踐理解理論知識。線上作業實驗實踐實驗報告教學目標2課堂講授：板書與多媒體相結合，重點突出、思路清晰、注重師生互動交流，及時掌握學生學習情況，關注每一個學生的學習。實驗教學：Hadoop3.0安裝部署配置；HDFS和YARN常用指令操作。可完成OpenStack學習與環境搭建部署，理解私有云的部署。專題分析：通過CSDN、知乎網站或APP完成OpenStack的理論知識、專業技術的學習，能夠搭建部署并完成操作手冊或總結報告。課后作業實驗報告課堂表現教學目標3翻轉課堂：板書與多媒體相結合，幫助深入理解軟云計算和大數據的基本概念、系統架構、關鍵技術和資源架構等知識。實驗教學：Hive數據倉庫安裝配置及應用；Scala編程語言的學習與實踐；Spark的安裝配置及使用討論與自學：針對具體的問題，通過學生分組討論，培養學生分析問題、解決問題的能力。對討論問題進行延伸，學生自學后完成思考題。課后作業課堂表現實驗報告教學目標4課堂講授：將思政元素融入云計算和大數據應用講解，培養學生銳意進取、勇于擔當的愛國主義精神。對祖國在云計算和大數據的應用中的先進性和領先地位感到驕傲和自豪。實驗教學：通過CSDN、知乎網站搜集OpenStack、大數據技術棧相關工具，通過部署實踐，能夠形成操作手冊和總結報告，培養勤奮刻苦、努力拼搏和創新精神與工匠精神。課堂表現課后作業總結報告四、課程學習內容（一）課程學習內容與課程目標的關系序號課程學習內容學時安排支撐的教學目標課內學時課外學時合計理論習題實踐小計慕課學習延展閱讀能力拓展線上作業小計1云計算概述224228101、2、3、42虛擬化技術44844210181、2、3、43數據存儲與管理技術334228111、2、3、44網絡虛擬化技術334228111、2、3、45大數據概述224228101、2、3、46大數據處理框架Hadoop3474228121、2、3、47大數據采集工具和消息隊列3344210131、2、3、48Spark計算引擎44844210181、2、3、49Flink計算引擎4264228141、2、3、410Hive數據倉庫22444210141、2、3、411數據可視化224228101、2、3、4合計321648443022961441、2、3、4（二）課程學習的具體內容第一單元：云計算概述【學習目標】學生能夠掌握云計算的定義、云計算的特點和應用、云計算安全。學生能夠了解云計算的發展簡史。學生能夠了解云計算產業生態。學生能夠理解云計算的關鍵技術。【教學內容】云計算的定義、云計算的特點云計算的應用與安全云計算的發展簡史云計算的產業生態云計算的關鍵技術【教學重點與難點】重點：云計算定義與特定的、云計算安全。難點：云計算關鍵技術。【教學方法與學習活動】通過講義和舉例講解，了解云計算的定義、云計算特點、云計算應用與安全。通過圖文講義講解，了解云計算的發展簡史、云計算的產業生態。通過講解和實驗，理解云計算關鍵技術。【課外學習】不少于8學時閱讀參考資料不少于2學時。完成虛擬化軟件安裝配置，理解虛擬化技術5完成線上作業1學時。第二單元：虛擬化技術【學習目標】學生能夠了解什么是虛擬化、虛擬化的特點、虛擬化的優勢。學生能夠理解和掌握虛擬化和云計算關系、了解虛擬化簡史、虛擬化模式。學生能夠理解服務虛擬化、存儲虛擬化、網絡虛擬化。【教學內容】虛擬化定義、虛擬化特點、虛擬化的優勢虛擬化與云計算虛擬化簡史虛擬化模式：裸機模式、宿主機模式、混合模式服務器虛擬化：CPU虛擬化、內存虛擬化、I/O虛擬化存儲虛擬化和網絡虛擬化【教學重點及難點】重點：什么是虛擬化、虛擬化特點；虛擬化與云計算。難點：服務器虛擬化。【教學方法與學習活動】提供素材課堂講解和討論虛擬化特點、虛擬化和云計算關系。通過圖文講義講解服務器虛擬化技術，包括CPU虛擬化、內存虛擬化、I/O虛擬化。【課外學習】不少于10學時閱讀參考資料（OpenStack）不少于7學時。完成虛擬化軟件安裝實踐，通過配置理解CPU虛擬化、內存虛擬化、I/O虛擬化2學時完成線上作業1學時。第三單元：數據存儲與管理技術【學習目標】學生能夠了解集中式存儲和分布式存儲。學生能夠理解分布式文件存儲、分布式對象存儲、分布式數據庫。學生能夠理解存儲虛擬化和云存儲【教學內容】存儲分類、存儲接口、集中式存儲和分布式存儲分布式文件存儲：HDFS和Ceph分布式對象存儲：Swift和Haystack分布式數據庫：數據庫架構模型、大規模并行處理數據庫、分布式數據庫存儲虛擬化、云存儲、云存儲應用實例【教學重點及難點】重點：分布式存儲：分布式文件存儲、分布式對象存儲、分布式數據庫。難點：分布式文件存儲和對象存儲【教學方法與學習活動】通過案例講解和理論釋義，能夠理解分布式存儲在云計算服務中應用，分布式數據庫重要性。通過應用實例理解分布式文件存儲和分布式對象存儲。【課外學習】不少于8學時閱讀參考資料不少于3學時。實驗完成分布式文件存儲、分布式對象存儲和分布式數據庫4學時完成線上作業1學時。第四單元：網絡虛擬化【學習目標】學生能夠了解常見網絡虛擬化、網絡虛擬化中物理網絡、虛擬化中虛擬化網絡、虛擬交換機。學生能夠理解云計算與網絡虛擬化關系、軟件定義網絡原理、OpenFlow協議功能。學生能夠理解網絡功能虛擬化、Overlay技術。【教學內容】常見網絡虛擬化、網絡虛擬化中物理網絡、虛擬化中虛擬化網絡虛擬交換機云計算與網絡虛擬化軟件定義網絡OpenFlow協議網絡功能虛擬化Overlay技術網絡切片【教學重點及難點】重點：虛擬交換機、軟件定義網絡、OpenFlow協議、網絡功能虛擬化、Overlay技術難點：軟件定義網絡、網絡功能虛擬化【教學方法與學習活動】通過案例教學、舉例說明、圖文講義講解網絡虛擬化基本原理、網絡虛擬化和云計算關系，理解網絡虛擬化相關技術。提供閱讀材料，學習和理解虛擬交換機、軟件定義網絡、OpenFlow協議、網絡功能虛擬化、Overlay技術基本原理和應用。【課外學習】不少于8學時閱讀參考資料不少于4學時。完成網絡虛擬化應用案例的搜集、整理和總結2學時完成線下作業2學時。第五單元：大數據概述【學習目標】學生能夠理解大數據定義、大數據特點、大數據應用、大數據系統架構。學生能夠掌握大數據關鍵技術。學生能夠理解大數據與云計算、大數據與物聯網、大數據與人工智能之間關系。【教學內容】大數據定義、大數據特點大數據系統架構大數據應用大數據關鍵技術大數據與云計算大數據與物聯網大數據與人工智能【教學重點及難點】重點：大數據特點、大數據系統架構、大數據關鍵技術難點：大數據關鍵技術。【教學方法與學習活動】通過案例講解大數據基本概念和應用。圖示講解大數據關鍵技術：存儲技術和處理技術原理。【課外學習】不少于8學時通過熱門大數據技術博客、專業網站的大數據欄目擴展大數據基礎知識及應用的學習，了解大數據發展的動態3學時。知乎網站關注熱門大數據技術學習3學時。完成線下作業2學時。第六單元：大數據計算框架Hadoop【學習目標】學生能夠了解Hadoop生態。學生能夠理解分布式文件系統HDFS。學生能夠掌握MapReduce計算引擎學生能夠理解計算資源管理和調度平臺YARN【教學內容】Hadoop的簡介和Hadoop的生態分布式文件系統HDFSMapReduce計算引擎計算資源管理和調度平臺YARN【教學重點及難點】重點：Hadoop計算框架、分布式文件系統HDFS、資源管理調度平臺YARN。難點：資源管理調度平臺YARN和使用。【教學方法與學習活動】示例講解HDFS原理和應用、MapReduce計算引擎原理和應用、資源管理調度平臺YARN原理和應用實驗完成Hadoop環境搭建，實踐HDFS、YARN基本操作指令，理解原理【課外學習】不少于8學時閱讀參考資料不少于3學時。CSDN和知乎學習Hadoop環境的搭建和應用4學時完成線上作業1學時第七單元：數據采集和消息隊列【學習目標】學生能夠了解大數據來源和大數據采集。學生能夠了解日志采集工具Flume和數據遷移工具Sqoop。學生能夠掌握消息隊列的作用、常見消息隊列【教學內容】大數據來源和大數據采集大數據采集方式、大數據采集工具消息隊列、消息隊列作用常用消息隊列【教學重點及難點】重點：大數據采集、消息隊列作用。難點：大數據采集工具與消息隊列工具實踐。【教學方法與學習活動】示例講解大數據采集工具原理和使用、消息隊列原理、作用。實驗完成Flume、Sqoop工具部署搭建和使用、消息隊列的部署搭建和使用。【課外學習】不少于10學時閱讀參考資料不少于4學時。CSDN和知乎學習Sqoop環境的搭建和應用4學時完成線上作業2學時第八單元：Spark計算引擎【學習目標】學生能夠了解Spark大數據計算框架。學生能夠理解Spark的架構、應用場景。學生能夠掌握Spark的搭建和部署學生能夠掌握Spark的應用實踐【教學內容】Spark概述Spark架構和部署模式Spark運行流程Spark數據處理模型Spark的搭建部署與實踐【教學重點及難點】重點：Spark的架構和部署模式、Spark數據處理模型、Spark的部署與實踐。難點：Spark運行流程和數據處理模型。【教學方法與學習活動】示例圖文講解Spark的介紹、Spark的架構、Spark的部署模式、Spark的運行流程實際部署Spark的環境和錄屏視頻完成Spark的搭建和實踐【課外學習】不少于10學時閱讀參考資料不少于4學時。CSDN和知乎學習Spark環境的搭建和應用5學時完成線上作業1學時第九單元：流式計算引擎Flink【學習目標】學生能夠了解Flink計算引擎。學生能夠理解Flink應用場景和基礎軟件棧。學生能夠掌握Flink基本組件和程序模型學生能夠理解Flink運行時架構學生能夠理解Flink時間處理機制學生能夠理解Flink狀態和容錯機制【教學內容】Flink計算引擎簡介、特點、Flink應用場景Flink基本組件和程序模型Flink運行時架構Flink時間處理機制Flink狀態和容錯機制Flink搭建和部署Flink應用程序示例【教學重點及難點】重點：Flink計算引擎基本組件、程序模型、運行時架構。難點：Flink時間處理機制、狀態和容錯機制。【教學方法與學習活動】示例圖文講解Flink計算引擎、Flink的應用場景、Flink的基本組件、Flink的程序模型、Flink運行時架構實際部署Flink的環境和錄屏視頻完成Flink的搭建和實踐【課外學習】不少于8學時閱讀參考資料不少于3學時。CSDN和知乎學習Flink計算引擎環境的搭建和使用4學時完成線上作業1學時第十單元：Hive數據倉庫【學習目標】學生能夠了解大數據分析統計工具Hive。學生能夠理解Hive系統架構和工作流程。學生能夠理解Hive的數據存儲模型學生能夠掌握Hive的安裝部署和使用【教學內容】Hive的簡介Hive的系統架構Hive的工作流程Hive的數據存儲模型Hive的安裝部署Hive的客戶端連接Hive的數據倉庫操作【教學重點及難點】重點：Hive的系統架構、工作流程、Hive的安裝部署與使用。難點：Hive的系統架構、Hive的數據存儲模型。【教學方法與學習活動】示例、圖文講義講解Hive系統架構、工作流程、數據存儲模型。通過實驗操作手冊和錄屏視頻完成Hive的搭建和使用實驗完成Hive部署搭建和使用，學會使用Hive大數據分析處理工具。【課外學習】不少于10學時閱讀參考資料不少于3學時。CSDN或知乎網站案例學習Hive環境的搭建和應用6學時完成線上作業1學時第十一單元：數據可視化【學習目標】學生能夠了解數據可視化重要性和數據可視化方式。學生能夠了解數據可視化工具。學生能夠掌握數據可視化常用方式【教學內容】數據可視化簡介數據可視化特點數據可視化工具數據可視化常用方式【教學重點及難點】重點：數據可視化作用、數據可視化工具、數據可視化常用方式。難點：數據可視化實踐。【教學方法與學習活動】示例圖文講解數據可視化重要性、數據可視化作用、數據可視化工具、數據可視化方式通過實際案例講解數據可視化實踐和應用【課外學習】不少于8學時閱讀參考資料不少于3學時。CSDN和知乎網站學習數據可視化工具和應用案例4學時完成線上作業1學時實驗教學內容序號教學內容教學要求學時支撐的課程目標1虛擬化技術完成虛擬化軟件VirtualBox安裝部署，安裝CentOS操作系統，安裝JDK，安裝MySQL。41、2、42大數據平臺Hadoop大數據計算框架Hadoop3.0安裝部署配置；HDFS和YARN常用指令操作41、3、43Hive大數據倉庫Hive數據倉庫安裝配置及應用41、3、44Spark大數據計算引擎Scala編程語言的學習與實踐；Spark的安裝配置及使用41、3、4合計16五、課程考核方式《云計算與大數據技術》課程是考查課程。考核方式：作業+實驗+綜合實踐或線上期末考試。成績評定：總評成績=作業成績（15%）+實驗成績（45%）+期末成績（40%）1．平時成績考核作業10分（線上單元測），4個實驗50分2．期末考核綜合實踐或線上期末考試40分期末考核可通過學堂在線或智慧樹課程平臺的在線期末考試完成，也可根據需要選擇完成一綜合應用案例（代碼和總結）。考核評價標準：本課程的考核方式、內容、