1、X X X X 大 學 教 案 第三章 新媒體數據獲取建立目標任務明確重難點課程導入，激發學習興趣。講授法，建立學習內容的總體印象。理論講授講授，案例演示講授，操作演示。演示八爪魚的操作，指導學生練習利用八爪魚進行數據抓取。注意：本書是對V7版本的介紹，可以指導學生對最新V8版本的操作。課堂實驗：指導學生對李佳琦抖音賬號數據進行分析。課堂實驗：指導學生利用飛瓜數據、抖音工具箱、已有統計報告進行數據分析。布置作業、鞏固知識，進行形成性評價。教學反思一、課時安排：課時（理論講授6課時，實踐4課時）二、教學課型：理論、實踐課三、教學目標：（1）了解新媒體數據需求及目標識別。（2）熟悉新媒體數據來源。

2、（3）掌握新媒體數據獲取方式。（4）掌握新媒體數據獲取的應用。四、教學重點難點：（1）新媒體數據來源。（2）新媒體數據獲取方式。（3）新媒體數據獲取的應用。五、教學方法：多媒體教學（講授法、實驗法）六、教學過程與內容：課程導入：常見新媒體數據產生及來源領域。本章概述：本章從新媒體數據需求及目標識別、新媒體數據來源和新媒體數據獲取方式三個方面概述新媒體數據的獲取。為了更好地理解與運用，第四節以“分析網紅李佳琦抖音賬號運營情況” 和數據新聞“中國城鎮化的單身困境”為例，詳細介紹了如何將以上方法應用到實踐中。目的是將理論方法、操作技術與具體實踐相結合，能夠更好地實現新媒體數據獲取。第一節 新媒體數據

3、需求及目標識別數據分析面臨的主要挑戰不僅有技術問題，還包括方向和組織領導的問題。因此，提出問題、明確需求、確定目標才能為接下來一系列的數據獲取、分析、可視化等做好準備。針對不同的需求，我們要組合不同的數據進行分析，從多角度考慮設計。如分析宏觀背景，可以從年代變化、地區差異、政府政策等方面搜集數據；分析微觀事件，可以從媒體關注、網民討論、時間節點、擴散路徑等方面搜集數據。第二節 新媒體數據的來源（一）網絡數據庫大數據網絡數據庫大數據主要是指基于傳統數據庫對新媒體內容及相關信息進行存儲的數據，如新聞內容數據、網絡服務資源數據、消費者數據、用戶行為數據、庫存數據、賬目數據等。（二）網絡社交大數據網絡

4、社交大數據主要是指用戶參與和使用新媒體社交平臺、系統、軟件產生的數據，具有雜亂、異構等特點。目前以“三微一端”（微博、微信、微視頻及新聞客戶端）為代表的新媒體平臺產生的數據是網絡社交大數據的重點。新媒體平臺后臺數據大都能支持下載，以Excel文件方式導出到本地，供進一步分析應用。這些數據對運營者了解平臺運營情況、提升運營質量具有重要意義。（三）網絡行為日志大數據網絡行為日志大數據主要是指新媒體設備、傳感器等產生的數據，包括人為交易記錄、瀏覽訪問記錄等數據，通常為結構化數據。（四）網絡輿情大數據網絡輿情大數據主要是指基于某熱點話題或事件，大量用戶通過新媒體方式參與而產生的數據，通常通過人工或智能

5、系統進行獲取。第三節 新媒體數據的獲取方式（一）政府統計部門在我國，政府統計部門包括國家統計局、省級統計局、市級統計局和區縣級統計局，這些統計部門分別對不同層次、不同區域、不同范圍的各類數據進行了詳細的統計。例：國家統計局數據獲取。（二）互聯網部門及專題網站數據互聯網部門及專題網站數據主要由互聯網官方部門和互聯網行業部門數據組成。諸如中央和國家網信辦、中國互聯網信息中心等提供的數據可歸屬為互聯網官方部門數據，而像中國互聯網協會、中國互聯網金融研究會等提供的數據可歸屬為互聯網行業部門數據。例：中國互聯網發展狀況統計報告。（三）系統日志采集日志數據的收集通常通過日志收集系統自動完成，日志收集系統要

6、做的事情就是實時收集業務日志數據供離線和在線的分析系統使用。高可用性、高可靠性和可擴展性是日志收集系統所具有的基本特征。系統日志數據可以通過第三方平臺獲取，如CNZZ數據專家網站。可以幫助統計某一網站的瀏覽次數、訪客人數、訪問數據等。例：利用友盟+平臺獲取日志數據。（四）Web數據抓取Web數據抓取即通常所稱的網絡爬蟲，指的是根據相關的主題或關鍵詞批量、快速從網站及新媒體平臺上提取信息的一種計算機軟件技術。Web數據抓取程序模擬瀏覽器的行為，能夠提取瀏覽器上顯示的任何數據，因此也稱為屏幕抓取。Web數據抓取的最終目的是將非結構化的信息從大量的網頁中抽取出來以結構化的方式存儲。Web數據抓取通常

7、需要利用計算機程序設計語言進行程序編寫，而且針對不同的需求和不同的抓取對象，程序的編寫也有所差異，因而對于普通的用戶來說具有較大的難度。而工具的應用為這一功能的實現提供了巨大的便利，也大大降低了操作的難度。例：以八爪魚采集器為例，詳細介紹Web數據抓取的操作。八爪魚采集數據有簡易采集和自定義采集兩種模式，簡易采集簡單易操作，門檻低，無基礎也可使用。自定義采集可以滿足個性化需求，適合對八爪魚有一定了解、掌握八爪魚各項功能的用戶。第四節 新媒體數據獲取應用（一）“分析網紅李佳琦抖音賬號運營情況”數據獲取1.確定分析方向李佳琦于2018年12月相繼開通抖音、小紅書、快手等社交賬號，迅速以其專業、富有

8、個性的推薦方式成為最能帶貨的主播之一。截至2019年10月，李佳琦抖音賬號估值為53305011元，其抖音賬號極具分析價值。首先，分析運營質量，關注其總粉絲數、獲贊數，單條視頻播放量、轉贊評數等；其次，分析營銷效果，這是此賬號分析中比較特殊的一點，因為李佳琦作為美妝博主、帶貨達人，對其帶貨能力的分析對于廣告投放等具有重要意義；再次，分析整體環境背景，如網民數、抖音使用人數、平均消費水平等，便于后期進行信息獲取。值得注意的一點是，正式進行數據處理和分析時，此階段搜集到的數據也許并不會全部被用到，但還是要盡可能多地找到相關數據，以提供更多的分析依據。2.獲取數據方法（1）第三方平臺飛瓜數據飛瓜數據

9、作為分析短視頻的專業工具，擁有豐富的數據資源和強大的數據分析能力。此案例中需要的賬號總體數據、商品推廣數據、作品數據、粉絲數據（包括新增粉絲數、粉絲年齡分布、粉絲性別分布、粉絲地域分布）和實時數據都可以在飛瓜平臺的數據監測功能中獲取。對于獲取的數據，可以將其整理在Excel表格中，供后續使用。（2）Web抓取數據抖音工具箱抖音評論數據對衡量李佳琦賬號視頻效果與熱度具有重要參考意義，但抖音評論無法大批量復制，因此需要利用工具進行抓取。在此使用抖音工具箱進行評論數據的抓取。（3）互聯網部門及行業網站網民規模、網民屬性、短視頻用戶規模等數據可以從相關統計部門、互聯網部門及行業網站獲得，為了后續處理方便，最好將獲取的數據整理在Excel表格中。此案例中需要的背景數據主要來自中國互聯網信息中心發布的第44次中國互聯網絡發展狀況統計報告。（二）數據新聞“中國城鎮化的單身困境”數據獲取1.明確數據需求新聞選題和內容板塊確定，即明確了數據新聞的方向，數據新聞中相應的數據需求也得到明確。見數據新聞中國城鎮化的單身困境。2.收集獲取數據包括國家統計部門數據、互聯網部門及行業數據、Web抓取數據、系統日志采集數據。見數據新聞中國城鎮化