數智化人力資源管理主編徐明霞

唐玉潔數據采集第四章第二篇方法篇1.了解數據的主要類型2.了解數據的主要來源3.掌握數據采集的方法4.掌握數據的存儲與管理學習目標知識結構圖引導案例對于一些人而言,大數據可能會被認為是與實驗室或計算機相關的技術,離我們的生活似乎還比較遙遠。但在今天的數字經濟時代,幾乎所有事物都可以用數字來表達,而紙質數據僅占其中一小部分。實際上,我們每天都在參與大數據的收集和整理,大數據已經非常貼近我們的生活。我們在抖音、快手等平臺上制作的短視頻、手機上的大量照片、氣象衛星每天拍攝的大量圖片以及個人電腦上的記錄,都可以形成海量的數據。IDC(國際數據公司)《2021—2025全球數據預測》顯示,2021年全球數據量為79ZB,預計2025年將達到181ZB(1YB=1024ZB,1ZB=1024EB,1EB=1024PB,1PB=1024TB,1TB=1024GB,1GB=1024MB,1MB=1024KB,1KB=1024B,1B=8bit,即1ZB=1024×1024×1024TB),復合增長率為23%。在數字經濟時代,每一個人都在自覺或不自覺地參與大數據搜集活動,數據來源的多樣性已經打破了傳統單一的數據來源。企業數字化轉型已經成為當今商業社會的主流趨勢和話題,政府政策、商業環境及市場趨勢的變化速度不斷加快,這樣的發展變化也對人力資源從業者們提出了新的挑戰。在互聯網時代,人們的生活更加碎片化,例如,時間碎片化、學習碎片化、用工碎片化,這些事物已經在定義著新的“勞動力公式”。人力資源管理業已面臨數字化轉型,人力資源數據如何合法、合規、合理地采集與存儲,成為人力資源管理從業者們首要關注的問題。思考:如何對人們獲取的龐大數據進行分類?如何獲取自己需要的數據?第一節數據類型第二節數據來源第三節數據采集方法目錄第四節數據存儲與管理第一節數據類型第四章第二篇方法篇數據類型第二節數據來源第四章第二篇方法篇一、企業內部數據來源(一)企業信息管理系統1.業務系統2.辦公類系統(1)人力資源管理系統(2)財務管理系統(3)客戶關系管理系統(二)部門上報數據物聯網系統包括智能儀表、智能設備、視頻監控系統等。(三)內部調查數據企業的人力資源部門通常會使用訪談和問卷調查來收集內部數據。二、企業外部數據來源(一)政府公開數據(二)企業發布數據(三)人力資源行業網絡數據1.人力資源行業商業調查數據2.網絡招聘平臺發布的數據3.線上勞動力外包平臺發布的數據(四)公共社交網絡數據1.社交網站發布的數據2.在線社區發布的數據企業外部數據來源第三節數據采集方法第四章第二篇方法篇一、基于調查方法的數據采集調查法是指通過考察了解客觀情況直接獲取有關材料,間接了解被測試者的心理活動的方法。調查法能在短時間內同時調查很多對象,獲取大量資料,并能對資料進行量化處理,經濟省時。因此,它也是收集數據過程中,一種最基礎、應用最廣泛的方法。(一)訪談調查法訪談調查法可簡稱為“訪談法”,是社會調查中最古老、最常用的方法之一,是一種通過訪談員和受訪者面對面交談來了解受訪人的心理和行為的基本研究方法。一、基于調查方法的數據采集(二)調查問卷法調查問卷法起源于19世紀末期20世紀初期的心理學研究,是指通過制定詳細周密的問卷,并邀請被調查者作答,借此收集數據的一種手段。1.調查問卷基礎知識(1)調查問卷的分類(2)調查問卷的結構(3)調查問卷設計原則(4)問卷調查收集的人力數據一、基于調查方法的數據采集(二)調查問卷法1.調查問卷基礎知識①按照答案方式劃分:自填式問卷與代填式問卷。②按照問題答案劃分:結構式問卷、開放式問卷與半結構式問卷。③按照傳播方式劃分:傳統問卷與網絡問卷。(1)調查問卷的分類一份完整的調查問卷通常包括標題、指導語、問題、答案、結束語,如圖4-1所示。(2)調查問卷的結構圖4-1調查問卷結構示意圖一、基于調查方法的數據采集(二)調查問卷法1.調查問卷基礎知識①目的性原則。②邏輯性原則。③準確性原則。④通俗性原則。⑤非誘導性原則。⑥合理長度原則。⑦匹配性原則。(3)調查問卷設計原則問卷調查方法可以收集的人力數據有:員工滿意度、員工培訓需求、員工培訓效果、員工績效滿意度、員工薪酬滿意度、員工敬業度、企業文化認知等。(4)問卷調查收集的人力數據一、基于調查方法的數據采集(二)調查問卷法2.網絡調查問卷技術移動互聯網技術的發展和智能手機的普及,促進了線上問卷調查技術的發展與應用,線上形式的問卷調查使得問卷的發放、回收及統計更加方便快捷。問卷星、金數據、問卷網、騰訊問卷等都是常用的線上問卷調查工具,這里以問卷星為例介紹網絡問卷調查過程。一、基于調查方法的數據采集(二)調查問卷法2.網絡調查問卷技術步驟1:創建問卷類型。圖4-2問卷類型選擇一、基于調查方法的數據采集(二)調查問卷法2.網絡調查問卷技術步驟2:創建問卷。圖4-3創建問卷一、基于調查方法的數據采集(二)調查問卷法2.網絡調查問卷技術步驟3:設置問卷題目。圖4-4發布問卷圖4-5問卷鏈接與二維碼的生成和發送一、基于調查方法的數據采集(二)調查問卷法2.網絡調查問卷技術步驟4:邀請被調查者作答。一、基于調查方法的數據采集(二)調查問卷法2.網絡調查問卷技術步驟5:查看問卷調查結果。圖4-6問卷調查數據的分析和下載二、基于爬蟲工具的數據采集網絡爬蟲技術(又稱為“網頁蜘蛛”或“網絡機器人”)是指為搜索引擎下載并存儲網頁的程序,可以按照一定的規則自動地抓取萬維網的信息,是搜索引擎和Web緩存的主要數據采集方式。目前市場上開發的網絡爬蟲工具有很多,如八爪魚、集搜客、神箭手云等,這里我們將具體展開講解使用爬蟲工具八爪魚采集數據的操作流程和注意事項。圖4-7八爪魚客戶端界面二、基于爬蟲工具的數據采集(一)使用八爪魚采集數據的模式1.使用模板采集數據步驟1:下載客戶端。圖4-8八爪魚模板使用界面二、基于爬蟲工具的數據采集(一)使用八爪魚采集數據的模式1.使用模板采集數據步驟2:進入模板詳情頁。圖4-9八爪魚導出數據界面二、基于爬蟲工具的數據采集(一)使用八爪魚采集數據的模式1.使用模板采集數據步驟3:立即使用。步驟4:導出采集數據。圖4-10八爪魚自定義任務界面二、基于爬蟲工具的數據采集(一)使用八爪魚采集數據的模式2.使用自定義配置采集數據步驟1:新建自定義任務。圖4-11八爪魚自定義任務網頁輸入搜索關鍵詞二、基于爬蟲工具的數據采集(一)使用八爪魚采集數據的模式步驟2:單擊搜索欄,輸入搜索文本。2.使用自定義配置采集數據圖4-12八爪魚自定義任務網頁選中搜索按鈕并單擊該按鈕二、基于爬蟲工具的數據采集(一)使用八爪魚采集數據的模式2.使用自定義配置采集數據步驟2:單擊搜索欄,輸入搜索文本。圖4-13八爪魚自定義任務網頁選擇子元素二、基于爬蟲工具的數據采集(一)使用八爪魚采集數據的模式2.使用自定義配置采集數據步驟3:選擇子元素。圖4-14八爪魚自定義任務網頁自動形成的循環提取數據界面二、基于爬蟲工具的數據采集(一)使用八爪魚采集數據的模式2.使用自定義配置采集數據步驟3:選擇子元素。圖4-15八爪魚自定義任務網頁自動形成的循環翻頁界面二、基于爬蟲工具的數據采集(一)使用八爪魚采集數據的模式2.使用自定義配置采集數據步驟4:設置循環翻頁。圖4-16八爪魚自定義任務網頁數據采集界面二、基于爬蟲工具的數據采集(一)使用八爪魚采集數據的模式2.使用自定義配置采集數據步驟5:數據采集與導出。第四節數據存儲與管理第四章第二篇方法篇一、數據存儲技術的發展第一階段:人工管理階段(公元前3500年前至20世紀50年代中期),數據以人工記錄為主,不會保存在計算機內,更沒有對數據進行管理的軟件系統。第二階段:文件系統階段(20世紀50年代后期至60年代中期),數據實現以文件形式長期保存,同時數據由文件系統進行管理。第三階段:數據庫階段(20世紀70年代至21世紀初),出現層次型數據庫、網狀型數據庫、關系型數據庫、非關系型數據庫。第四階段:分布式存儲階段(21世紀初至今),可以實現文件在多臺主機上分布式存儲,以滿足大規模數據存儲的需求,擁有較好的容錯率和拓展性,能夠以較低的成本實現大流量和大數據量的讀寫。二、數據存儲系統概述隨著