六.市場調查數據處理與分析010203市場調研數據采集數據清洗整理與分析數據可視化與數據分析報告學習目標學習目標【知識目標】掌握市場調查數據采集流程掌握市場調查數據采集工作操作方法掌握市場調查數據清洗處理方法了解數據分析基本方法【技能目標】能夠依據目標進行市場調查數據收集能夠對采集數據進行清洗夾功能能夠制作簡單的數據總結報告【素養目標】掌握黨的二十大精神要點，明確國家發展戰略路線度掌握制作數據可視化各種基本圖表市場調研數據采集任務一一、明確數據處理流程如果想要進行高效的業務處理，需要按照一定的邏輯順序進行操作。各行各業針對具體的業務處理基本上都是遵循這一原理。在進行市場調研數據處理時，也同樣需要按照一定的業務邏輯，通過工作處理流程來開展工作。市場調研數據處理分析過程二、數據采集1.調研數據采集概述當前一般在進行數據采集時，基本上大量使用各種帶傳感裝置的數字化工具以及數據采集軟件工具。以往無法通過設備收集的信息，在技術發展后，往往可以通過各種儀器設備來達成。2.采集前的準備數據采集是建立在明確的市場調研的目標之下的，并且圍繞著市場調研目標展開。在進行數據采集前，需要工作小組成員利用各自優勢分析提取出需要采集的數據要目，也就是需要針對哪些方面的數據進行采集，并且根據采集數據要目設計合理的工作實施方案和計劃，并且需要在工作開展之后，動態性的對相關的實施方案計劃進行相應調整。二、數據采集3.數據采集的原則在數據采集過程中，只有秉承一定的原則，才能保證采集工作的順利開展，才能保證采集到的數據的高可用性（1）時效性（2）準確性（3）完整性（4）合法性4.數據采集步驟1）根據事先制定好的數據采集方案進行人員分工2）根據方案約定進行數據采集3）進行數據的初步檢查二、數據采集5.數據采集的渠道和工具1）人工采集主要指布置任務讓公司員工根據要求進行信息收集，然后將數據信息填寫到報表中，然后將報表上報上級管理部門，最后進行信息匯總的方式。2）程序采集程序采集是當前大數據時代比較推薦的方式，由程序自動進行處理（1）公司內部信息采集。核心是公司創建了一套相對完整的信息管理體系，可以通過此套信息管理體系根據需要隨時從系統中獲取相關數據。（2）公司外部信息采集。公司外部信息采集主要包括以下方面：①網絡爬蟲②第三方數據監測機構或行業公開數據。二、數據采集第三方平臺主要有以下幾種：a.國家統計局二、數據采集b.國研網二、數據采集c.生意參謀二、數據采集d.店偵探二、數據采集e.淘數據二、數據采集f.京東商智二、數據采集g.八爪魚采集器二、數據采集h.火車采集器數據清洗整理與分析任務二一、數據清洗1.為什么要清洗市場調研數據清洗的原因，主要是由于數據采集時獲取的數據來源大部分都是通過外部數據信息源獲取的。1）需要進行清洗的“臟”數據數據格式不規范、存在有異常數值或特殊字符、數據內容有雜質需要進行清洗的數據一、數據清洗2.需要進行整理的數據某些數據看起來很規范，里面也沒有雜質，但是仍舊無法進行數據分析，主要原因是因為公司內部部門眾多，對同一組數據出現多個版本，指標數據相互之間沒有統一，無法將其納入正常的數據分析中進行處理。3.數據清洗時的注意事項進行數據清洗時一定要注意不要把原始數據進行破壞，不要在原始數據上直接進行修改。原始數據保證了所有內容業務的最基本可追溯性，一定要將原始文件進行備份后再進行操作。二、數據分析進行數據分析，往往需要借助一些數據分析方法進行，當前主要的數據分析方法分為“基本數據分析法”和“高級數據分析法”。隨著日積月累，相關分析方法層出不窮，并且還隨著時代科技的進步不斷發展演變。數據分析方法的整體圖表數據可視化與數據分析報告任務三一、數據可視化1.為什么要進行可視化可視化分析是探索和理解數據的一種手段。可以提升數據分析效率。我們可以在可視化界面中提出問題，獲得答案并提出后續問題。在從一個可視化摘要轉到另一個可視化摘要的過程中，故事隨之展開。之后，您可以追溯故事，重新思考，進一步探索并進行分享。一、數據可視化1）純文本數據的表格在文本表中查看學校錄取數據。要找到最高和最低值，需要查看表中的所有行和列。一、數據可視化2）文字添加顏色標注的表格如果您要查找負數，為負數添加顏色的格式可以讓它們更加醒目。對于所有非負數值，必須通看整個表格才能進行比較。一、數據可視化3）單元格添加背景顏色的表格作為文本表和完全的可視化之間的中間格式，可以對數據應用顏色，以此來顯示高值和低值，但查看者仍然需要注意區分兩個度量的顏色范圍。一、數據可視化4）應用圖形可視化的數據顯示完全的可視化，其中增長率和旅客人數用長度來編碼，增長率負增長時用顏色來編碼。查看者一眼就可以看到客運狀況最差與最佳情況。一、數據可視化1）柱狀圖有時也會以條形圖顯示，主要特點是，同時顯示在某一階段時期，多個不同元素主體之間的數據對比。當元素主體名字過長時，使用條形圖較好。一、數據可視化2）折線圖相關顯示數據信息和時間過程緊密相連，一般用來顯示某種趨勢、走向時使用。一、數據可視化3）餅圖主要體現各不同元素主體在某個統一父級上層整體中所占比重。一方面顯示當前元素主體在整體的占比，另一方面也可以與其他元素主體進行比較。一般使用實心的圓餅圖較多，也常用環形圖。一、數據可視化4）散點圖散點圖是指在回歸分析中，數據點在直角坐標系平面上的分布圖，散點圖表示因變量隨自變量而變化的大致趨勢，據此可以選擇合適的函數對數據點進行擬合。一、數據可視化5）雷達圖雷達圖是以從同一點開始的軸上表示的三個或更多個定量變量的二維圖表的形式顯示多變量數據的圖形方法。一、數據可視化6）K線圖股市及期貨市場中經常使用，主要包含四個數據，它是以每個分析周期的開盤價、最高價、最低價和收盤價繪制而成。一、數據可視化7）熱力圖以特殊高亮的形式顯示訪客熱衷的頁面區域和訪客所在的地理區域的圖示。一、數據可視化8）漏斗圖漏斗圖反映研究在一定樣本量或精確性下單個研究的干預效應估計值。一、數據可視化3.圖表選擇的原則和方法1）明確數據圖表要表達目的和數據之間的關系2）要嚴格按照圖表操作規范作圖二、市場調查數據分析整理總結針對市場調查數據的分析總結，實際上也就是市場調查報告最后的總結建議。1.什么是數據分析報告數據分析通常會以數據分析報告作為工作的結尾。在市場調查領域，往往會以某個領域或某個專題為中心展開，在最后，通過市場調查報告的結尾進行匯總。2.數據分析報告類型1）專題分析報告此類報告主要是針對某一工作領域的某一單項問題進行專門研究而撰寫的報告。2）綜合分析報告：此類報告的特點是關注事務的整體發展狀況。會關注事務的多個方面，注重各方面和組成部分之間的聯系。全面性、聯系性3）日常數據分析報告此類報告內容相對簡單，但是使用頻率高，經常會按照一定時間周期進行報告的生成和上報二、市場調查數據分析整理總結3.數據分析報告撰寫原則1）規范性數據分析報告中所使用的技術術語，繪制的表格圖表等，一定要規范，標準統一，前后一致，防止由于不規范導致的結論誤導。2）層次性數據分析報告中的內容，要依據數據分析目標進行合理的結構層次安排。3.適當創新數據分析報告是一項要求嚴謹的文體形式。秉承與時俱進的發展觀，時刻關注業內的最新研究方法和數據分析技術。二、市場調查數據分析整理總結4.數據分析報告結構1）標題標題部分要緊扣數據分析目的，直接開門見山將主要內容客觀性展示出來。2）目錄目錄的作用，一方面起到索引導航作用，另一方面便于閱讀者從整體上掌握分析報告內容。3）前言（摘要）主要幫助閱讀者快速掌握數據分析報告內容，是整體報告的一個高度濃縮。4）正文正文是數據分析報告的核心，要依據之前制定的數據分析目的和分析方案，將分解的分析任務有條理、有層次的逐步展開。5）總結包括結論與建議兩個部分。結論是依據正文內分析內容得出的有關事實認定、原因分析等隱藏內容的分析總結。6）附錄是對正文的有益補充或提供更加詳細的說明。一般是正文中不便展開說明或沒有說明但具有佐證作用的相關內容。任務實施任務實施1.在問卷設計中，可以采用多種題型，如單選題、多選題、開放式問題等，以獲得豐富的數據。2.考慮問卷填寫者的時間成本，盡量簡化問卷，避免過多的重復或冗長問題。3.在設計開放式問題時，可以考慮提供明確的指導，以引導調查對