如何進行定量分析_第1頁
如何進行定量分析_第2頁
如何進行定量分析_第3頁
如何進行定量分析_第4頁
如何進行定量分析_第5頁
已閱讀5頁,還剩3頁未讀 繼續免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

如何進行定量分析??本文我們正式來研究如何進行定量分析。一、什么是定量分析與定性分析相同的是,定量分析一詞同樣出自化學領域,在xx百科中是這樣定義的:“本指分析化學中的一個分支,用以測定物質中各種成分的含量。引申指在社會科學領域中從量的方面分析事物,運用數學方法研究、考察事物之間的相互聯系和作用的分析方法。”從中可以發現,定量分析最大的特點就是從量的角度出發分析問題,也就是上文所提到的先對問題進行量化以降低問題的不確定性,然后再對所得的數據使用數學、統計學的方法進行研究,目標是去尋找事物間的相互聯系,例如:因果關系、相關性等。二、定量分析與定性分析的異同點1.目標不同:雖然分析的最終目的都是解決問題,但定性分析和定量分析的目標卻是不同的。定量分析的目標是去尋找事物之間的相互聯系,而定性分析的目標是去揭示事物的行為、態度、動機。2.方式/方法不同:定性分析可以選擇的方式非常靈活,有許多可以使用的方法,例如上文提到過的:直接觀察法、訪談法、文件分析法等。而定量分析的方式則比較單一,主要就是依托于數學和統計學的方法。3.難點不同;相比定性分析,定量分析工作量大,人力、物力和時間成本都會比較高。在數據收集階段,將問題量化就是一個系統且復雜的思考過程,其中往往還需要各種人力、物力的支持。到了分析階段,又要面對數據量大,存儲成本高,運算效率等一系列的問題(這些問題我們會在下文中詳細討論),而定性分析,執行的難點則在于執行過程中的非系統誤差比較大,會出現各種各樣的意外情況,且主觀成分過多,也會帶來系統性的偏差。4.核心不同定性分析依賴于個人(或群體)的經驗、能力和水平,其標準常常因人而異,會帶有主觀任意性。而定量則依賴于量化系統,分析階段所得出的所有結論、規律都是基于量化系統所提供的數據,數據的質量、緯度很大程度上決定了此次定量分析的結果是否有效。?三、定量分析步驟定量分析主要分為兩大階段:量化階段和分析階段,量化階段的內容上文已經討論過在這里就不再贅述,我們直接來研究分析階段。當通過量化階段完成了預期的數據收集后,就必須面對這些數據如何預處理的問題,這個過程需要耗費大量的時間,當然這也是大數據時代所面臨的主要課題。在技術短時間內無法突破的情況下,可以通過一個系統的步驟來提高效率。制定一個分析計劃在我個人的工作習慣中,我一直傾向于在分析開始之前先做一個時間計劃,預估接下來會在什么時間點進行哪些步驟,每個步驟預計花費多少時間。在實際的項目中,我們往往不是像kaggle競賽那樣直接拿到一個完整的數據集或者等所有的數據收集結束之后才開始分析工作,更多情況需要我們在數據收集過程中就逐步開始分析,在這樣的情況下管控好各類數據到位的時間節點和分析工作的時間節點,是避免重復勞動的有效手段(當然也并非必須)。制定一個分析框架分析框架有很多,時下比較普遍的框架是這樣的:?值得一提的是,第2、3、4步將會是一個循環往復的過程,模型所得的結果達不到預期時,就必須回到第3步去調整或者更換模型,預先處理好的數據此時可能就需要重新準備。實際項目中,這幾個步驟重復多次是非常常見的事情。了解數據了解數據又稱為數據探索,這個過程在分析中非常重要,了解數據集,對于接下來構造什么樣的特征、選取什么樣的模型都起到至關重要的作用。當然這個探索過程也不僅僅只是簡單的弄清楚數據集里每一個字段所代表的意思,還需要考察數據的分布、缺失值等各項指標,才算是對數據集有了一個初步的認識。我們舉一個Kaggle競賽中的一個例子,這是一個信用違約數據集查看各個字段的數量、均值、最值等指標圖片來與公眾號用直方圖來查看年齡字段的分布情況(當然能做的探索還有很多,在這里只是進行舉例)選擇技術在這里技術選擇指的就是選擇什么樣的模型和算法。可選的模型和算法不勝枚舉,在這里就不做贅述,但也需要注意一些問題:1.明確目標例如:我們需要進行預測時,可以選擇回歸;需要分類時,可以選擇樸素貝葉斯、決策樹;2.貼合數據的特點根據特征工程的所構建出的字段的類型和特點來選擇比較貼合的算法,也可以減小很多不必要的麻煩。3.根據經驗如果個人(或團隊)有一定的類似項目經驗,根據此前的項目經驗來進行選擇也可以有效的避開很多坑。驗證和分享結果驗證的方式同樣有很多,時下比較流行的是對原有數據集進行切分,將數據集分為訓練集和測試集,拆分的方法有簡單的三七開,也有比較復雜的交叉驗證法等。使用

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論