統計軟件林旭東

第一講

統計學及統計軟件介紹統計學的目的“統計學是收集和分析數據的藝術”《大不列顛百科全書》統計學是研究人們如何通過觀察和實驗認識自然規律和社會規律的一門方法論學科，成為科學研究者必不可少的工具。統計學的應用領域廣泛。其他學科的發展不斷地向統計學提出新的挑戰問題。當今收集數據手段發達和數據存儲分析設備強大，堆積了大量的科學數據，等待統計學者分析。統計學應有更長遠的洞察力，提出前瞻性和普適性的方法，指導其他學科如何探索科學規律。統計學的特點統計學具有獨特的哲學思想。很多原創的統計方法是源于哲學思想，而不是源于數學演繹。統計學需要多方面的人才。

統計學藝術匠人，能對數據進行精雕細刻。

統計方法制造者，能提出有普適性和指導應用的統計方法。

統計理論研究者，從理論上論證現有統計方法的有效性，提出改進的方法。統計學需要跨學科的人才。

統計學家在經濟領域獲得了多項諾貝爾獎；

2011年統計學家在計算機領域獲得“圖靈獎”。一些經典的統計思想KarlPearson（1857-1936）1900年發表在《哲學雜志》卡方（chi-square）擬合優度檢驗，被認為是現代統計學理論的開端。使得人們能夠根據觀測數據客觀地評價科學假說的合理性，刻畫觀察到的現象與科學假說的距離：他是從數學上對生物統計研究的第一人，1901年他與高爾頓、韋爾登一起，創辦了“生物統計學”雜志，使生物統計學有了自己的一席之地。一些經典的統計思想假設檢驗反證法思想：令“假設”成立，看產生什么后果。如果不合理現象出現，則拒絕假設。方差分析（Fisher，1922）(AnalysisofVariance，簡稱ANOVA)，又稱“變異數分析”或“F檢驗”。似然原理，使得到數據的似然最大的模型是最好的模型。Bootstrap方法（EfronBradley，1979），不必進行數學演繹，利用從觀測數據中隨機抽取，自助的進行統計推斷：

統計學需要大量的跨學科人才鼓勵統計學專業的學生在不同的階段轉向其他學科：

經濟、信息、生命、醫學、流行病學、環境、氣象、地質、社會學、心理、法律、歷史等。統計學影響“ForToday’sGraduate,JustOneWord:Statistics”

BySteveLohr,TheNewYorkTimes,August5,2009Ikeepsayingthatthesexyjobinthenext10yearswillbestatisticians,”saidHalVarian,chiefeconomistatGoogle.”AndI’mnotkidding.”麻省理工學院數據商務中心主任EBrynjolfsson：”我們正在快速進入任何事情都可以用數據來度量和操控的時代，這是人類的巨大挑戰，我們必須有能力去利用，分析和解釋這些數據。“統計學影響Science-11February2011Vol331

（dealingwithdata）本課程的目的使大家形成數據分析的初步能力；并能使大家形成自主學習和自主探索深層次數據問題的能力；切記盲目自大。

前沿：

高維、小樣本數據的問題

復雜相依數據的分析（缺失與刪失、動態時空、選擇偏倚）

統計軟件統計軟件的發展，也使得統計從統計學家的圈內游戲變成了大眾的游戲。只要輸入數據，點幾下鼠標，做一些選項，馬上就得到令人驚嘆的漂亮結果了。是否傻瓜式的統計軟件使用可以代替統計課程了？當然不是。數據的整理和識別，方法的選用，計算機輸出結果的理解都不象使用傻瓜相機那樣簡單可靠。統計軟件的問題諸如法律和醫學的軟件都有不少警告，不時提醒你去咨詢專家。

這是注意飯碗的律師和大夫的高明之處。

但統計軟件則不那么負責。只要數據格式無誤、方法不矛盾而且不用零作為除數就一定給你結果，而且沒有任何警告。

可能統計學家缺乏商業頭腦。統計軟件的問題另外，統計軟件輸出的結果太多；

即使是同樣的方法，不同軟件輸出的內容還不一樣；有時同樣的內容名稱也不一樣。

這就使得使用者大傷腦筋。即使統計學家也不一定能解釋所有的輸出。

因此，就應該特別留神，明白自己是在干什么。不要在得到一堆毫無意義的垃圾之后還沾沾自喜。統計軟件的種類SAS：這是功能非常齊全的軟件；美國政府政策傾斜(“權威性”)許多美國公司使用。價格不菲,每年交費。即使贈送,條件苛刻SAS公司傲慢無禮盡管現在已經盡量“傻瓜化”，仍然需要一定的訓練才可以進入。對于基本統計課程則不那么方便。統計軟件的種類S-plus：這是統計學家喜愛的軟件。功能齊全圖形漂亮有不斷加入的各個方向統計學家編寫的統計軟件包。也可以自己加入算法。有強大而又方便的編程功能，使得研究人員可以編制自己的程序來實現自己的理論和方法。它也在進行“傻瓜化”以爭取顧客。但主要以其方便的編程為顧客所青睞。在R軟件之前是統計學家的首選軟件。但是對于不會編程者,不那么“傻瓜”。統計軟件的種類R軟件：免費的,志愿者管理的軟件。其編程語言與S-plus所基于的S語言一樣。編程方便，語言靈活，圖形功能強大。有不斷加入的各個方向統計學家編寫的統計軟件包。也可以自己加入自己算法的軟件包。從網上可以不斷更新和增加有關的軟件包、數據和程序。可以使用其他軟件編制的程序。可以通過網上服務把程序變成機器語言。這是發展最快的軟件，受到世界上統計師生的歡迎。是用戶量增加最快的統計軟件。對于一般非統計工作者來說，主要問題是它沒有“傻瓜化”。統計軟件的種類Excel：嚴格說來不是統計軟件，但作為數據表格軟件，必然有一定統計計算功能。

注意，多數裝Office時沒有裝數據分析的功能，畫圖功能都具備(雖然不好看)。

對于簡單分析，Excel還算方便，但隨著問題的深入，就不那么“傻瓜”，需要很麻煩地使用函數，甚至根本沒有相應的方法了。（在目前階段的中國使用廣泛的工具）統計軟件的種類SPSS：這是一個很受歡迎的統計軟件；它容易操作，輸出漂亮，功能齊全，價格合理。對于非統計工作者和統計工作者都是很好的選擇。（在最新的SPSS20中已經可以和R對接了）其他有關軟件簡介Minitab：這個軟件是很方便的功能強大而又齊全的軟件，也已經“傻瓜化”，在我國用的不如SPSS與SAS那么普遍。Statistica：也是功能強大而齊全的“傻瓜化”的軟件，在我國用的也不如SAS與SPSS那么普遍。Eviews：這是一個主要處理回歸和時間序列的軟件。Systat:已經被SPSS購買而消失GAUSS：這是一個很好用的統計軟件，許多搞經濟的喜歡它。主要也是編程功能強大。目前在我國使用的人不多。MATLAB：這也是應用于各個領域的以編程為主的軟件，在工程上應用廣泛。編程類似于S和R。但是統計方法不多。FORTRAN：這是應用于各個領域的歷史很長的非常優秀的編程軟件，功能強大，有大量數學軟件包及一定的統計軟件包。計算速度比前面介紹的都快得多。但需要編程和編譯。操作不那么容易。C/C++:是許多軟件,諸如SAS的基礎;但沒有軟件包,編程不方便。SPSS的發展1968年，3位美國斯坦福大學的學生開發了最早的SPSS系統，并基于這一系統于1975年在芝加哥合伙成立了SPSS公司。SPSS的基本功能包括數據管理、統計分析、圖表分析、輸出管理等。SPSS最早名為StatisticalPackageforSocialScience（社會學統計軟件包），這是為了強調其社會科學應用的一面（因為社會科學研究中的許多現象都是隨機的，要使用統計學和概率論的定理來進行研究）。后來為了擴大服務領域和深度，2002年改名為StatisticalProductandServiceSolution（統計產品和服務解決方案）。SPSS定位為針對常規統計分析應用的統計軟件。SPSS最新版本為20，本書以16版為教學模板。SPSS的安裝、啟動和退出SPSS的操作方式命令行方式：即用戶一條一條地提交命令，軟件系統直接對命令進行解釋執行，用戶再根據執行結果提交下一條命令。程序方式：用戶批量提交，軟件系統批量執行，批量輸出結果。菜單對話框方式：“人機互動型”。SPSS對話框的構成SPSS的四種窗口1.數據窗口（SPSSDataEditor）SPSS的四種窗口2.輸出窗口（SPSSOutputViewer）3.語法窗口（SPSSSyntaxEditor）：提供程序方式進行分析，適合高級分析人員；最新版本實現與R和python的對接就更加強大了此功能。4.腳本窗口（SPSSScriptEditor）SPSS的四種結果輸出樞軸表/輕量表統計圖表文本格式模型分析結果的保存和導出SPSS的系統選項SPSS的幫助系統StatisticsCoach（統計輔導）Tutorial