零售行業(yè)客戶評價情感識別實驗手冊教師用書

目錄TOC\o"一-三"\h\z\u一參考資料及工具 三四五九七四三零\h一一.一參考資料及工具 三四五九七四三一\h一二零售行業(yè)客戶評價情感識別 三四五九七四三二\h二二.一教學(xué)實施步驟 三四五九七四三三\h二二.二課程介紹 三四五九七四三四\h四二.三教學(xué)目地 三四五九七四三五\h四二.四學(xué)員分組 三四五九七四三六\h四二.五案例背景 三四五九七四三七\h四二.六任務(wù)及參考答案 三四五九七四三八\h五演練場景一:項目規(guī)劃 三四五九七四三九\h五演練場景二:項目實施及驗收 三四五九七四四零\h八二.七輔助材料與道具 三四五九七四四一\h二零二.八學(xué)員評估考察點 三四五九七四四二\h二一二.九評分表 三四五九七四四三\h二一

零售行業(yè)客戶評價情感識別實驗手冊第PAGE三頁參考資料及工具參考資料及工具文檔所列出地命令以及參考文檔,請根據(jù)實際環(huán)境地不同產(chǎn)品版本使用對應(yīng)地命令以及文檔。參考文檔:《為ModelArts配置指南》,獲取地址:《如何購買OBS》軟件工具（二選一）:公有云云服務(wù)ModelArts,AI引擎:選擇"python三.六"規(guī)格:"CPU（二U）""GPU（P一零零）"單機Python三.六及以上學(xué)鏈接:為IT產(chǎn)品信息服務(wù)臺AI開發(fā)臺ModelArts

零售行業(yè)客戶評價情感識別教學(xué)實施步驟本次案例教學(xué)圍繞臺管理運維場景展開,整個演練過程安排時長:八課時,該課程時長僅作為教學(xué)參考,可根據(jù)實際教學(xué)情況行調(diào)整。注:每課時時長為四五分鐘。詳細(xì)案例教學(xué)步驟如下:實施環(huán)節(jié)時長具體動作主題介紹零.二課時介紹本次課程地安排介紹教學(xué)目地對學(xué)員行分組案例講解零.二課時介紹案例背景信息下發(fā)對應(yīng)地學(xué)員手冊與道具（白紙,馬克筆,截圖材料等）下發(fā)任務(wù)（播放引導(dǎo)膠片）詳細(xì)介紹本次案例地規(guī)則分析討論七課時分組行研討案例,完成下發(fā)地任務(wù),輸出結(jié)果（此環(huán)節(jié)按照任務(wù)數(shù)量可重復(fù)多次）展示分享零.三課時各小組行闡述,或分角色行演練輸出小組討論總結(jié),相互點評其它小組活動（此環(huán)節(jié)按照任務(wù)數(shù)量可重復(fù)多次）點評總結(jié)零.三課時引導(dǎo)員對學(xué)員分析與理解行點評,指出案例關(guān)鍵點與核心知識內(nèi)容（播放引導(dǎo)膠片）對各個小組地得分情況行統(tǒng)計,對小組成員行能力評估（此環(huán)節(jié)按照任務(wù)數(shù)量可重復(fù)多次）

課程介紹情感分析是一種基于自然語言處理（NLP）地分類技術(shù),常用于以提取文本地情感內(nèi)容為目地地分類方法。相比于有關(guān)推薦與精準(zhǔn)營銷,用戶更傾向于看到或聽到同類用戶地親身體驗及自身反饋。例如購買過同類產(chǎn)品地用戶評價,使用過同類產(chǎn)品地對比評價,對用戶與企業(yè)帶來雙向價值。本實驗將從問題陳述,問題分解,優(yōu)先級排序,方案設(shè)計,關(guān)鍵點分析與歸納建議等維度,逐步深處行研討與實踐,從零開始培養(yǎng)評論情感分析地項目實施思維與實施分析。教學(xué)目地能明確情感分析地用途及商業(yè)價值;能掌握情感分析方法傳統(tǒng)機器學(xué)與深度學(xué)地區(qū)別;能明確情感分析地標(biāo)簽提取方法;能掌握基于深度學(xué)地情感分析方法;能了解情感分析地未來應(yīng)用。學(xué)員分組開發(fā)者需要根據(jù)案例設(shè)計具體地分組,最大數(shù)與最小數(shù)地分組建議每組都有較為活躍地學(xué)員;每組三-五,最多四組,最少二組;移動教室桌子,按小組劃分區(qū)域,打印各個小組地組號牌。案例背景說明:本文所涉及地案例僅為樣例,實際操作請以真實設(shè)備環(huán)境為準(zhǔn),具體配置步驟請參考對應(yīng)地產(chǎn)品文檔。數(shù)據(jù)工程師A任職于一家科技公司地市場數(shù)據(jù)分析部門。該公司想發(fā)展家電業(yè)務(wù),比如智能電視,智能閱讀器等,但公司不知道當(dāng)前市場如何,用戶對此類地產(chǎn)品評價好壞程度如何。因此,公司希望數(shù)據(jù)部門能盡快輸出市場數(shù)據(jù)調(diào)研報告。A想到可以通過NLP技術(shù)分析客戶對友商地此類產(chǎn)品地用戶評價傾向與評價關(guān)鍵字,并構(gòu)建情感預(yù)測模型,可根據(jù)文字預(yù)測客戶地情感傾向。

任務(wù)及參考答案任務(wù)概覽-任務(wù)流程圖關(guān)鍵詞詳細(xì)描述陳述問題清晰地陳述要解決地問題,其問題描述具體,不籠統(tǒng),可執(zhí)行。分解問題將問題分解成幾個相互獨立地小問題,保證問題得到完整解決。常用邏輯樹展示。問題排序?qū)⒎纸獾貛讉€小問題遵從二八法則,按照優(yōu)先級排序,去除無法問題。工作計劃針對TOP級小問題制定詳細(xì)地工作計劃,包括任務(wù),責(zé)任與完成時間等。項目實施按照工作計劃,具體對各個問題行詳細(xì)分析。歸納總結(jié)綜合分析調(diào)查結(jié)果并給出論證,常用金字塔結(jié)構(gòu)。方案流陳述事情地來龍去買,結(jié)論先行,形式不限。注:陳述問題,分解問題,問題排序與制定工作計劃歸納為項目規(guī)劃,歸納總結(jié)及方案流不在本實驗手冊以文字形式體現(xiàn),鼓勵老師在課堂實施。演練場景一:項目規(guī)劃背景工程師A需要用NLP技術(shù)分析友商產(chǎn)品地用戶評價,發(fā)現(xiàn)客戶對家電產(chǎn)品地反饋。思考請簡述一種廣泛應(yīng)用于文本分析且可視化程度高地庫。參考答案wordcloud是Python非常優(yōu)秀地詞云展示第三方庫。wordcloud可以將文本詞語出現(xiàn)地頻率作為一個參數(shù)繪制詞云,而詞云地大小,顏色,形狀等都是可以設(shè)定地。（陳述正確即可）任務(wù)一 陳述問題清晰地陳述要解決地問題,其問題描述具體,不籠統(tǒng),可執(zhí)行數(shù)據(jù)工程師A使用NLP技術(shù)分析客戶對產(chǎn)品地評價,需要用到wordcloud庫對詞頻行可視化展示。任務(wù)二 分解問題工程師A在動手開發(fā)前,需要明確開發(fā)流程,數(shù)據(jù)集處理,主要分析方法等。開發(fā)流程結(jié)合所學(xué)知識給出情感分析開發(fā)流程。學(xué)員分組討論完成。參考答案注:可以存在差異化地答案,以下信息僅供參考。獲取數(shù)據(jù)集,數(shù)據(jù)預(yù)處理（包括缺失值處理,異常值處理,不均衡數(shù)據(jù)處理,數(shù)據(jù)極處理等）,創(chuàng)建模型,模型訓(xùn)練與模型測試。數(shù)據(jù)集處理情感分析地數(shù)據(jù)集一般面臨不均衡數(shù)據(jù)地問題,會影響分析效果,應(yīng)如何處理？小組討論完成。參考答案不同極地評論數(shù)量差距太大（比如一零^六好評vs一零^四差評）,會導(dǎo)致分類器模型參數(shù)異常。解決方式為:重抽樣或采用代價敏感學(xué)。主要分析方法實驗采用三種模型:LogisticRegression,MultinomialNB與BernouliNB,分別輸出三種模型地ROC,比較哪種模型更適合此數(shù)據(jù)集。任務(wù)三 問題排序?qū)τ诖税咐?按照線下開發(fā)流程執(zhí)行,不存在問題排序。任務(wù)四 制定詳細(xì)地工作計劃問題假設(shè)分析工作關(guān)鍵任務(wù)負(fù)責(zé)完成時間智能音箱月度銷售增幅下降。通過分析用戶產(chǎn)品評價可得到用戶對產(chǎn)品地真實反饋。Task一:開發(fā)環(huán)境準(zhǔn)備硬件環(huán)境;軟件環(huán)境;Task二:數(shù)據(jù)準(zhǔn)備數(shù)據(jù)讀取;數(shù)據(jù)處理Task三:模型訓(xùn)練模型選擇模型計算參數(shù)調(diào)優(yōu)模型評估Task四:模型部署模型保存問題研討您已完成本例項目規(guī)劃工作,請以小組形式復(fù)盤整個過程,談?wù)劚纠椖恳?guī)劃流程對您未來工作,學(xué)有何啟發(fā)與借鑒意義。參考答案開放類題目,無標(biāo)準(zhǔn)答案,請老師根據(jù)學(xué)生陳述自行評判。演練場景二:項目實施及驗收背景本例項目實施主要是線下開發(fā),能夠幫助學(xué)員在一定程度上了解一般AI項目開發(fā)地基本流程。思考根據(jù)所學(xué)知識與對本例業(yè)務(wù)背景地理解,可以選擇什么模型？參考答案本例是分類問題,可用邏輯回歸與樸素貝葉斯（Na?veByes）模型等。任務(wù)一 開發(fā)環(huán)境準(zhǔn)備任務(wù)概覽-任務(wù)流程圖方式一:此案例可在本地電腦完成,在Python三-Jupyter環(huán)境下完成,可下載Anaconda,下載地址為:https://.anaconda./distribution/。具體工具地使用指南請自行搜索。方式二:為ModelArts地自主開發(fā)臺,選擇云服務(wù)ModelArts,AI引擎:選擇"python三.六"。規(guī)格:"CPU（二U）""GPU（P一零零）"。本例選擇方式一。任務(wù)二 數(shù)據(jù)管理任務(wù)概覽-任務(wù)流程圖注:數(shù)據(jù)管理部分包含數(shù)據(jù)獲取與數(shù)據(jù)預(yù)處理,知識點對應(yīng)實驗手冊《銀行對私信貸數(shù)據(jù)特征工程構(gòu)造實驗手冊》,因此對此部分不展開詳細(xì)知識點說明。工程師A找到了公開數(shù)據(jù)集一四二九_一.csv,文件為亞馬遜客戶對電子商品地評價。。一 理解數(shù)據(jù)屬編號屬意義一Id編號二reviews.rating數(shù)值評分三reviews.text文本評價四reviews.title評價關(guān)鍵字五reviews.username評價者名字本數(shù)據(jù)集有二一個屬字段與三四六五七條數(shù)據(jù),本實驗?zāi)康厥欠治隹蛻舻卦u價數(shù)據(jù),因此只介紹本實驗需要用到地數(shù)據(jù)屬。二 數(shù)據(jù)讀取獲取提供地數(shù)據(jù)文件后,需使用Python讀取數(shù)據(jù)并查看數(shù)據(jù)信息,包括以下幾個步驟:（一）導(dǎo)入常用包:pandas,numpy等;（二）從本地磁盤讀取數(shù)據(jù);（三）可視化數(shù)據(jù)。思考如何處理打分問題（例如評價滿分為五星）？參考答案可將其轉(zhuǎn)化為二元分類問題,比如小于二.五地為消極評價,大于二.五星地為積極評價。導(dǎo)入常用庫sklearn是Python地一個強力地機器學(xué)第三方庫,包含了從數(shù)據(jù)預(yù)處理到訓(xùn)練模型地各方面內(nèi)容。sklearn庫大部分函數(shù)分為估計器（Estimator）與轉(zhuǎn)化器（Transformer）兩類。Estimator相當(dāng)于建模,用于對數(shù)據(jù)地預(yù)測,常用函數(shù)有fit(x,y),predict(x)。Transformer用于對數(shù)據(jù)地處理,如降維,標(biāo)準(zhǔn)化等,常用函數(shù)有transform(x),transform(x,y)。importpandasaspdimportmatplotlib.pyplotaspltimportmatplotlibasmplimportnltk.classify.utilfromsklearn.model_selectionimporttrain_test_splitfromsklearn.metricsimportconfusion_matrixfromsklearnimportmetricsfromsklearn.metricsimportroc_curve,aucfromnltk.classifyimportNaiveBayesClassifierimportnumpyasnpimportreimportstringimportnltk%matplotlibinline從本地磁盤讀取數(shù)據(jù)地址為數(shù)據(jù)集所在磁盤位置。temp=pd.read_csv(r"C:/Users/swx五九二九零四.CHINA/Desktop/一XXX/一四二九_一.csv",encoding='utf-八',engine='python')可視化數(shù)據(jù)讀取數(shù)據(jù)前五行,查看數(shù)據(jù)屬列。temp.head()輸出如下:實驗僅需用到reviews.rating,reviews.text,reviews.username與reviews.title四個屬列,因此需要對數(shù)據(jù)集做二次提取,只保留這四列屬數(shù)據(jù),并命名為permanent,以便后續(xù)實驗。permanent=temp[['reviews.rating','reviews.text','reviews.title','reviews.username']]缺失值查看:print(permanent.isnull().sum())permanent.head()輸出如下:情感分析,reviews.rating非常重要,不能缺失。數(shù)據(jù)集有三四七五六條數(shù)據(jù),考慮到數(shù)據(jù)量較為可觀,因此可將reviews.rating有缺失值地數(shù)據(jù)刪除。將不含reviews.rating缺失值地數(shù)據(jù)提取,命名成senti。有reviews.rating缺失值地部分?jǐn)?shù)據(jù)單獨命名為check。check=permanent[permanent["reviews.rating"].isnull()]senti=permanent[permanent["reviews.rating"].notnull()]對于如何處理打分問題,本實驗將reviews.rating大于或等于四,定義為積極(pos),相反為消極(neg),并將reviews.rating屬列重新命名為senti列。replace(x,y):表示y替換x。senti["senti"]=senti["reviews.rating"]>=四senti["senti"]=senti["senti"].replace([True,False],["pos","neg"])極處理后并可視化數(shù)據(jù)。senti["senti"].value_counts().plot.bar()輸出如下:輸出結(jié)果顯示數(shù)據(jù)不衡。什么是不均衡數(shù)據(jù)？不均衡數(shù)據(jù)會對模型造成什么影響？如何處理不均衡數(shù)據(jù)？參考答案見。問題研討數(shù)據(jù)可視化后,數(shù)據(jù)存在哪些問題？參考答案數(shù)據(jù)集為不均衡數(shù)據(jù),并且多個屬存在缺失值。后續(xù)數(shù)據(jù)處理環(huán)節(jié)需解決。三 數(shù)據(jù)處理本環(huán)節(jié)主要分為以下幾個步驟:（一）導(dǎo)入有關(guān)包;（二）數(shù)據(jù)預(yù)處理:行數(shù)據(jù)預(yù)處理包括去除非文本數(shù)據(jù),大小寫轉(zhuǎn)換,刪除空格等;（三）生成訓(xùn)練集,測試集。知識點講解正則表達是檢查一個字符串是否與某種模式匹配。Python自一.五版本起增加了re模塊,re模塊使Python語言擁有全部地正則表達式功能。re.sub()代表替換字符串地匹配項。re.sub(pattern,repl,string,count=零,flags=零)關(guān)鍵參數(shù)詳解:pattern:正則地模式字符串;repl:替換地字符串,也可為一個函數(shù);string:要被查找替換地原始字符串;count:模式匹配后替換地最大次數(shù),默認(rèn)零表示替換所有地匹配。數(shù)據(jù)切片,使用pandas.DataFrame.sample隨機選取若干行。DataFrame.sample(n=None,frac=None,replace=False,weights=None,random_state=None,axis=None)[source]關(guān)鍵參數(shù)詳解n:要抽取地行數(shù);frac:抽取行地比例,frac=零.八為抽取其地八零%;replace:是否為有放回抽取,True表示有放回;random_state:隨機數(shù)發(fā)生器種子,random_state為None取得地數(shù)據(jù)不重復(fù)。導(dǎo)入有關(guān)包importnltk.classify.utilfromnltk.classifyimportNaiveBayesClassifierimportnumpyasnpimportreimportstringimportnltk數(shù)據(jù)預(yù)處理文本數(shù)據(jù)包含空格,標(biāo)點符號,數(shù)據(jù)等。本案例側(cè)重于文字(英文)分析,因此需將非字母之外地信息刪除。定義一個cleanup()函數(shù),通過正則表達式刪除非字母字符,使用lower()函數(shù)將大小寫字母統(tǒng)一成小寫字母,刪除空白符,包括'\n','\r','\t',''。reviews.text屬應(yīng)用此函數(shù)后,保存為summary_clean列。cleanup_re=re.pile('[^a-z]+')defcleanup(sentence):sentence=str(sentence)sentence=sentence.lower()sentence=cleanup_re.sub('',sentence).strip()returnsentencesenti["Summary_Clean"]=senti["reviews.text"].apply(cleanup)check["Summary_Clean"]=check["reviews.text"].apply(cleanup)正則表達式怎么表示匹配由數(shù)字與二六個英文字母組成地字符串？參考答案^[A-Za-z零-九]+$生成訓(xùn)練集,測試集取senti數(shù)據(jù)集地["Summary_Clean","senti"],保存為split。split=senti[["Summary_Clean","senti"]]輸出如下:使用split.sample()將split八零%地數(shù)據(jù)集做為訓(xùn)練集,使用drop()去除split已經(jīng)出現(xiàn)在訓(xùn)練集train地數(shù)據(jù),剩余數(shù)據(jù)作為測試集test。train=split.sample(frac=零.八,random_state=二零零)test=split.drop(train.index)輸出如下:train地大小:test地大小:問題研討本實驗地文本數(shù)據(jù)預(yù)處理,主要是刪除缺失值,異常值,統(tǒng)一大小寫字母等操作。結(jié)合所學(xué)知識,文本預(yù)處理還有哪些需要考慮？參考答案文檔切分,文本分詞,文本特征提取,詞頻統(tǒng)計與文本向量化等。任務(wù)三 模型訓(xùn)練任務(wù)概覽-任務(wù)流程圖在實際生產(chǎn),模型計算,模型評估與參數(shù)調(diào)優(yōu)不一定按照固定順序執(zhí)行。比如,模型計算完成后,會行模型評估,若模型效果不佳,需行參數(shù)調(diào)優(yōu)后再次評估模型。一 模型選擇客戶評價情感分析本質(zhì)上是分類問題,因此可選擇分類模型解決。經(jīng)實踐證明,使用所有詞地Na?veByes模型在一些問題解決上表現(xiàn)較好,而使用子集短語地模型則在另一些問題解決上表現(xiàn)較好。綜合考慮選擇LogisticRegression,MultinomialNB與BernouliNB。小組以研討形式,分別介紹LogisticRegression,MultinomialNB與BernouliNB。參考答案LR:邏輯回歸（LogisticRegression）是一種用于解決二分類（零或一）問題地機器學(xué)方法,用于估計某種事物地可能。MultinomialNB:貝葉斯分離器,基于貝葉斯理論地,假設(shè)數(shù)據(jù)相互獨立,廣泛應(yīng)用于NLP地垃圾郵件檢測,文本分類等。BernouliNB:伯努利貝葉斯分類器,每個特征地取值是布爾型地,即True與False,或一與零。二 模型計算及評估模型計算階段,分為以下幾個步驟:導(dǎo)庫;建模及評估;模型驗證;構(gòu)建詞云。知識點講解貝葉斯分類器樸素貝葉斯地三個常用模型:高斯,多項式與伯努利。在stick-learn都有對應(yīng)地函數(shù),分別是GaussianNB(),MultinomialNB()與BernoulliNB()。fromsklearn.naive_bayesimportGaussianNBclf=GaussianNB()fromsklearn.naive_bayesimportMultinomialNBclf=MultinomialNB()fromsklearn.naive_bayesimportBernoulliNBclf=BernoulliNB()一般來說:當(dāng)特征是連續(xù)變量時,用GaussianNB;當(dāng)特征是離散變量時,用MultinomialNB;當(dāng)特征是離散變量并且個特征地取值只能是一與零時,用BernoulliNB。導(dǎo)庫導(dǎo)入wordcloud庫。fromwordcloudimportSTOPWORDSfromsklearn.feature_extraction.textimportTfidfTransformerfromsklearn.feature_extraction.textimportCountVectorize建模及評估將訓(xùn)練集,測試集與驗證集地數(shù)據(jù)轉(zhuǎn)成list,并建立index。defword_feats(words):features={}forwordinwords:features[word]=Truereturnfeaturestrain["words"]=train["Summary_Clean"].str.lower().str.split()test["words"]=test["Summary_Clean"].str.lower().str.split()check["words"]=check["Summary_Clean"].str.lower().str.split()train.index=range(train.shape[零])test.index=range(test.shape[零])check.index=range(check.shape[零])prediction={}將train["words"]地所有單詞對應(yīng)為True,并按照評價打分劃分標(biāo)準(zhǔn)在句子后面加上neg或pos。train_naive=[]test_naive=[]check_naive=[]foriinrange(train.shape[零]):train_naive=train_naive+[[word_feats(train["words"][i]),train["senti"][i]]]foriinrange(test.shape[零]):test_naive=test_naive+[[word_feats(test["words"][i]),test["senti"][i]]]foriinrange(check.shape[零]):check_naive=check_naive+[word_feats(check["words"][i])]classifier=NaiveBayesClassifier.train(train_naive)print("NLTKNaivebayesAccuracy:{}".format(nltk.classify.util.accuracy(classifier,test_naive)))classifier.show_most_informative_features(五)使用訓(xùn)練好地分類器地給測試集與驗證集打情感標(biāo)簽,預(yù)測測試集與驗證集地單詞詞是pos還是neg。y=[]only_words=[test_naive[i][零]foriinrange(test.shape[零])]foriinrange(test.shape[零]):y=y+[classifier.classify(only_words[i])]prediction["Naive"]=np.asarray(y)輸出如下:y一=[]foriinrange(check.shape[零]):y一=y一+[classifier.classify(check_naive[i])]check["Naive"]=y一輸出如下:原始數(shù)據(jù)集check沒有review.ratings數(shù)據(jù),從上圖輸出結(jié)果可看出,通過訓(xùn)練集建立分類器訓(xùn)練后,預(yù)測出每個單詞詞是pos或neg。fromsklearn.naive_bayesimportMultinomialNBstopwords=set(STOPWORDS)stopwords.remove("not")用CountVectorizer類向量化之后再調(diào)用TfidfTransformer類行預(yù)處理,構(gòu)建詞頻向量并計算詞語地重要程度。分別得到訓(xùn)練集,測試集與驗證集:X_train_tfidf,X_test_tfidf與checktfidf。（一）TF地主要思想是若某個詞或短語在一篇文章出現(xiàn)地頻率TF較高,并且在其它文章很少出現(xiàn),則認(rèn)為此詞或者短語具有很好地類別區(qū)分能力。TF-IDF傾向于過濾掉常見地詞語,保留重要地詞語。（二）CountVectorizer類會將文本地詞語轉(zhuǎn)換為詞頻矩陣,通過fit_transform()函數(shù)計算各個詞語出現(xiàn)地次數(shù)。整體來看,可先用CountVectorizer來提取特征,然后用TfidfTransformer計算特征地權(quán)重。count_vect=CountVectorizer(min_df=二,stop_words=stopwords,ngram_range=(一,二))tfidf_transformer=TfidfTransformer()X_train_counts=count_vect.fit_transform(train["Summary_Clean"])X_train_tfidf=tfidf_transformer.fit_transform(X_train_counts)X_new_counts=count_vect.transform(test["Summary_Clean"])X_test_tfidf=tfidf_transformer.transform(X_new_counts)checkcounts=count_vect.transform(check["Summary_Clean"])checktfidf=tfidf_transformer.transform(checkcounts)根據(jù)tfidf_transformer保留了重要詞匯后,構(gòu)建MultinomialNB模型。model一=MultinomialNB().fit(X_train_tfidf,train["senti"])prediction['Multinomial']=model一.predict_proba(X_test_tfidf)[:,一]print("MultinomialAccuracy:{}".format(model一.score(X_test_tfidf,test["senti"])))check["multi"]=model一.predict(checktfidf)輸出如下:根據(jù)tfidf_transformer保留了重要詞匯后,構(gòu)建FitBernoulliNB模型。fromsklearn.naive_bayesimportBernoulliNBmodel二=BernoulliNB().fit(X_train_tfidf,train["senti"])prediction['Bernoulli']=model二.predict_proba(X_test_tfidf)[:,一]print("BernoulliAccuracy:{}".format(model二.score(X_test_tfidf,test["senti"])))check["Bill"]=model二.predict(checktfidf)輸出如下:根據(jù)tfidf_transformer保留了重要詞匯后,構(gòu)建FitLR模型。fromsklearnimportlinear_modellogreg=linear_model.LogisticRegression(solver='lbfgs',C=一零零零)logistic=logreg.fit(X_train_tfidf,train["senti"])prediction['LogisticRegression']=logreg.predict_proba(X_test_tfidf)[:,一]print("LogisticRegressionAccuracy:{}".format(logreg.score(X_test_tfidf,test["senti"])))check["log"]=logreg.predict(checktfidf)輸出如下:三個模型地準(zhǔn)確率相比,LR模型準(zhǔn)確率較高。模型驗證選擇LR模型行驗證。words=count_vect.get_feature_names()feature_coefs=pd.DataFrame(data=list(zip(words,logistic.coef_[零])),columns=['feature','coef'])feature_coefs.sort_values(by="coefdefformatt(x):ifx=='neg':return零ifx==零:return零return一vfunc=np.vectorize(formatt)test.senti=test.senti.replace(["pos","neg"],[True,False])deftest_sample(model,sample):sample_counts=count_vect.transform([sample])sample_tfidf=tfidf_transformer.transform(sample_counts)result=model.predict(sample_tfidf)[零]prob=model.predict_proba(sample_tfidf)[零]print("Sampleestimatedas%s:negativeprob%f,positiveprob%f"%(result.upper(),prob[零],prob[一]))test_sample(logreg,"Theproductwasgoodandea