《自然語(yǔ)言處理技術(shù)》代碼42所示。代碼STYLEREF1\s4SEQ代碼\*ARABIC\s12加載文本數(shù)據(jù)#以只讀模式打開(kāi)名為“西游記.txt”的文件，使用utf-8編碼withopen("西游記.txt","r",encoding="utf-8")asfile:#將文件內(nèi)容讀取到字符串變量raw_text中raw_text=file.read()print('文本內(nèi)容為：\n',raw_text)運(yùn)行REF_Ref97535682\h代碼42，得到西游記的文本內(nèi)容如下。文本內(nèi)容為：西游記之正文第001回靈根育孕源流出心性修持大道生?詩(shī)曰：混沌未分天地亂，茫茫渺渺無(wú)人見(jiàn)。自從盤古破鴻蒙，開(kāi)辟?gòu)钠澢鍧岜妗８草d群生仰至仁，發(fā)明萬(wàn)物皆成善。欲知造化會(huì)元功，須看西游釋厄傳。…唐王準(zhǔn)奏，即命升陳萼為學(xué)士之職，隨朝理政。玄奘立意安禪，送在洪福寺內(nèi)修行。后來(lái)殷小姐畢竟從容自盡，玄奘自到金山寺中報(bào)答法明長(zhǎng)老。不知后來(lái)事體若何，且聽(tīng)下回分解。文本預(yù)處理這一步驟，實(shí)現(xiàn)文本清洗和分詞的功能，并將分詞結(jié)果轉(zhuǎn)化為列表，如REF_Ref98942649\h代碼43所示。代碼STYLEREF1\s4SEQ代碼\*ARABIC\s13文本預(yù)處理#使用正則表達(dá)式去除特殊符號(hào)、數(shù)字和英文字符clean_text=re.sub("[\s+\.\!\/_,$%^*(+\"\']+|[+——！，。？、~@#￥%……&*（）：；《）《》“”’‘[\]]","",raw_text)#對(duì)清洗后的文本進(jìn)行分詞seg_list=jieba.cut(clean_text)#將分詞結(jié)果轉(zhuǎn)換為列表seg_words=list(seg_list)print('正則化后的內(nèi)容為：\n',raw_text)運(yùn)行REF_Ref98942649\h代碼43，得到正則化后的內(nèi)容如下。正則化后的內(nèi)容為：西游記之正文第001回靈根育孕源流出心性修持大道生?詩(shī)曰：混沌未分天地亂，茫茫渺渺無(wú)人見(jiàn)。自從盤古破鴻蒙，開(kāi)辟?gòu)钠澢鍧岜妗８草d群生仰至仁，發(fā)明萬(wàn)物皆成善。欲知造化會(huì)元功，須看西游釋厄傳。…使用TF-IDF算法提取關(guān)鍵詞這一步驟，使用jieba庫(kù)的analyse模塊中的extract_tags()方法對(duì)清洗后的文本clean_text進(jìn)行關(guān)鍵詞提取。extract_tags()方法基于TF-IDF算法對(duì)文本進(jìn)行關(guān)鍵詞提取，topK=10表示提取權(quán)重最高的前10個(gè)關(guān)鍵詞，最終將得到的關(guān)鍵詞列表存儲(chǔ)在變量keywords中，如REF_Ref98521257\h代碼44所示。代碼STYLEREF1\s4SEQ代碼\*ARABIC\s14使用TF-IDF算法提取關(guān)鍵詞#使用jieba.analyse.extract_tags方法提取關(guān)鍵詞#設(shè)置提取前10個(gè)關(guān)鍵詞keywords=jieba.analyse.extract_tags(clean_text,topK=10)#打印關(guān)鍵詞提取結(jié)果（基于TF-IDF算法）print("關(guān)鍵詞提取結(jié)果（TF-IDF）：\n")forwordinkeywords:print(word)運(yùn)