文本分析概念1.了解文本分析基本概念

2.了解NLP的發(fā)展

3.了解文本分析的任務(wù)文本分析基本概念NLP的發(fā)展12文本分析的任務(wù)31.文本分析基本概念自然語(yǔ)言是指人們?nèi)粘＝涣魇褂玫恼Z(yǔ)言，相對(duì)于編程語(yǔ)言和數(shù)學(xué)符號(hào)這樣的人工語(yǔ)言,自然語(yǔ)言很難用明確的規(guī)則來(lái)刻畫文本分析是指對(duì)文本的表示及其特征項(xiàng)的選取；文本分析是文本挖掘、信息檢索的一個(gè)基本問(wèn)題，它把從文本中抽取出的特征詞進(jìn)行量化來(lái)表示文本信息1.文本分析基本概念NLP（NaturalLanguageProcessing）自然語(yǔ)言處理，通過(guò)整理和構(gòu)建知識(shí)，以執(zhí)行自動(dòng)摘要/翻譯/命名實(shí)體識(shí)別/關(guān)系提取/情感分析/語(yǔ)音識(shí)別/主題分割等任務(wù)NLTK（NaturalLanguageToolkit）用于處理自然語(yǔ)言的Python庫(kù)，為超過(guò)50個(gè)語(yǔ)料庫(kù)和詞匯資源提供了易于使用的接口，還提供了一套用于分類/標(biāo)記化/詞干化/標(biāo)記/解析/語(yǔ)義推理的文本處理庫(kù)，以及工業(yè)級(jí)NLP庫(kù)的包裝器2.NLP的發(fā)展NLP是科學(xué)、經(jīng)濟(jì)、社會(huì)和文化的一個(gè)重要因素，NLP正在迅速成長(zhǎng),它的很多理論和方法在大量新的語(yǔ)言技術(shù)中得到應(yīng)用2.NLP的發(fā)展基于NLP的技術(shù)應(yīng)用日益廣泛手機(jī)和手持電腦支持輸入法聯(lián)想提示和手寫識(shí)別網(wǎng)絡(luò)搜索引擎能搜到非結(jié)構(gòu)化文本中的信息機(jī)器翻譯能把中文文本翻譯成西班牙文2.NLP的發(fā)展對(duì)很多行業(yè)的人來(lái)說(shuō)掌握NLP知識(shí)十分重要在應(yīng)用領(lǐng)域包括從事人機(jī)交互、商業(yè)信息分析、web軟件開發(fā)的人在學(xué)術(shù)界包括從人文計(jì)算學(xué)、語(yǔ)料庫(kù)語(yǔ)言學(xué)到計(jì)算機(jī)科學(xué)和人工智能領(lǐng)域的人3.文本分析的任務(wù)大量的語(yǔ)言相關(guān)的技術(shù)都離不開自然語(yǔ)言處理的支持，文本分析的任務(wù)包括從非結(jié)構(gòu)化文本中提取信息,無(wú)論是猜測(cè)主題還是識(shí)別“命名實(shí)體”；分析文本的語(yǔ)言學(xué)結(jié)構(gòu),包括文法和語(yǔ)義分析；訪問(wèn)流行的語(yǔ)言學(xué)數(shù)據(jù)集,包括WordNet和treebanks；整合從語(yǔ)言學(xué)到人工智能