




版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
1、文本挖掘核心技術及其應用 2目錄文本挖掘步驟文本挖掘功能文本挖掘應用3文本挖掘步驟文本挖掘的一般處理過程特征的建立特征集的縮減學習與知識模式的提取知識模式模式質量的評價文檔集4文本源原始數據預處理過濾虛詞合并詞根分詞特征表示計算權值合并特征過濾特征特征提取權值調整特征約減文本挖掘文本分類文本聚類關聯分析模式提取分類模式聚類模式關聯規則結果展示展示界面文本挖掘步驟5文本挖掘主要功能及應用 文本挖掘應用實現功能自動分詞文檔歸類自動分類自動聚類信息抽取文本相似性檢索自動摘要輿情監控垃圾郵件過濾企業競爭情報系統電子商務客戶自動問答6目錄文本挖掘步驟文本挖掘功能文本挖掘應用7自動分詞8自動分類莫言對話楊
2、振寧:來生學物理,當下夢飛天時政社會軍事評論文化國際歷史9自動聚類自動對大量無類別的文檔進行歸類,把內容相近的文檔歸為一類,并自動為該類生成主題詞,為用戶確定類目名稱提供方便。文本1文本2文本3文本4文本5類別1:關鍵詞: 比賽、賽季、聯賽、球隊、比分、太陽、NBA、球員隊員、領先類別2:關鍵詞:旅游、黃金、游客、記者、旅行社、中國、國家、假日、北京、線路類別3:關鍵詞:公司、企業、招聘、面試、求職、專業、職業、學生、大學、人才10信息抽取信息抽取是從文本中抽取指定的一類信息(事件、事實)并將其形成結構化的數據,填入一個數據庫中以供用戶查詢使用。會議時間會議時間1998年3月9日會議地點會議地
3、點北京會議召集者會議召集者/主持人主持人個人姓名/團體名稱Name蔣正華機構、職位Org/Post主席,農工民主黨中央會議名稱會議名稱/標標題題中國農工民主黨第十二屆中央常務委員會第一次會議11信息抽取12文本相似性檢索文本相似性檢索式對一篇文檔到索引庫中查找與其內容重復率高的文檔和相似的文檔。目前應用最廣的是論文查重。13自動摘要對文章中的所有句子進行權值運算,對所有的句子按權值排列,提取出權值大的作為關鍵句,進而形成摘要。14目錄文本挖掘步驟文本挖掘功能文本挖掘應用15應用文檔自動歸類文本源原始數據預處理過濾虛詞合并詞根分詞特征表示計算權值合并特征過濾特征特征提取權值調整特征約減文本挖掘文
4、本分類模式提取分類模式結果展示展示界面16應用文檔自動歸類17應用垃圾郵件過濾l商家利用電子郵件傳播大量廣告l垃圾郵件持續攀升l逐一查看郵件浪費時間面臨的問題l對垃圾郵件進行過濾l對郵件進行歸類l郵件自動回復關鍵需求18應用網絡輿情監控l互聯網的普及,網絡輿論熱點層出不窮;l民意表達向網絡傾斜;l網絡輿論一旦被錯誤控制和引導,影響社會穩定;面臨的挑戰l輿情信息的采集與提取l話題發現與追蹤l網絡輿情傾向性分析關鍵需求20論壇論壇新聞新聞引擎引擎垂直垂直頁面頁面采集和提取采集和提取博客博客應用網絡輿情監控難點熱點分析21應用網絡輿情監控所采集的網絡范圍內重復程度最高的話題22應用網絡輿情監控網絡輿
5、情摘要 提取出幾條最重要的新聞,自動生成摘要,生成簡報。23傾向性分析自動聚合網絡新聞并自動進行褒貶傾向性的分析。 對文章的觀點進行傾向性分析和統計,識別正負面信息。應用網絡輿情監控24通過對網絡信息中的犯罪信息量的分析計算來反映網民的安全感,并進行分級;通過對政府工作相關語料的褒貶分析計算來描述公眾對政府工作的滿意程度,并進行分級。網絡輿情監控應用25應用企業競爭情報系統l企業情報采集效率低和實時性差l信息孤島,缺少跨部門情報資源共享l情報內容存在重復性,資源沒有得到有效整合面臨的問題l自動化收集商業信息l對情報內容進行統一管理l根據情報內容,確定潛在威脅,及時預警,并制定相應策略關鍵需求2
6、6應用企業競爭情報系統伊利作為中國乳業巨頭之一,面臨多方競爭,必須密切關注對手動態,其最大的競爭對手是蒙牛,因此,蒙牛公司的動態對伊利公司有很大的影響。采集2010年6月至11月蒙牛官網的信息,對其進行分析。6月詞頻量7月詞頻量8月詞頻量9月詞頻量10月詞頻量11月詞頻量合作869107104君樂寶00000140激增詞頻警報遞增詞頻警報6月詞頻量7月詞頻量8月詞頻量9月詞頻量10月詞頻量11月詞頻量奶源971722295827發現共線詞關系:君樂寶低溫;華北;蒙牛奶源,奶源君樂寶警情:蒙牛整合君樂寶,實現戰略合作警情分析: 整合事件極大程度轉變蒙牛低溫市場地位,并提升蒙牛競爭力,對伊利構成極
7、大威脅; 提升蒙牛在華北地位,威脅伊利華北市場戰略地位; 極大提升蒙牛奶源優勢,對伊利在奶源的競爭造成威脅。應用企業競爭情報系統28電子商務網站應用l數據激增,且有大量的非結構化數據l如何從大量數據中發現有價值的客戶l挖掘其內在規律面臨的問題l分析商品之間的內在關聯l發現有價值客戶l對用戶行為進行預測關鍵需求電子商務網站應用網站產品評論挖掘:IT168網站是中國指導IT產品采購的知名媒體品牌,是國內最大、最權威的導購咨詢網站之一。從IT168網站下載三種產品的評論,分別是:諾基亞5320XM的206篇評論、諾基亞5800XM的205篇評論和富士S5205EXR的72篇評論。如,以下是諾基亞5320XM的一篇評論:步驟:文本源原始數據預處理詞性標注去除停用詞分詞特征識別特征標注特征詞提取語義極性分析句子極性分析極性詞識別和強度確定分類和結果評價結果評價分類程度副詞和極性詞分:褒、中、貶強度:良好、優秀如功能、價格、屏幕等30電子商務網站應用挖掘結果及分析:
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
- 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 【藝恩】2025短劇女演員圖鑒
- 工業廢水處理與環保技術
- 工業安全與智能制造的協同發展
- 工業機器人系統的教學與應用
- 工業機器人與生產效率的提升
- 工業污染防治與可持續發展
- 工業機器人技術發展趨勢及產業應用
- 工業機器人的人機交互技術
- 工業機械設備的維護與保養
- 工業自動化領域智能硬件的發展
- 2025安全月競賽應知應會1000題庫(必答題 搶答題 風險題)
- 2025年高考語文全國一卷試題真題及答案詳解(精校打印)
- 2024年成都市八年級(初二會考)中考地理+生物真題試卷
- 2024北京海淀區四年級(下)期末數學試題及答案
- 體檢中心質量控制指南
- 星期音樂會智慧樹知到期末考試答案章節答案2024年同濟大學
- 生命哲學:愛、美與死亡智慧樹知到期末考試答案2024年
- 天津市河西區20142015學年度小升初數學試卷匯編
- 鐵路貨物運價規則 鐵運[2005]46號
- 迪恩斯改編作品《山楂樹》Thorntree(UralRowanTree);RolandDyens古典吉他譜(精選)
- 武漢大學分子生物學_2007期末試卷A
評論
0/150
提交評論