1、大數據語義分析與應用實踐Big Data Semantic Analysis and Application機器理解自然語言？右面的雞才是最好的客觀世界-思維-自然語言 衰減效應：思維最多只能反映80%的客觀世界；自然語言只能反映80%的思維：詞不達意，答非所問；聽眾最多只能聽懂80%；聽懂的部分只有80%能反映到思維中；分析客觀世界的最多只能利用80%。綱要IIIIIV科學的大數據觀大數據精準搜索關鍵技術大數據語義應用實踐大數據搜索挖掘II文本大數據挖掘關鍵技術 Wiki:Big data is the term for a collection of data sets so large

2、and complex that it becomes difficult to process using on-hand database management tools or traditional data processing applications. 維克托大數據時代：大數據指不用隨機分析法（抽樣調查）這樣的捷徑，而采用所有數據的方法。 我們的見解大數據是指 異構、實時 處理、信息 轉化為智慧是一場新的（全量分析 世界的混雜：從客觀存在的全量超大規模 變化的微觀數據中，利用自 檢索、機器學習等技術抽取 的方法學。科技革命，也是思想方法的，讓數據說話; 承認并客觀 性; 相關性挖

3、掘替代因果、多源 然語言 知識，革命。 地認識 推斷）近半世紀來的三次革命Big Data計算機時代互聯網時代大數據時代20世紀90年代21世紀10年代計算方式的革命信息傳播方式的革命決策方式的革命20世紀70年代大數據顛覆決策模式ion策 率imeusinessupply決策主體決策eedback依據uratonsumer決策emand機制決 效redictionealt大數據時代的特征省 好 快 多綱要IIIIIV科學的大數據觀大數據精準搜索關鍵技術大數據語義應用實踐大數據搜索挖掘II文本大數據挖掘關鍵技術大數據應對之道:知著、見微、曉意大數據更大意義上是非結構化內容理解知識本體 構建與知

4、 識管理JZSearch 精準搜索 引擎NLPIR大數據 語義挖掘NLPIR大數據搜索與挖掘技術開發平臺 NLPIR網絡搜索與挖掘共享開發平臺，針對語言信息內容 處理的全技術鏈條的共享開發平臺。15年專業研究與工程 積累，提供應用軟件及各平臺下的二次開發包，非商用永 久免費。下載。 核心功能包括：搜索類：全文精準檢索；語言類：新詞發現，分詞標注，統計分析與術 語翻譯；關鍵詞提取；文檔類：文本聚類及熱點分析；分類過濾；自動摘要；文檔去重；情感分析NLPIR大數據語義分析技術的在線演示網址：/nlpir/產品下載試用網址：/NLPIR-team/NLPIRNLPIR大數據語義分析技術的在線演示-支

5、持所有平臺C語言C+語言C#語言JAVA語言 等幾乎囊括了 市面所有主 流的編程語言Windows 32 位/64位操 作系統Linux32位/64位操作 系統Android操作系統IOS操作系 統國產紅旗等 文本聚類：發現熱門事件綱要IIIIIV科學的大數據觀大數據精準搜索關鍵技術大數據語義應用實踐大數據搜索挖掘II文本大數據挖掘關鍵技術搜索基本功能：多字段關聯搜索、指定字段排序、精確搜索與模糊搜索搜索特色功能：內嵌正負面情感等極性分析、語義聯想搜索、臨近搜索、搜 索結果去重；內嵌了ICTCLAS智能分詞系統；數據庫實時同步：數據庫增刪改10秒內即可同步到搜索；搜索維護功能：單點故障容錯；支

6、持增量索引；自動備份與恢復機制；自動 緩存機制；自動優化機制；搜索屏蔽與恢復；JZSearch內部語法示例FIELD * NEAR 尚福林 #負面JZSearch# 12FIELD price RANG 1.0 9.0 FIELD name AND 牛奶兒童FIELD name PREF 張姓名字段name必須以“張”作為前綴開頭FIELD id PREC 123字段id必須以“123”精準匹配，如“1234”或者 “0123”均不作為匹配結果；field content complex 統計局|中國統計局|CPI騙人|磚家 10要求content字段內，同時出現統計局|中國統計局|CPI 騙

7、人|磚家,且兩者之間的距離必須在10個詞內。ICTCLASIndexerSearcherAdapterindex1docindex2indexnManager.MySQLSQLServer/OracleHbase/MongoDBusersadminMergeReload SaaS APIappsDeleteStat.deleteddeletedEditLexiconSimDictJZSearch Big Data Search Engine ArchitectureJZSearch應用示例JZSearch語義精準搜索引擎JZSearch語義精準搜索引擎JZSearch語義精準搜索引擎JZSea

8、rch語義精準搜索引擎綱要IIIIIV科學的大數據觀大數據搜索與挖掘關鍵技術社交網絡大數據語義應用實踐大數據搜索挖掘II輿情分析的困局與迷思大數據語義應用實踐 某大廈電力數據挖掘 95598客服挖掘 國家電網頭條 公安某局的探索研究數據介紹共238個房間2014.07.012015.07.08，共373天期間工作日共256天單日用電量局部數據放大演示計算空置率的意義空置房間對正常使用房間的分析產生干擾空置率是判斷經濟發展狀況的一個重要指標空置房間標準日均用電量低于1千瓦時用電量低于1千瓦時的天數分布相對分散用電量低于1千瓦時的天數占到總工作日的1/3計算結果如下：共76個房間702703704

9、705707709710711712805807809810811812815906910915100110111107111112011209121112151301130913101408140914111504150715091803180619041905210121042201220322052206240424052503250528042805280629012906300230053006320132033204320533013304340235013504360136043801400241014201440145014601空置率=控制房間/總房間=31.9%按電腦分析：

10、1可 增按 一 瓦 瓦 小 7一臺日常使用的臺式計算機的功率約300瓦。按照每天開機8小時計。9月10月間，日均用電量約3千瓦時，可供約1臺電腦工作。從 1月開始，日均用電量約5千瓦時，供兩臺電腦工作。說明房間內電腦 加。空調分析：臺1P的空調功率制冷一般為1000，制熱約1100瓦；2P制冷為1600，制熱為1700瓦。按照每天開機8 時計。月8月間，日均空調用電約15千瓦 時，可供2P空調工作。2月中，按照2P空調計算，約耗電14千瓦時，與圖中所示基本吻合。將房間802認為是正常的寫字樓房間故障類型故障投訴類型包括72種，側重于頻繁停電、欠費停復電、抄表、人員態度、人員違規的管理故障投訴內

11、容中的關鍵詞分析繳費用電復電停電信息告知客戶接錯繳納無法提供客戶無法計劃停電停電通知書收取表員費用安裝電量無故停電施工承諾時限詢問故障投訴內容隨時間變化分析-相同詞匯 每天投訴的高峰期為10點和16點故障投訴隨時間變化的挖掘分析電網頭條應用實踐 “電網頭條”： 全媒體個性化智能推薦平臺全媒體：多維一體、富媒體云應用：用戶、編輯、審核、管理員等Saa個性化：因時因地因人而變采編發審中央廚房1系統組成方案 系統總體架構1全媒體：多元化富媒體展示 多元化展示圖文混排、視頻播放 多元化內容微信、相關新聞、熱門評論 多元化互動喜歡、收藏、投票 、發表評論個性化-因時因地因人而變個性化：用戶畫像應用案例 利用每日新增的網絡訪問日志數據500G, 采用大數據挖掘技術，提供商情精準營銷 增值服務。電網頭條的應用實踐電網頭條-采編發審中央廚房4%詐騙61%盜竊33%無居住手少黃賭續上毒數訪民族 其他1% 00%1%00%黃賭毒上訪少數民族其他公安大數據-分類詐騙盜竊毒品在前面關鍵詞“三輪車”的搜索結果中，選doc_id為3429的警情，最相關的10條結果演示公安大數據-串并案Cluster 0: 天作 使用費 非法占有Cluste