1、.：.；基于核算法的缺點智能診斷實際及方法研討摘 要設(shè)備缺點診斷與監(jiān)測技術(shù)是一門正在不斷開展和完善的新技術(shù)，它具有保證平安生產(chǎn)，防止突發(fā)事故，節(jié)約維修費用等特點，在現(xiàn)代化大消費中發(fā)揚著重要的作用。然而正是由于消費設(shè)備構(gòu)造日趨復(fù)雜及內(nèi)部關(guān)系日益親密，呵斥了設(shè)備運轉(zhuǎn)形狀監(jiān)測和缺點診斷的難度不斷增大，迫使人們需求不斷探求新的實際或方法來處理實踐中所遇到的問題。自20世紀(jì)60年代以來，以Vapnik為代表的研討人員努力于統(tǒng)計學(xué)習(xí)實際的研討，并在此根底上創(chuàng)建出一類新的機器學(xué)習(xí)算法：支持向量機(Support Vector Machine，SVM)。正是核函數(shù)在SVM的勝利運用，基于核函數(shù)的學(xué)習(xí)方法(簡稱

2、核算法)的研討遭到注重。將核算法運用到缺點診斷中有望處理其中的非線性、不準(zhǔn)確性和不確定性等問題，為該領(lǐng)域的研討提供了全新且可行的研討途徑。基于核算法的缺點智能診斷技術(shù)，在國際上都屬于一個全新的研討領(lǐng)域，這一方法在實踐運用中還有許多問題值得進展深化的研討和討論。本論文圍繞核算法在缺點智能診斷中的運用，對缺點診斷中不確定信息的處置、故障診斷實時性的實現(xiàn)、核函數(shù)的選擇和參數(shù)優(yōu)化、多類缺點診斷、早期缺點的發(fā)現(xiàn)以及樣本數(shù)據(jù)的緊縮等幾個方面進展了較為系統(tǒng)深化的研討，為核算法運用于缺點診斷提供了實際根據(jù)，促進了缺點診斷技術(shù)的開展。論文的主要任務(wù)及創(chuàng)新之處為：針對缺點診斷中兩類誤判呵斥損失不等的情況，提出一種

3、基于幾何間隔 的后驗概率計算方法；在定義基于風(fēng)險的診斷可信度的根底上，將 SVM 與貝葉斯決策實際相結(jié)合，提出一種基于最小風(fēng)險的 SVM 方法；并且將該方法運用于電液伺服閥缺點診斷實例，證明了該方法的可行性。針對單值 SVM 只訓(xùn)練單類別樣本的特點，證明了徑向基核函數(shù)的參數(shù) s 0和s 時兩個定理；探求了兩種支持向量(邊境支持向量或非邊境支持向量)與目的識別率的關(guān)系，提出一種改良的“留一法模型參數(shù)選擇方法，該方法在確保分類器泛化性能的前提下，大大減少模型參數(shù)選擇的時間，可針對性地確定目的識別率或非目的識別率。面對時變系統(tǒng)的缺點診斷，提出了一種基于滾動時間窗的單值 SVM 學(xué)習(xí)算法，為將單值 S

4、VM 適用化作出了努力。提出了將單值 SVM 推行到多缺點診斷的兩種方法，并將之運用到基準(zhǔn)數(shù)據(jù)庫和液壓泵多缺點識別中，不僅處理了目前存在的 SVM 多值分類方法存在的不屬于任何一類以及同時屬于多類的情況，同時提高了算法的訓(xùn)練與決策速度。針對支持向量回歸機(Support Vector Regression，SVR)模型參數(shù)選擇難的問題，探究了 SVR 各參數(shù)對其性能的影響，提出了一種基于遺傳算法的 SVR 參數(shù)自動優(yōu)化的方法；并且經(jīng)過建立 SVR 預(yù)測模型，用于實現(xiàn)早期缺點診斷以及強混沌背景下微弱信號的檢測。仿真驗證，該方法比徑向基神經(jīng)網(wǎng)絡(luò)更具有穩(wěn)健性和泛化性。最后，詳細(xì)討論了核矩陣維度縮減問

5、題，給出了殘差估計的界定理；在綜合思索選取列的獨立性和殘差范數(shù)大小兩者關(guān)系的根底上，提出理處理核矩陣維度縮減的啟發(fā)性算法貪婪算法。并在此根底上，在再生核 Hilbert 空間又提出一種稀疏性回歸算法。關(guān)鍵詞：缺點診斷；機器學(xué)習(xí)；支持向量機；核算法；多類缺點；早期缺點診斷；核矩陣Subject : Study on Theory and Methods of Intelligent Fault DiagnosisBased on Kernel AlgorithmSpecialty : Safety Technology and EngineeringName : Du Jing-yi (sign

6、ature)Instructor : Hou Yuan-bin (signature)AbstractThe new technique of fault diagnosis and monitoring of equipments is developing andperfecting continuously. It plays an important role in the modern duplicate productions withthe characteristics that safeguards the safety production and prevents fro

7、m the accidents andsaves the maintenance costs. However, the more complex structures of the facilities and itscloser inner connection increase the difficulties in diagnosing fault and monitoring therunning state of the equipments. The new theories and methods have to be investigated inorder to solve

8、 the problems encountered in reality. Since 1960s, researchers represented byVapnik have devoted themselves to the study on statistic learning theory. They established anew type of learning algorithm, support vector machine (SVM), based on the statistic learningtheory. It is the successful applicati

9、on of kernel function to SVM that the study on learningalgorithm based on kernel functions or kernel algorithm for simplification has attracted greatinterest. Applying the kernel algorithm to fault diagnosis will solve the non-linear, impreciseand uncertain problems. This provides a completely new a

10、nd feasible approach in the domain.Many problems are worth deeply studying and discussing about the practice of the approachfor the technique of intelligent fault diagnosis, based on kernel algorithm, is a brand new fieldin the world.This paper provides the theoretical foundations for the applicatio

11、ns of kernel algorithmto fault diagnoses though the deep and systematical study on the application of kernelalgorithm to intelligent fault diagnosis, the processing of the uncertain information in thediagnosis, the real-time realization of fault diagnoses, the choice of kernel function andparameter

12、optimization, multiple classes of fault diagnoses, and incipient fault diagnosis, andthe sample data compaction. Thus, it promotes the development of fault diagnoses technique.The main tasks and the innovations works are as the follows.A posterior probability algorithm is presented based on the geom

13、etric distance to solvethe problem that the miscarriage of justice in two classes causes the different loss in the faultdiagnosis, Furthermore, a SVM method on the base of the minimum risk is proposed bycombining the SVM with the Bayesian decision theory after the definition of the degree ofdiagnosi

14、s confidence. Finally, the method is validated by applying it to the practical faultdiagnosis of electro-hydraulic servo valve.Two theorems about the radial basis function on the parameter condition of s 0ors are presented and proved aiming at the characteristics that the one-class of samples istrai

15、ned by the one-class SVM. This paper explores the relation between the two types ofsupport vectors (boundary support vectors and non-boundary support vectors) and therecognition rate of object; proposes an improved method of the model parameter choice of“l(fā)eave one out; which dramatically decreases t

16、he time of model parameter choice in theprecondition of generalizing performance of classifier, so that the recognition rates of theobjects and the non-objects are determined on purpose; presents a new one-class SVMlearning algorithm based on timerolling window for the fault diagnosis of dynamic sys

17、tem,which will contribute to the practical application of one-class SVM. In addition, two methodsare presented though which the one class SVM is extended into multiple faults diagnoses. Ifthe methods are applied to the fiducially database and the hydraulic pressure pumprespectively, we can solve the

18、 problem existing in the method of the available SVMmulti-class classification that the object does not belong to any class or the object belongs tomore than one class simultaneously and speed up the training and decision making of thealgorithm.Aiming at the difficulty of choosing the parameters of

19、support vector regression (SVR)model, an automatically optimized method of SVR parameter is presented based on thegenetic algorithm after the influence of each SVR parameter on SVR performance. Inaddition, incipient fault diagnosis and a method of weak information retrieval in thebackground of heavy

20、 chaos are created by using the predictive SVR model. Simulation showsthat the method has a more stable performance and a more general characteristic.Finally, the boundary theorem of the residual error estimation is presented afterdiscussing the problem of the dimensional reductions of kernel matric

21、es in detail. With theconsideration of datas correlation and minimal residual norm, the heuristic algorithm, whichis the greedy algorithm, is proposed for the dimensional reductions of the kernel matrices.Also, a kind of sparse regression algorithm is presented based on the greedy algorithm in there

22、producing kernel Hilbert space.Key words: Fault Diagnosis Machine Learning Support Vector Machine KernelAlgorithm Multi-class Fault Incipient Fault Diagnosis Kernel Matrix1 緒論. 11.1 選題背景及意義 . 11.2 缺點智能診斷中的機器學(xué)習(xí) . 31.2.1 機器學(xué)習(xí)的開展. 31.2.2 缺點診斷的智能模型. 31.3 核算法與缺點診斷 . 61.3.1 缺點診斷存在的主要問題. 61.3.2 統(tǒng)計學(xué)習(xí)實際的主要內(nèi)容

23、. 71.3.3 核算法概述. 71.3.4 支持向量機實際與運用. 91.3.5 線性算法的核變換實際與運用. 121.3.6 核算法的研討內(nèi)容. 131.4 本文的任務(wù) . 141.4.1 根本框架構(gòu)造. 141.4.2 主要內(nèi)容. 142 基于最小風(fēng)險的 SVM 方法的研討 . 172.1 引言 . 172.2 支持向量機 . 182.2.1 線性可分. 182.2.2 線性不可分. 192.2.3 非線性可分. 192.3 基于最小風(fēng)險的 SVM 研討. 202.3.1 近年來的任務(wù). 202.3.2 基于幾何間隔 的后驗概率概念. 222.3.3 基于最小風(fēng)險的 SVM . 242.

24、4 仿真研討 . 272.5 實驗研討 . 282.5.1 特征參數(shù)的提取. 292.5.2 SVM 對電液伺服閥缺點方式的識別 . 312.6 本章小結(jié) . 343 單值 SVM 用于缺點診斷 . 353.1 引言 . 353.2 單值支持向量機 . 363.2.1 支持向量的區(qū)域描畫. 363.2.2 單值 ?SVM. 373.3 模型分析及選擇研討 . 403.3.1 訓(xùn)練集的選取及特征選擇問題. 403.3.2 單值 SVM 算法確實定 . 403.3.3 核函數(shù)的選擇. 413.3.4 核參數(shù)對分類性能的影響. 423.4 核函數(shù)的參數(shù)確定 . 483.4.1 留一法誤差估計. 48

25、3.4.2 改良的留一法誤差估計. 493.4.3 實驗結(jié)果及比較. 513.5 基于單值 SVM 的缺點診斷. 533.6 本章小結(jié) . 534 單值 SVM 時間滾動式學(xué)習(xí)算法的研討 . 554.1 引言 . 554.2 支持向量特點分析 . 564.2.1 KKT 條件與樣本點的幾何分布. 564.2.2 新增訓(xùn)練樣本后支持向量的變化. 574.3 時間滾動式學(xué)習(xí)算法 . 584.3.1 增量式學(xué)習(xí)算法. 584.3.2 在線式學(xué)習(xí)算法. 624.4 液壓泵缺點預(yù)警系統(tǒng)的設(shè)計 . 624.4.1 特征參數(shù)的提取. 634.4.2 預(yù)警判別. 644.4.3 液壓泵振動實際模型. 654.

26、5 仿真實驗 . 654.5.1 對非線性函數(shù)的逼近. 664.5.2 液壓泵缺點預(yù)警. 674.6 本章小結(jié) . 695 基于單值 SVM 的多缺點識別 . 715.1 引言 . 715.2 幾種常用的多類 SVM 方法. 715.2.1 1 對余(1-a-r) . 715.2.2 1 對 1(1-a-1). 725.2.3 層次多值分類. 735.3 基于單值 SVM 的多值分類. 735.3.1 基于單值 SVM 的 Bayes 分類器 . 745.3.2 多缺點分類器的設(shè)計. 765.4 實驗研討 . 805.4.1 基準(zhǔn)數(shù)據(jù)識別. 805.4.2 液壓泵多缺點識別. 815.5 本章

27、小結(jié) . 826 基于 SVR 的早期缺點預(yù)示研討. 836.1 引言 . 836.2 支持向量回歸 . 836.2.1 不敏感損失函數(shù). 836.2.2 非線性 SVR. 846.3 SVR 性能分析研討. 856.3.1 參數(shù) 的影響. 856.3.2 參數(shù)C 的影響. 866.3.3 核參數(shù) s 的影響. 876.4 基于遺傳算法的 SVR 參數(shù)選擇. 886.4.1 遺傳算法. 886.4.2 基于遺傳算法的調(diào)參戰(zhàn)略. 886.4.3 參數(shù)選擇實驗. 896.5 基于 SVR 的缺點預(yù)測. 916.5.1 基于 SVR 的預(yù)測模型. 916.5.2 基于模型的早期缺點警示. 926.5

28、.3 仿真實驗. 936.6 本章小結(jié) . 957 混沌背景中微弱信號檢測. 967.1 引言 . 967.2 基于 SVR 的微弱信號檢測. 967.2.1 用 SVR 重構(gòu)相空間. 977.2.2 檢測混沌中微弱信號的模型. 997.3 仿真實驗 . 1007.4 本章小結(jié). 1048 核矩陣的逼近. 1058.1 引言 . 1058.2 核矩陣的逼近 . 1068.2.1 核矩陣的構(gòu)成. 1068.2.2 核矩陣的低秩逼近. 1078.2.3 殘差估計的界. 1108.2.4 有效秩確定準(zhǔn)那么. 1108.3 貪婪算法 . 1118.3.1 子集的選擇. 1118.3.2 向前貪婪算法.

29、 1128.3.3 向后貪婪算法. 1138.3.4 混合貪婪算法. 1138.4 實驗研討 . 1148.4.1 再生核 Hilbert 空間的回歸. 1148.4.2 實驗測試. 1168.5 本章小結(jié) . 1179 結(jié)論與展望. 1189.1 內(nèi)容總結(jié). 1189.2 展望. 119致 謝.120參考文獻(xiàn).121附 錄.攻讀博士學(xué)位期間的研討成果.1 緒論1.1 選題背景及意義現(xiàn)代制造業(yè)設(shè)備具有規(guī)模大、復(fù)雜性高、變量多、并在閉環(huán)控制下運轉(zhuǎn)的特點。由于存在許多無法防止的要素，會導(dǎo)致設(shè)備出現(xiàn)各種缺點，從而降低或失去其預(yù)定的功能，甚至?xí)浅鈬?yán)重的以致災(zāi)難性的事故1,2。長期的消費實際使人們認(rèn)識

30、到，消除事故，保證設(shè)備的平安、可靠、有效的運轉(zhuǎn)是非常迫切的問題。這就使設(shè)備的形狀檢測與缺點診斷的重要性更加突出。早在 1967 年，美國國家宇航局(NASA)就創(chuàng)建了美國機械缺點預(yù)防小組(MFPG)，標(biāo)志了缺點診斷技術(shù)的誕生，日本和歐洲的一些興隆國家也相繼開展了缺點診斷技術(shù)的研究和運用3。20 世紀(jì) 70 年代以來，國外的設(shè)備形狀檢測與缺點診斷進入了有方案的研究和運用階段，國內(nèi)的不少教學(xué)科研院所從 20 世紀(jì) 80 年代中期，也先后開展缺點診斷的研討任務(wù)，獲得了許多研討成果，有一些系統(tǒng)已投入了實踐運轉(zhuǎn)，而且在工程運用方面也積累了珍貴的實際閱歷。國內(nèi)外許多報道闡明4，缺點診斷對于工業(yè)用的系統(tǒng)不僅

31、具有必要性，而且具有非常宏大的經(jīng)濟價值，可以為企業(yè)節(jié)省大量的經(jīng)費，因此對于故障診斷系統(tǒng)的研制就顯得非常重要。美國帕克魯發(fā)電廠采用診斷技術(shù)后有 50%的事故能被檢測出來，缺點診斷系統(tǒng)的收益到達(dá)了投入的 36 倍。日本資料報道，實施缺點診斷后，事故率可減少 75%，可降低維修費用 25%50%。英國對 2000 個大型工廠調(diào)查，采用診斷技術(shù)后每年節(jié)省維修費用 3 億英鎊，而用于缺點診斷系統(tǒng)的本錢為 0.5 億英鎊，收益為投入的 6 倍，凈獲益達(dá) 2.5 億英鎊/年。國內(nèi)的某 301 04合成氨廠，過去每年大修一次，需時 45 天，檢修費用占年產(chǎn)值的 15%；采用缺點診斷后改為三年內(nèi)修二次，一次不到

32、 30 天，檢修費用降為年產(chǎn)值的 10%，產(chǎn)生的經(jīng)濟效益非常顯著。缺點診斷技術(shù)的研討，重點不僅在于缺點本身，而且在于診斷的方法。回想其開展歷程，大致可以分為三個階段4,5。在第一階段，診斷結(jié)果在很大程度上取決于領(lǐng)域?qū)＜业母泄俸蛯I(yè)閱歷。伴隨著傳感器技術(shù)、動態(tài)測試技術(shù)以及信號分析技術(shù)的開展，診斷技術(shù)進入了第二階段，并且在工程中得到廣泛運用。近年來，為了滿足復(fù)雜系統(tǒng)的診斷需求，隨著計算機技術(shù)的開展及人工智能技術(shù)的運用，診斷技術(shù)已進入一個嶄新的開展階段，即智能化診斷階段。缺點智能診斷被以為是最具有生命力的診斷技術(shù)，這是由于，一方面復(fù)雜系統(tǒng)和工業(yè)消費過程具有過多的任務(wù)點以及多輸入多輸出等特點，難以采用

33、普通的缺點診斷方法；另一方面，缺點智能診斷是以知識處置技術(shù)為根底，無需被診系統(tǒng)的定量數(shù)學(xué)模型，可以充分利用專家閱歷和領(lǐng)域知識。眾所周知，在人工智能領(lǐng)域，知識獲取是專家系統(tǒng)研制中的“瓶頸，知識的自動獲取更是人工智能研討的難點與熱點6,7，對于缺點智能診斷系統(tǒng)來說也是如此。目前多數(shù)的診斷系統(tǒng)在知識自動獲取方面表現(xiàn)的才干還比較差，限制了系統(tǒng)性能的自我完善、開展和提高。不同于專家系統(tǒng)過分依賴于閱歷知識庫，機器學(xué)習(xí)那么是一門研討機器獲取新知識和新技藝，并識別現(xiàn)有知識的學(xué)問6。繼專家系統(tǒng)之后，機器學(xué)習(xí)成為提高缺點診斷智能程度的主要途徑，并且成為人工智能在診斷技術(shù)中運用的又一重要研討領(lǐng)域810。包括方式識別

34、、人工神經(jīng)網(wǎng)絡(luò)等在內(nèi)，現(xiàn)有機器學(xué)習(xí)方法共同的重要實際根底之一是統(tǒng)計學(xué)，傳統(tǒng)統(tǒng)計學(xué)所研討的主要是漸進實際，既當(dāng)樣本數(shù)趨向于無窮大時的統(tǒng)計性質(zhì)。但在缺點診斷領(lǐng)域，特征知識的獲取具有一定的約束，樣本的數(shù)目往往是有限的，甚至是小樣本的，缺點與征兆之間經(jīng)常呈現(xiàn)出本質(zhì)非線性。因此，我們希望尋求一種學(xué)習(xí)方法，可以在有限的樣本數(shù)據(jù)下盡能夠地發(fā)現(xiàn)其中蘊含的知識，強調(diào)學(xué)習(xí)方法具有較強的推行才干，即對符合某規(guī)律，但沒有學(xué)習(xí)過的樣本也能給出合理的結(jié)論，這正是學(xué)習(xí)機器表達(dá)其智能性的最為重要的一個方面11,12。雖然，直到目前人工神經(jīng)網(wǎng)絡(luò)仍是解決非線性問題的一個有力的工具，但是它是一種閱歷非線性方法，這種方法利用知樣本建

35、立非線性模型，但當(dāng)樣本數(shù)有限時，即使訓(xùn)練效果良好的一個算法構(gòu)造卻能夠表現(xiàn)出很差的推行才干，即產(chǎn)生了所謂的過學(xué)習(xí)13,14。Vapnik等人15從20世紀(jì)60年代開場就努力于統(tǒng)計學(xué)習(xí)實際(Statistical LearningTheory，SLT)的研討，到九十年代中期，隨著其實際的不斷開展和成熟，也由于人工神經(jīng)網(wǎng)絡(luò)等學(xué)習(xí)方法在實際上缺乏本質(zhì)性進展，統(tǒng)計學(xué)習(xí)實際開場遭到越來越廣泛的重視。與傳統(tǒng)統(tǒng)計學(xué)相比，SLT是一種專門研討小樣本情況下機器學(xué)習(xí)規(guī)律的實際。該理論針對小樣本統(tǒng)計問題建立了一套新的實際體系，在這種體系下的統(tǒng)計推理規(guī)那么不僅考慮了對漸近性能的要求，而且追求在現(xiàn)有有限信息的條件下得到最

36、優(yōu)結(jié)果。以支持向量機(Support Vector Machine，SVM)為代表的核算法(機器)1620是近10年來機器學(xué)習(xí)領(lǐng)域最有影響力的成果之一，它是基于統(tǒng)計學(xué)習(xí)實際和核技術(shù)建立的。SVM包含4大技術(shù)：大間隔思想或正那么化技術(shù)，根據(jù)構(gòu)造風(fēng)險最小化原那么，以獲得較好的推行才干；核技術(shù)，利用滿足Mercer條件的核函數(shù)實現(xiàn)線性算法的非線性化；凸優(yōu)化技術(shù)，算法最終將轉(zhuǎn)化成為規(guī)范的最優(yōu)化問題或凸二次規(guī)劃，從實際上說，得到的將是全局最優(yōu)點；稀疏對偶表示，結(jié)果得到可用于訓(xùn)練點和測試點求解的高效算法。這4大技術(shù)中最先得到研討人員青睞的是核技術(shù)，這是一種非常有效的設(shè)計非線性算法的數(shù)學(xué)手段。隨后，很多研討

37、人員利用核技術(shù)改造經(jīng)典的線性算法，得到相應(yīng)的基于核函數(shù)的非線性方式(簡稱為核算法或核機器)。核算法已表現(xiàn)出很多優(yōu)于已有方法的分類、回歸性能，在解決小樣本、非線性以及高維方式識別等問題中有許多特有的優(yōu)勢，因此其適宜于缺點診斷的實踐工程需求。該當(dāng)看出，核算法雖然曾經(jīng)提出多年，但從它本身趨向成熟和被廣泛注重到如今畢竟只需幾年的時間，其中還有許多尚未處理或尚未充分處理的問題，特別是在運用方面的研討更是剛剛起步，我們以為開展核算法的研討將對機器學(xué)習(xí)等學(xué)科領(lǐng)域會產(chǎn)生重要影響，其運用研討應(yīng)該是一個大有作為的方向。因此，本文選擇基于核算法的缺點智能診斷作為研討方向?qū)⒕哂兄匾膶W(xué)術(shù)意義和工程意義。1.2 缺點智

38、能診斷中的機器學(xué)習(xí)1.2.1 機器學(xué)習(xí)的開展機器學(xué)習(xí)是研討從觀測數(shù)據(jù)(樣本)出發(fā)尋覓規(guī)律，利用這些規(guī)律對未來數(shù)據(jù)或無法觀測的數(shù)據(jù)進展預(yù)測。機器學(xué)習(xí)的中心是讓機器具有獲取知識的才干，使其在實踐任務(wù)中不斷總結(jié)勝利的閱歷和失敗的教訓(xùn)，對知識庫中的知識自動進展調(diào)整和修正，從而逐步豐富和完善系統(tǒng)知識。人類學(xué)習(xí)是人類智能的關(guān)鍵，機器學(xué)習(xí)那么是機器智能的關(guān)鍵。迄今為止，關(guān)于機器學(xué)習(xí)還沒有一種被共同接受的實際框架，它的開展過程大體上可分為 3 個階段21,22：第一階段是在 20 世紀(jì) 60 年代。在這個時期，引入了在向量集內(nèi)檢測線性關(guān)系的高效算法，并分析了這些算法的計算行為和統(tǒng)計行為。Rosenblatt

39、提出了第一個學(xué)習(xí)機器的模型，稱之為感知器23，這標(biāo)志著人們對學(xué)習(xí)過程進展數(shù)學(xué)研討的真正開場。如何檢測非線性關(guān)系，是那個時候的主要研討目的。雖然如此，開發(fā)具有一樣效率程度的算法，并且確保該算法得到統(tǒng)計實際的支持，已被證明是一個很困難的目的。第二階段是在 20 世紀(jì) 80 年代，學(xué)習(xí)問題的研討閱歷了一場“非線性革命，幾乎同時引入了向后傳播多層神經(jīng)網(wǎng)絡(luò)算法和高效的決策樹學(xué)習(xí)算法。雖然這些方法用到了啟發(fā)式算法和不完全統(tǒng)計分析，它們第一次使得檢測非線性成為能夠。然而，這些非線性算法，是建立在梯度下降法或貪婪啟發(fā)式的根底上，因此遭到部分極小化的限制。由于沒有很好了解它們在統(tǒng)計上的行為，在利用這些算法時，人

40、們經(jīng)常遇到過度擬合景象(過學(xué)習(xí))。第三階段發(fā)生在 20 世紀(jì) 90 年代中期，當(dāng)時出現(xiàn)了以統(tǒng)計學(xué)習(xí)實際和核技術(shù)為根底的核學(xué)習(xí)方法(核算法)，該方法最終使得人們可以高效的分析非線性關(guān)系，而這種高效率原先只能夠利用線性算法才可以實現(xiàn)。從計算、統(tǒng)計和概念角度，在此期間開展起來的非線性分析方法，和線性方法一樣，高效而富有實際根據(jù)。神經(jīng)網(wǎng)絡(luò)和決策樹中典型的部分極值問題和過學(xué)習(xí)問題，也已得到處理。1.2.2 缺點診斷的智能模型缺點智能診斷技術(shù)是人工智能和缺點診斷相結(jié)合的產(chǎn)物，它涉及廣泛的學(xué)科領(lǐng)域和運用領(lǐng)域。智能診斷系統(tǒng)的性能取決于所采用的智能模型24,25。在智能診斷方法研討中，目前研討較多的主要有五種智

41、能模型：基于知識推理的診斷(Knowledge BasedReasoning，KBR)、基于實例的診斷(Case Based Reasoning，CBR)、基于缺點樹的診斷(FaultTree Reasoning，F(xiàn)TR)、基于模糊邏輯的診斷(Fuzz Logic Reasoning，F(xiàn)LR)和基于人工神經(jīng)網(wǎng)絡(luò)的診斷(Artificial Neural Networks Reasoning，ANNR)。下面對這五種智能模型在缺點診斷中存在的問題進展分析討論。 基于知識推理的診斷基于知識推理的診斷模型是設(shè)備診斷領(lǐng)域中最為引人注目的開展方向之一，也是研究最多、運用最廣的一類智能診斷技術(shù)。按照診斷知

42、識的層次可分為兩種類型：基于淺知識型(人類專家的閱歷知識)的第一代缺點診斷專家系統(tǒng)和基于深知識型(診斷對象的模型知識)的第二代缺點診斷專家系統(tǒng)。淺知識型不需求被診斷對象的系統(tǒng)模型，以啟發(fā)性閱歷知識為中心，包括基于規(guī)那么推理和因果模型推理；深知識型經(jīng)過建立系統(tǒng)模型，在模型的根底上經(jīng)過對實踐系統(tǒng)的觀測，獲得信息來預(yù)測缺點和進展診斷，包括基于結(jié)構(gòu)和行為的模型、診斷推理模型和定性模型等方法26。但是，基于知識推理的診斷模型存在許多明顯的局限性27，主要表如今以下幾個方面： 知識獲取的瓶頸問題著名人工智能學(xué)者 A.Barr 和 A.Feigenbaum 曾精辟地指出：“專家系統(tǒng)的性能程度主要是它擁有的知

43、識數(shù)量和質(zhì)量的函數(shù)。與領(lǐng)域?qū)＜姨幚韱栴}的才干相類似，一個專家系統(tǒng)占有的知識越多、質(zhì)量越高，它處理問題的才干就越強。然而在基于知識推理的診斷模型中，知識的獲取是間接的，不但費力，而且效率低。另外，領(lǐng)域?qū)＜业哪承╅啔v知識往往只能意會，難以言傳，很難用一定的規(guī)那么來描畫。因此，要把閱歷知識以適當(dāng)?shù)姆绞浇M織成高質(zhì)量的知識庫是很困難的，它已成為研制基于知識推理的診斷模型的瓶頸問題。 自順應(yīng)才干差基于知識推理的診斷模型劇烈依賴于被診斷系統(tǒng)。然而在工程實踐中，即使是同一型號的設(shè)備，由于其安裝、檢修、負(fù)載等要素的影響及設(shè)備運轉(zhuǎn)環(huán)境的變化，缺點方式也會存在較大的差別，此時專業(yè)領(lǐng)域知識的適用性與可靠性會大大降低。

44、因此，假設(shè)診斷系統(tǒng)只具有淺知識，而缺乏深層次或原理性的知識，診斷系統(tǒng)對診斷結(jié)果的自順應(yīng)性就會變得很差，使系統(tǒng)對診斷問題的求解才干變得脆弱。 學(xué)習(xí)才干差人類專家可以在不斷的實際中總結(jié)閱歷(勝利或失敗)或從專業(yè)領(lǐng)域本身的開展中學(xué)習(xí)新的知識，當(dāng)代基于知識推理的診斷模型大多不具備這一特性。系統(tǒng)在其運轉(zhuǎn)過程中不能從診斷成敗中汲取閱歷教訓(xùn)，從診斷的實例中自動學(xué)習(xí)新的知識、修正并更新原有知識庫中的知識。系統(tǒng)的智能程度取決于系統(tǒng)最初所具備的知識，缺乏學(xué)習(xí)才干，限制了系統(tǒng)性能的自我完善、開展和提高。 實時性差著名人工智能先驅(qū) Newell 說過：“符號和搜索是人工智能的中心。知識推理系統(tǒng)正是基于符號處置方法。而

45、在符號處置中，問題求解是一個在解空間搜索的過程。對于復(fù)雜的診斷對象，搜索空間大，速度慢，難以實現(xiàn)實時診斷的要求。 基于實例的診斷模型在缺點診斷方面，實踐的閱歷實例非常重要，基于實例方法提供了一個快速有效的診斷途徑28,29。基于實例的診斷模型是：對于所診斷的對象，根據(jù)其特征和病癥從實例庫中檢索出與該對象的診斷問題最類似匹配的實例，然后對該實例的診斷結(jié)果進展修正作為該對象的診斷結(jié)果。基于實例推理的關(guān)鍵是如何建立一個有效的實例索引機制與實例組織方式。在實踐運用中，該方法面臨的問題是能搜集到的診斷實例是有限的，不能夠覆蓋一切解空間，搜索時能夠會漏掉最優(yōu)解。當(dāng)出現(xiàn)異常征兆時，假設(shè)找不到最正確匹配，能夠

46、呵斥誤診或漏診，產(chǎn)生嚴(yán)重后果。 基于缺點樹的診斷模型基于缺點樹的診斷方法將可靠性分析中的缺點樹加以改造，以其每一個結(jié)點為一個框架，參與時間、因果邏輯關(guān)系等信息，使普通的缺點樹成為增廣缺點樹，作為診斷推理的根據(jù)。在缺點樹中每個層次缺點，有涉及該缺點的直接緣由，表示為該缺點緣由的輸入事件；以及涉及該缺點的根本緣由，在缺點樹中表示為底事件(或底事件組合)。基于缺點樹的診斷模型可以較好地表達(dá)不同層次缺點之間的邏輯關(guān)系，以及它們之間的關(guān)聯(lián)程度30。基于缺點樹的診斷模型主要缺乏在于復(fù)雜系統(tǒng)的建樹任務(wù)量大，數(shù)據(jù)搜集困難，并且要求分析人員對所研討的對象必需有透徹的了解，具有比較豐富的設(shè)計和運轉(zhuǎn)閱歷以及較高的知

47、識程度和嚴(yán)密明晰的思想才干；否那么，在建樹過程中易導(dǎo)致錯漏和脫節(jié)。特別是無法滿足時變系統(tǒng)及非平穩(wěn)過程的診斷要求。 基于模糊邏輯的診斷模型在缺點診斷中，存在許多模糊的概念，有的是用言語表達(dá)的客觀模糊概念，有的是由于客觀上不完全信息帶來的模糊或由于丈量、加工、建模精度等緣由所帶來的模糊。模糊實際是處置這類問題最恰當(dāng)?shù)墓ぞ摺Ｒ阅：硎镜哪：哉Z變量不僅能更準(zhǔn)確地表示具有模糊特性的征兆和缺點，符合事物的客觀本質(zhì)；而且能處置診斷中的不確定信息和不完好信息。當(dāng)今模糊缺點診斷有兩種根本方法31，一種是先建立征兆與缺點類型之間的因果關(guān)系矩陣R ，再建立缺點與征兆的模糊關(guān)系方程，即 F = SR，F(xiàn) 為模糊故

48、障矢量；S 為模糊征兆矢量；“ 為模糊合成算子；這是基于模糊關(guān)系及合成算法的診斷方法32。另一種方法是先建立缺點與征兆的模糊規(guī)那么庫，再進展模糊邏輯推理的診斷過程33。模糊言語變量接近自然言語，知識的表示可讀性強，模糊推理邏輯嚴(yán)謹(jǐn)，類似人類思想過程，易于解釋。但是，模糊診斷知識獲取困難，尤其是缺點與征兆的模糊關(guān)系較難確定，且系統(tǒng)的診斷才干依賴模糊知識庫，學(xué)習(xí)才干差，容易發(fā)生漏診或誤診。另外，由于模糊言語變量是用模糊數(shù)(即隸屬度)表示的，如何實現(xiàn)言語變量與模糊數(shù)之間的轉(zhuǎn)換，是實現(xiàn)上的一個難點。通常將其與其他各種人工智能技術(shù)如與神經(jīng)網(wǎng)絡(luò)結(jié)合34，分析不確定要素對智能診斷系統(tǒng)的影響，提高診斷的準(zhǔn)確性

49、。 人工神經(jīng)網(wǎng)絡(luò)方法神經(jīng)網(wǎng)絡(luò)具有分布式信息存儲、并行處置、自學(xué)習(xí)、自組織和自順應(yīng)等特點，具有強大的非線性處置才干，為缺點診斷問題提供了一條新的處理途徑。神經(jīng)網(wǎng)絡(luò)在缺點診斷領(lǐng)域的運用研討主要集中在三個方面：從方式識別角度運用神經(jīng)網(wǎng)絡(luò)作為分類器進展缺點診斷35；從預(yù)測角度運用神經(jīng)網(wǎng)絡(luò)作為動態(tài)預(yù)測模型進展缺點預(yù)測36；從知識處置角度建立基于神經(jīng)網(wǎng)絡(luò)的診斷專家系統(tǒng)37。時至今日，神經(jīng)網(wǎng)絡(luò)曾經(jīng)在方式識別、函數(shù)逼近、缺點診斷等領(lǐng)域獲得了一定的成果。然而，任何事物都不是完美無缺的，神經(jīng)網(wǎng)絡(luò)的實際根底是傳統(tǒng)統(tǒng)計學(xué)，具有一些與生俱來的缺陷和缺乏。神經(jīng)網(wǎng)絡(luò)缺點診斷是建立在大量的缺點樣本訓(xùn)練根底之上，系統(tǒng)性能遭到所

50、選訓(xùn)練樣本的數(shù)量及其分布情況的限制。假設(shè)樣本選擇不當(dāng)，特別在訓(xùn)練樣本少，樣本分布不均勻的情況下，很難有良好的診斷效果。1.3 核算法與缺點診斷1.3.1 缺點診斷存在的主要問題雖然缺點智能診斷技術(shù)曾經(jīng)獲得了很大的開展，但是還存在許多有待進一步開展和處理的問題，特別是在復(fù)雜系統(tǒng)和過程的診斷中。目前存在的問題主要表如今以下幾個方面。 小樣本問題缺點診斷中，首先遇到的是要處理小樣本問題。一方面，設(shè)備缺點的出現(xiàn)具有一定的突發(fā)性，并且難以反復(fù)或模擬，因此缺點信號往往是可遇而不可求的；第二，對一些關(guān)鍵設(shè)備，其運轉(zhuǎn)形狀關(guān)系到整個企業(yè)的消費，因此不能夠讓其長時間帶病運轉(zhuǎn)；第三，在多數(shù)情況下，信號與缺點之間存在

51、著模糊關(guān)系，而且有能夠一種信號對應(yīng)多種缺點。因此對大多數(shù)設(shè)備而言，典型缺點的樣本獲取是非常有限的。 觀測數(shù)據(jù)和運轉(zhuǎn)形狀之間呈現(xiàn)高度的非線性世界在本質(zhì)上是非線性的，非線性所具有的豐富多彩的特征是客觀的，不因人們的興趣或觀測條件不同而不同，它反映了世界的客觀性質(zhì)，具有客體性的規(guī)定38。實踐診斷過程中總是存在著或多或少的非線性，如受噪聲、模型偏向等非線性要素的影響，或者系統(tǒng)本身就是非線性的。當(dāng)非線性的要素成為主要時，運用基于線性系統(tǒng)的缺點診斷方法難以獲得令人稱心的效果，因此在實踐運用中必需思索被診斷對象的非線性特性。 未知缺點和多缺點處置才干非線性系統(tǒng)具有多樣性和復(fù)雜性，經(jīng)過對實踐系統(tǒng)的分析或仿真，

52、包容一切的缺點方式信息是不能夠的；經(jīng)過實踐觀測獲取一切缺點方式的樣本數(shù)據(jù)也是不現(xiàn)實的。而目前的智能診斷技術(shù)由于診斷才干主要依賴知識庫中的現(xiàn)有知識或已有的缺點方式樣本，對未知缺點和并發(fā)多缺點的處置無法獲得稱心的結(jié)果39,40。 動態(tài)過程信息的利用實踐系統(tǒng)和過程往往具有明顯的非線性動力學(xué)特性25，其過渡態(tài)或動態(tài)過程的系統(tǒng)輸出包含有豐富的、冗余的診斷信息，相對于穩(wěn)態(tài)更利于缺點的檢測和診斷。目前的故障智能診斷技術(shù)在描畫系統(tǒng)形狀變化、動態(tài)過程信息的處置和利用方面有待進一步的研究。此外，誤報和漏報是任何缺點診斷方法均能夠存在的問題，缺點的誤報率和漏報率是評價缺點診斷系統(tǒng)性能的重要目的，加強這方面的系統(tǒng)研討

53、是非常重要的。同時，如何確定非線性系統(tǒng)缺點檢測的最優(yōu)閾值及缺點發(fā)生時辰等問題仍有待處理。1.3.2 統(tǒng)計學(xué)習(xí)實際的主要內(nèi)容20 世紀(jì) 60 年代以來，Vapnik 等人系統(tǒng)地研討了機器學(xué)習(xí)問題，特別是有限樣本情況下的統(tǒng)計學(xué)習(xí)問題。到 20 世紀(jì) 70 年代，他們建立了統(tǒng)計學(xué)習(xí)實際的根本體系。統(tǒng)計學(xué)習(xí)實際的中心問題是尋覓一種歸納原那么以實現(xiàn)最小化風(fēng)險泛函，從而實現(xiàn)最正確的推行才干。在隨后的幾十年里，Vapnik 等人4144不斷潛心研討基于該實際的學(xué)習(xí)方法，終于在 90 年代45提出了支持向量機(SVM)這一新的通用機器學(xué)習(xí)方法。實踐上，在某種程度上，正是由于 SVM 方法所表現(xiàn)的杰出性能，才促

54、使人們重新審視統(tǒng)計學(xué)習(xí)實際。統(tǒng)計學(xué)習(xí)實際是研討有限樣本統(tǒng)計估計和預(yù)測的實際，是傳統(tǒng)統(tǒng)計學(xué)的重要開展和補充。其主要內(nèi)容包括四個方面15,46,47：閱歷風(fēng)險最小化準(zhǔn)那么統(tǒng)計學(xué)習(xí)一致性的條件；在這些條件統(tǒng)計學(xué)習(xí)方法推行性的界的結(jié)論；在這些界的根底上建立的小樣本歸納推理準(zhǔn)那么；實現(xiàn)新的準(zhǔn)那么的實踐方法(算法)。統(tǒng)計學(xué)習(xí)實際的中心概念是 VC 維48(Vapnik Chervonenkis Dimension)，它用 VC 維來描畫學(xué)習(xí)機器的復(fù)雜度，并以此為出發(fā)點導(dǎo)出了學(xué)習(xí)機器推行才干界的實際。1.3.3 核算法概述核算法已成為當(dāng)前機器學(xué)習(xí)領(lǐng)域一個非常活潑的研討方向，它是以統(tǒng)計學(xué)習(xí)實際和核技術(shù)為根底的

55、。把核函數(shù)用作特征空間中的內(nèi)積這一思想，早在 1964 年，經(jīng)過Aizerman 等49關(guān)于勢函數(shù)方法的研討已被引入到機器學(xué)習(xí)領(lǐng)域。但直到 1992 年，這種思想才引起 Vapnik 等人的留意50，他們把它和大間隔超平面結(jié)合起來，導(dǎo)致 SVM 的產(chǎn)生，并把核的概念(重新)引入到機器學(xué)習(xí)的主流中。核函數(shù) k ( x,z)是計算兩個數(shù)據(jù)點在非線性變換 (.)下的映像的內(nèi)積，即k ( x,z)= (x),(z)，這里的 : X (X)為核函數(shù) k ( x,z)導(dǎo)出的特征變換，X 為輸入空間， (X)為特征空間。 k ( x,z)定義為某個 Hilbert 空間的內(nèi)積，它首先應(yīng)該是對稱的，其次還要滿

56、足一些額外條件，即 Mercer 條件。這就是著名的 Mercer 定理51。核算法的根本思想是將n維向量空間中的隨機向量 x利用非線性函數(shù) (?)映射到高維特征空間H ，然后在這個高維特征空間中設(shè)計線性的學(xué)習(xí)算法。假設(shè)其中各坐標(biāo)分量間的相互作用僅限于內(nèi)積，那么無需知道 (?)的詳細(xì)方式，只需利用滿足 Mercer 定理的核函數(shù)交換線性算法中的內(nèi)積，就可實現(xiàn)原空間中對應(yīng)的非線性算法。核算法的處理方案是由兩部分所構(gòu)成52：一個模塊和一種學(xué)習(xí)算法。模塊執(zhí)行的是映射到特征空間的過程，而學(xué)習(xí)算法那么用來發(fā)現(xiàn)這一空間的線性方式。核算法的流程如圖 1.1 所示。概括起來，核算法的主要特點如下。 它是一類將

57、非線性問題線性化的普適方法。核函數(shù)的運用提供了一種強有力的、符合原理的方法，在適當(dāng)?shù)奶卣骺臻g中用線性算法可以得到原空間的一個非線性判別函數(shù)或回歸函數(shù)。 核算法的模塊性證明它本身作為學(xué)習(xí)算法的可重用性。同一個算法，可以和任何一個核函數(shù)配合，從而可以用于任何數(shù)據(jù)域。核函數(shù)可以和不同的算法結(jié)合起來，形成多種不同的基于核函數(shù)技術(shù)的算法。 核算法的計算量與特征空間的維數(shù)無關(guān)。核函數(shù)替代特征空間的內(nèi)積計算，從而推導(dǎo)出一個與樣本數(shù)有關(guān)，與樣本維數(shù)無關(guān)的優(yōu)化問題，防止了“維數(shù)災(zāi)難。 核函數(shù)的引入，使得利器具有指數(shù)維數(shù)甚至無限維數(shù)的特征空間變成能夠，使核算法具有更大的假設(shè)空間，以提高方式分類或回歸才干。 無需關(guān)

58、注非線性函數(shù) (.)的方式及其參數(shù)。原空間進展的核函數(shù)計算本質(zhì)上是隱式地對應(yīng)于在非線性函數(shù) (.)變換后的特征空間的運算，這樣抑制了普通的映射方法中非線性函數(shù)構(gòu)造及其參數(shù)確實定以及特征空間維數(shù)的限制。 滿足 Mercer 條件的對稱函數(shù)都可作為核函數(shù)。常用的核函數(shù)： 多項式核函數(shù)： k ( x,y)= (xT y)d或 k ( x,y)=(xT y+1)d 徑向基核函數(shù)：k ( x,y)=exp(-|x-y|2/2s2) Sigmoid 核函數(shù)： k ( x,y)= tanh(xTy-)近年來，SVM 在機器學(xué)習(xí)領(lǐng)域的宏大勝利，掀起了用核函數(shù)技術(shù)(Kernel Tricks)改造傳統(tǒng)線性數(shù)據(jù)處

59、置方法的研討熱潮，從而構(gòu)成了多種基于核函數(shù)技術(shù)的核算法。按照其開展階段，核算法可以分為兩類，SVM 和線性算法的核方式。1.3.4 支持向量機實際與運用SVM 是統(tǒng)計學(xué)習(xí)實際中最年輕的內(nèi)容、也是最適用的部分。它具有實際完備、適應(yīng)性強、全局優(yōu)化、推行性能好等優(yōu)點，曾經(jīng)成為目前國際、國內(nèi)研討的熱點53。SVM最初是處理方式識別。隨后，又出現(xiàn)了針對實函數(shù)的支持向量回歸機54。SVM 的中心內(nèi)容從 1992 年才開場提出，是到目前為止統(tǒng)計學(xué)習(xí)實際最勝利的實現(xiàn)，目前仍處于不斷開展階段55。據(jù)統(tǒng)計，1999 年以前國際上公開發(fā)表的有關(guān)統(tǒng)計學(xué)習(xí)理論的文章缺乏 50 篇，但 1999 年之后，這方面的文章有數(shù)

60、千篇之多，其運用范圍和成果不斷擴展。近年來專門或相關(guān)的國際、國內(nèi)會議(如 ICANN，ICONIP，ICML，CCSP等)也都列有統(tǒng)計學(xué)習(xí)實際和 SVM 的專題。SVM 的訓(xùn)練從本質(zhì)上是解一個二次規(guī)劃問題，此類問題的傳統(tǒng)解法主要有對偶方法和內(nèi)點算法等。但是當(dāng)訓(xùn)練樣本的規(guī)模很大時，這些算法面臨著“維數(shù)災(zāi)難，或者由于內(nèi)存的限制，導(dǎo)致無法在計算機上正常處置56。此外，在一些對實時性要求較高的場合對算法的快速性也要求較高。綜合來說，在 SVM 算法研討上，主要有分解方法、修正優(yōu)化問題法、增量學(xué)習(xí)法等。分解方法的思想是經(jīng)過循環(huán)迭代處理對偶尋優(yōu)問題，即將原問題分解成更易于處置的假設(shè)干子問題，按照某種迭代戰(zhàn)