1、基于深度學習的復雜系統仿人思維控制研究摘要：復雜系統有多個輸入、輸出，輸入、輸出量之間一般存在耦合關系，對一些復雜的過 程控制系統難以建立數學模型，控制相對復雜.現有控制理論解決復雜系統控制問題，仍 然存在不足.仿人思維控制是基于人控制思維和控制智慧的控制方法，它的最大特點是在 控制過程中能夠實時挖掘控制經驗與技巧.深度學習網絡可以實現類似人腦邊學習、邊積 累經驗功能，將仿人思維控制機理與深度學習網絡結合，提出仿人思維深度學習控制網 絡，用于解決復雜系統控制問題.實驗結果表明，仿人思維深度學習控制網絡取得良好的 控制效果.關鍵詞：智能控制;仿人思維控制；深度學習；復雜系統單輸入-單輸出系統(S

2、ISO)只有一個被控量、 一個控制量,根據干擾量的情況,可以構成反饋、前 饋-反饋、串級、前饋-反饋-串級等控制結構，控 制相對簡單，而復雜系統的控制就相對復雜.復雜系 統一般有如下特點：有多個被控量、干擾量和控制量，是多輸入 -多輸出(MIMO)系統；被控量與干擾量之間、控制量與被控量之 間、被控量與被控量之間存在關聯關系.一個控制量 的輸出，不僅僅影響與其特定對應的被控量的變化, 同時可能影響其他被控量的變化;一個干擾量的變 化，影響多個被控量的變化；同理，一個被控量的變 化可能影響其他被控量的變化；各個量的變化存在時滯，有些復雜系統還 是時變系統、非線性系統；由于系統的復雜性,難以建立數

3、學模型.以孵化機控制為例，孵化機是用于孵化雞、鴨等 用的設備，孵化過程被控量有溫度、濕度、二氧化碳 含量等，控制量有通風、加濕、加熱等，干擾因素也很 多,包括環境溫度、蛋的種類等，各個量之間相互耦 合，是一個典型的復雜MIMO控制系統.孵化機孵化 過程要控制的指標是孵化成功率,在控制過程中，溫 度、濕度、通風之間存在耦合關系.溫度變化滯后特 性明顯，濕度變化滯后小,正常情況下，溫度和濕度 成反比例關系，通風可以控制二氧化碳含量，同時既 影響溫度變化也影響濕度變化.同樣，控制溫度，也 影響濕度;控制濕度，也影響溫度.孵化機控制問題 可以看作是一個三輸入-三輸出控制問題,難以建 立準確的數學模型.

4、孵化機常用的PID控制、解耦控 制、模糊控制、模糊PID控制等控制方法，不能有效 地施加控制，穩定性差.1復雜系統控制方法復雜系統可以看作是多個SISO子系統構成，如 果子系統之間沒有耦合，可以采用SISO系統控制方 法;如果有耦合,一般采用解耦控制或者其他智能控 制方法.在解耦控制問題中，基本目標是設計一個控制 裝置，使構成的多變量控制系統的每個輸出變量僅 由一個輸入變量完全控制，且不同的輸出由不同的 輸入控制.在實現解耦以后，一個多輸入多輸出控制 系統就解除了輸入、輸出變量間的交叉耦合,從而實 現自治控制,即互不影響的控制.解耦控制必須有較為準確的數學模型,而一些 復雜過程控制、流程控制等

5、控制系統,數學模型難以 建立,難以實現解耦控制.即使實現了解耦控制，系 統的參數變化,也會破壞解耦控制的穩定性.其他智能控制方法,例如常用的模糊控制，基于 先驗控制規則.對于一個沒有控制經驗的復雜系統， 無法采用模糊控制方法.即使實現了模糊控制，也無 法在線學習、修訂控制規則或者控制經驗.因此，必須尋找新的控制理論和方法.2仿人思維控制理論簡介仿人思維控制理論揭示人的控制思維機理和控 制智慧，克服當前控制理論在設計控制器時存在 的不足,并用計算機模擬、實現，解決難以建模的系 統控制問題.仿人思維控制理論研究取得的主要研 究成果如下：提出從數據空間到概念空間的轉換方法， 定義了被控量、控制量、干

6、擾量、穩定性、控制過程等 相關概念提出3種控制算法,模擬抽象邏輯推理控 制思維；提出模擬形象直覺推理控制思維算法；提出SISO系統和MIMO系統仿人思維控 制經驗挖掘、調用算法；提出SISO系統仿人思維控制器結構，在實 際控制系統中得到驗證囪；提出應用于復雜系統控制的仿人思維復合 控制策略9；提出擬人化分布式智能控制系統結構 .對于復雜系統的控制，仿人思維控制理論給出 了仿人思維復合控制策略，解決了孵化機孵化過程 控制問題,但在控制經驗挖掘方面仍然不完善.本文 將深度學習和仿人思維控制機理相結合，解決復雜 系統仿人思維控制經驗挖掘問題.3深度學習簡介AlphaGo擊敗圍棋國際頂尖選手使深度學習

7、成 為當今人工智能領域最熱門的話題.尤其是AlphaGo Zero,在訓練中不依賴于人類的棋譜，不使用人 工設計的特征作為輸入，將策略網絡和價值網絡合 二為一，網絡結構采用殘差網絡,網絡深度更深，迅 速自學圍棋，戰勝前輩AlphaGo.深度學習是深度神經網絡的簡稱，是一種深層 次的神經網絡.目前較為公認的深度學習的基本模 型包括基于受限玻爾茲曼機(Restricted Boltzman- nmachine, RBM)的深度信念網絡(Deep belief network ,DBN)、基于自動編碼器(Autoencoder, AE) 的堆疊自動編碼器(Stacked autoencoders ,

8、 SAE)、卷 積神經網絡(Convolutional neural net-works, CNN)、 遞歸神經網絡(Recurrent neuralnetworks, RNN).深 度學習目前主要應用在圖像處理、語音處理、自然語 言處理等方面，在控制領域的應用研究剛剛起步.深 度學習在控制領域主要有4個方面的研究:控制目 標識別、狀態特征提取、系統參數辨識、控制策略計 算等.綜觀文獻11-19 :( 1)深度學習在控制領域 的研究已經開始，但研究成果不多，尤其在控制策略 應用研究方面更少，且局限于單輸入-單輸出系統 (SISO),對多輸入-多輸出(MIMO)復雜系統控制 策略的應用研究,未見

9、相關論文報道;(2) AlphaGo、 AlphaGo Zero的出現，對深度學習在控制領域的研 究帶來新的動力和想象力.4深度學習與仿人思維控制人腦是世界上最優秀的控制器,一個有經驗的 控制專家,可以同時觀測多個量的變化(多傳感器 輸入)，利用手、腳可以實現多個控制動作(多控制 量輸出)，以達到給定的控制目的.經過長時間的控 制，積累了豐富的控制經驗，他知道哪個被控量變化 了,應該執行一個或幾個控制量，可以抑制其變化； 同時由于被控量之間的關聯關系，還要調節另一個 或幾個被控量，以抑制因前面施加控制動作帶來的 變化.人工控制能夠實現開、閉環切換，能夠做到有 針對性的控制而不是連續控制；能夠根

10、據干擾量的 變化特點和被控制量的變化特點而施加控制，這種 控制帶有選擇性.傳統控制方法是只要干擾量和被 控制量有變化，或者系統參數有變化，就有控制動作 產生,導致系統波動，控制方法如果魯棒性不好,嚴 重的可能出現不穩定.AlphaGo Zero能夠通過自學習積累豐富的下棋 經驗,這跟人工控制過程十分相似.AlphaGo Zero之 所以成功，在于圍棋有給定的下棋規則和輸贏判定 標準.同樣，人工控制過程也有給定的控制規則和控 制有效性判定標準.因而，利用AlphaGo Zero的深度 學習機理，模擬人的控制思維是完全可行的.人工控 制過程的控制規則是消除干擾、抑制干擾，保持被控 量的穩定.每一次

11、控制是否有效，可以用以下標準來 判斷，符合其中之一,該次控制有效，可以記憶保存.偏差是否減小I e)+l I 0到+ 1 0,或者從0；被控量是否進入穩定區域，相對穩定1 +#)1 T /)+= C /)1 T +/)1 * 0；控制最終是否有效，可以用以下標準判斷：I #) I * %，I +#, I * 0 ,or #) = 0.其中,控制精度,#被控量偏差，/被控量當前值.滿足上述條件之一，可以從閉環控制變為開環 控制,保持控制量輸出不變.當然，人工控制過程與AlphaGo Zero下棋最大 的區別在于:AlphaGo Zero下棋動作無論出現多大 的失誤，都可以自身校正，不影響最終結果

12、,不存在 安全、穩定等問題.但是，人工控制過程每一次控制 動作的產生，都是小心翼翼的，以防止引起被控量的 巨大波動，導致系統出現嚴重不穩定和某些危險.可 見,如果將類似于AlphaGo Zero的深度學習網絡用 于實際系統的實時控制，不能從零開始學習，必須先 基于一定的控制經驗學習，然后再邊控制邊學習，積 累新的控制經驗,用于實時控制.如果從零開始學 習，有可能產生一些非理性的輸出，產生危險控制動 作，導致被控系統出現嚴重問題.因此，必須結合 AlphaGo、AlphaGo Zero設計深度學習控制網絡，模 擬人的控制思維,解決復雜系統的控制，這是將深度 學習網絡用于實際控制系統的重要特征.5

13、仿人思維深度學習控制網絡控制的根本目的是消除干擾、抑制干擾,達到給 定的控制目標.假定被控量為，=1,2, ,),有 )個;干擾量為F(j = 1 , 2，b),有m個;控制量 +,( E =1 ,2，,?)，有?個，這些量之間存在關聯關 系或者耦合關系.控制的任務是:根據當前被控量變 化、干擾量變化和控制量當前值，確定下一步控制量 的輸出，使被控量達到符合給定控制要求.若達到給 定控制要求，由閉環控制轉換為開環控制，“等一 等,看一看”，根據被控量變化情況,決定是否要施 加控制作用，同時將當前的輸入-輸出作為一條控 制經驗進行存儲.若沒有達到給定控制要求，則繼續 施加控制作用.深度學習神經網

14、絡的實質是以多層的帶有一定 特征的網絡，以更高的精度逼近輸入-輸出之間的復 雜的非線性關系.對于MIM0復雜系統，輸出控制量 和輸入被控量、干擾量之間存在復雜的非線性關系, 可以用深度學習神經網絡來模擬它們之間的關系. 5.1網絡架構根據我們的研究E,人腦的語言不是數學的語 言,人腦主要是基于概念的推理與思考，使用if-then 的推理規則.在實際控制系統中，多個傳感器輸出被 控量、干擾量的實時數據,加上控制量的當前值，形 成數據空間.模擬人的控制思維,必須將輸入數據空 間轉換為概念空間，通過各個概念之間的關系，形成 推理規則，然后再將概念空間轉換為數據空間輸出 控制量.為此，我們定義了如下幾

15、個空間，便于模擬 人的控制思維.輸入數據空間:傳感器陣列獲得的被控量、干擾 量(可測的)實時值，控制量當前值.輸入特征量空間:被控量的偏差、偏差的變化, 干擾量的變化量.輸入概念空間:被控量變化的大小、方向、速度、 趨勢，干擾量變化的大小.規則空間:被控量、干擾量、控制量之間構成的 關聯規則.輸出概念空間:控制量大幅增加，小幅增加、大 幅減小、小幅減少、保持不變、最大、最小.輸出數據空間:各個控制量輸出實時值.輸入、輸出概念空間的定義及其對應特征量值, 見前期研究見文獻2-3.對于控制規則空間的定義，需要挖掘語言值關 聯規則.語言值關聯規則為“如果X是A,則Y是 B”，判斷一個語言值關聯規則是

16、否被采用需要用到 支持度和信任度.當支持度和信任度分別不小于給 定的最小支持度和最小信任度時，則認為語言值關 聯規則被采用，否則不被采用.人工控制過程中豐富 的控制知識的形成過程可以看作是人認知過程中從 數據到概念,從概念到規則的發現過程.對于MIM0系統，假定只有2個被控量1, %， 2個干擾量F1, F2,2個控制量+1,叱，它們之間存 在關聯與耦合關系.一般控制經驗表達規則可以是:if 1 and 2 and S and 妃 then +1 and +2 ；if 1 and 2 and S or F then +1 and +2;if 1 and 2 or F or 妃 then +1

17、and +2;if 1 and 2 or Fand F? then +1 and +2;if 1 or 2 or F or F? then +1 and +2;if 1 or 2 or F and F2 then +1 and +2;if % or 2 and d and d? then +1 and +2 ； if 1 or 2 and dr or d? then +1 and +2.推廣到基于概念的控制經驗表達，每個被控量 有4個特征量:變化的大小、方向、速度、趨勢;每個 特征量有不同的特征值,對應的特征值分別有7個、 3個、3個、3個;干擾量有1個特征量，有7個特征 值;控制量輸出有7個

18、特征值.用被控量、干擾量、控 制量特征值表達控制規則，全部轉換為邏輯與形式， 例如：if11 = 3 and12 = 1and 13 = 1 and14 = 0and21 = 3and 22 = 1and 23= 1 and 24 = 0and d11= 0and d21 =0 then +1 = +1ma_ and +2 = +2ma_.其中，初表示被控量，的第j個特征量，j =1，2，3， 4; d,1表示干擾量d,的特征量.這些形式的組合數上 萬種.從組合數從上萬種中抽取常用的、有效的控制 規則組合，對于一個給定的控制系統，大約為幾十 種，這個過程可以看作是逐步抽取特征的過程，這跟 圖像

19、識別類似，從幾萬像素中，經過特征識別，抽取 需要識別的特征字符.由此推論，基于卷積神經網絡 的深度學習網絡可以用于模擬人的控制思維與控制 經驗.卷積神經網絡適合于特征提取,基于卷積神經 網絡的深度學習網絡可以實現多級特征提取，根據 上述分析，在實時控制過程中，用基于卷積神經網絡 的深度學習網絡挖掘人的控制經驗.仿人思維深度 學習控制網絡結構圖1所示，由3個網絡組成:輸入 網絡、深度學習網絡、輸出網絡.輸入網絡一深度學習網絡輸出網絡圖輸入網絡一深度學習網絡輸出網絡Fig. 1 Composition of deep learning control network圖2+4分別給出了每個網絡的具體

20、組成部分. 對于輸入網絡，是一個非全鏈接前向神經網絡, 各個層特點：數據輸入層：被控量當前值、干擾量當前 值.節點數是被控量和干擾量數目的和.輸入層與特 征層之間連接權值為1.輸入特征層：被控量節點輸出對應的點是 偏差及其偏差的變化，干擾量輸出對應的節點是干 擾量的變化，特征層與概念層之間連接權值為1.被控量輸出對應的第一個節點是偏差節點，輸 出:/ = e.被控量輸出對應的第二個節點是偏差變化節 點，輸出：/ =-e._1.干擾量輸出對應的節點是干擾量的變化，輸出:/ = d.圖2輸入網絡組成Fig. 2 圖2輸入網絡組成Fig. 2 Composition of input network

21、規則空間層圖3基于卷積神經網絡的深度學習網絡Fig. 3 Deep learning network based on convolution neural net-work輸出特征層控制量輸出層圖4輸出網絡組成輸出特征層控制量輸出層Fig. 4 Composition of output network輸入概念層：與被控量輸入對應的是被控 量變化的大小、方向、速度、趨勢4個節點，與干擾量 輸入對應的是干擾量變化的大小1個節點.對應被 控量變化大小的節點只與偏差輸出有關.被控量變化的大小輸出采用ReLU函數，其他 輸出采用tanh函數.規則空間層:按照前述的控制規則，規則層 節點數很多,它與概

22、念層之間是非全連接關系.只要 被控量、干擾量之間有關聯關系，就至少產生一個節 點.對于2個被控量、2個干擾量、2個控制量的控制 系統(本文實驗研究系統)，經過分析，選取可能出 現的150種組合，構成150個節點.節點輸出激活函 數采用sigmoid函數，其大小反映了該節點對應的控 制規則使用強度.深度學習網絡采用的是卷積神經網絡：第一個卷積層:概念層的輸出經過一次卷積運 算,去掉一些不常用的控制規則.對于我們研究的實 驗系統，從規則層的150個節點壓縮到120個節點.第一個采樣層:采樣層也稱池化層，去掉使用強 度不高的控制規則，將節點數壓縮到100個.第二個卷積層:再經過一次卷積運算，去掉一些

23、 不常用的控制規則，將100個節點壓縮到80個節 點.第二個采樣層:進一步去掉使用強度不高的控 制規則，將節點數壓縮到50個.也就是常用的、有效 的控制規則為50個.輸出網絡是一個2層的前向神經網絡：輸出特征層:輸出特征層有6個節點，對應6種 輸出，它與前面的采樣層是非全連接方式.每個控制 規則對應一個給定的輸出特征值，因而對應給定的 節點，而不是所有的節點.特征層輸出激活函數采用 sigmoid 函數.控制量輸出層:輸出層節點數就是控制量的個 數，對應本實驗研究系統是2個.輸出層與輸出特征 層之間是全連接關系，也就是說，任何一個控制量的 輸出是6種特征輸出的組合.輸出層激活函數采用 ReLU

24、函數.5.2網絡的訓練與學習如前所述，由于控制的特殊性，仿人思維深度學 習控制網絡不能像AlphaGo Zero那樣從零開始自我 學習，必須有一定的控制經驗,然后再邊控制邊學習 邊強化，以應對各種控制情況，我們提出2種解決方 法.5.2.1先驗式訓練與學習法對于給定的控制系 統，如果有條件可以進行手動控制，先進行手動控制 (利用組態界面，手動改變控制量輸出大小)，取得 訓練數據,對控制網絡進行訓練.將訓練好的控制網 絡進行實時在線應用，在控制過程中進一步訓練網 絡，取得更豐富的控制經驗.也可以通過理論分析或類似系統的控制經驗, 分析出一定數量的控制經驗，對控制網絡進行訓練， 將訓練好的控制網絡

25、進行實時在線應用.5.2.2嘗試式訓練與學習法 將復雜系統按照被 控量、干擾量、控制量之間的強關聯關系，劃分幾個 相對獨立的子系統，每個子系統設計基于仿人思維 控制的智能反饋、智能前饋-反饋、智能串級、智能 前饋-反饋-串級等控制結構，主回路控制器采用 我們研究的仿人思維控制算法一三階段控制 法，副回路控制器采用我們研究的智能前饋控制 器9等.設計好各個子系統，開始控制.這個階段是 試探性控制階段.該階段的控制，可以實現“快速” 控制，接近給定控制要求，但不能保證“穩、準”的控 制要求.在控制過程中，保存控制有效的數據，對控 制網絡進行訓練.網絡訓練完畢后，訓練控制子系統 不再發揮作用，系統控

26、制由控制網絡接管.5.2.3訓練學習約束條件 經過初級階段訓練好 的網絡，在實時在線控制過程中，利用有效的數據進 行在線訓練，獲取更豐富的控制經驗.由于控制的特 殊性，實時訓練過程需要考慮如下約束條件.控制量輸出大小約束:對于一組給定的輸 入數據，經過控制網絡計算輸出的控制量值必須在 最大與最小之間，若超出，自動選擇上限值或下限 值.控制量輸出變化約束:在被控量變化不大 的情況下，控制量輸出變化不能過大，即SO? - Uk_i I * 7%如果計算的控制量超出上述約束條件,不能直 接施加控制，需要做適當修正：0輸出=0計算-20. +控制有效性約束:對于一組給定的輸入數 據,經過控制網絡計算的

27、控制量，施加到被控系統 后，如果滿足如下條件之一，說明控制是有效的，該 組數據可以保存，與前面初始訓練數據一起用于控 制網絡的實時訓練. 偏差是否減小：W + i W 0到+e)+ i 0,或者從0;被控量是否進入穩定區域，相對穩定：1=1 + 1 -1 = 11 6。.訓練學習終止約束：當如下條件滿足時，控 制網絡的在線訓練學習可以終止.每個被控量達到給定的控制精度：I #)I*%,可 以從閉環控制變為開環控制，保持控制量輸出不變.6實驗研究實驗系統采用三水箱液位控制系統，圖5是實 際對象示意圖，圖6是其結構工藝原理.圖5實驗系統Fig. 5 Experimental system圖6實驗設

28、備工藝原理Fig. 6 Process principle of experimental equipment如圖5、6所示,V1,V2,V3為小水箱，V4為儲 水箱.VI ,V3水箱的液位可以單獨控制,V2水箱液 位可以由Pl ,P2 2個直流伺服電機輸出的水流控 制.JVll,JV2l 2個手動閥可以調節供水流量，用于 控制中施加干擾量.我們實驗設置是控制Vl、V2水 箱的液位，且V2液位大于Vl液位，因而控制系統 的被控量是2個水箱的液位，干擾量是兩路流量，控 制量是2個直流伺服電機施加的電壓，即系統2個 被控量,2個干擾量,2個控制量.它們之間的耦合關 系是:V2水箱液位受2個控制量控

29、制，一個控制量 改變，另一個控制量也必須改變，才能保證液位不 變.Vl水箱液位可以單獨控制，但是對它施加的控 制必然影響V2圖6實驗設備工藝原理Fig. 6 Process principle of experimental equipment初始控制階段.先對Vl水箱液位施加控制，使 其達到給定控制值,然后通過調節P2電機轉速，調 節右路流量，使V2水箱液位達到給定控制值.抗干擾控制階段.例如，加大JVl6手動閥的開 度,Vl水箱液位下降，通過控制加大Pl電機轉速, 增大左路流量，使Vl水箱液位恢復到給定控制值, 同時減小左路流量，保證V2水箱液位不變.反之, 亦然.控制經驗為If Vl水箱

30、液位減小and V2水箱液位不變then Pl電機轉速增大and P2電機轉速減小.同理,通過分析可以推理出如下幾條控制經驗:If Vl水箱液位增大and V2水箱液位不變then Pl電機轉速減小and P2電機轉速增大；If左路流量減小and Vl液位不變and V2液位 不變then Pl電機轉速增大or P2電機轉速增大or P2電機轉速不變；If左路流量增大and Vl液位不變and V2液位 不變then Pl電機轉速減小or P2電機轉速減小or P2電機轉速不變；If Vl液位不變and V2液位減小then Pl電機 轉速不變and P2電機轉速增大；If Vl液位不變and

31、 V2液位增大then Pl電機 轉速不變and P2電機轉速減小；If Vl液位減小and V2液位減小then Pl電機 轉速增大or P2電機轉速增大or P2電機轉速不變；If Vl液位增大and V2液位增大then Pl電機 轉速減小or P2電機轉速減小or P2電機轉速不變；If Vl液位增大and V2液位減小then Pl電機 轉速減小and P2電機轉速增大；If Vl液位減小and V2液位增大then Pl電機 轉速增大and P2電機轉速減小；If右路流量減小and Vl液位不變and V2液位 不變then Pl電機轉速不變and P2電機轉速增大；If右路流量增大and Vl液位不變and V2液位 不變then Pl電機轉速不變and P2電機轉速減小.利用上述控制經驗，手動控制每條控制經驗獲 取5組數據，共獲取60組實驗數據,對深度學習控 制網絡進行訓練.訓練完畢，參與實時閉環反饋控 制.控制系統結構如圖7所示.實際實驗過程中，采用組態王做監控軟件，但它 不能實現復雜的算法.控制網絡的在線實時訓練，其訓練算法是很復雜的，涉及矩陣運算、優化、迭代、函數計算等.因此，讓組