1、非線性系統學習控制理論的發展與展望謝振東謝勝利劉永清摘要：論述了學習控制的基本理論問題，給出了學習與學習控制系統的基本定義，著重討論了學習控制方法產生的歷史背景、目前非線性系統學習控制的研究狀況，提出了一些有待繼續研究的問題.關鍵詞：非線性系統； 學習控制； 發展與展望文獻標識碼：ADevelopment and Expectationfor Learning Control Theory of Nonlinear SystemsXIE Zhendong，XIE Shengli and LIU Yongqing（Depatrment of Automatic Control Engineeri

2、ng, South China University of TechnologyAbstract：In this paper, the problem for the basic theory of learning control is discussed. After giving the basic definition of learning and learning control, we mainly discuss the background of learning control and the research status for learning control of

3、nonlinear systems, and put forward some problems need to be researched.Key words：nonlinear systems; learning control; development and expectation1非線性系統學習控制的研究背景(Research background for learning control theory of nonlinear systems)1.1引言(Introduction)對于高速運動機械手的控制，Uchiyama提出一個思想1：不斷重復一個軌線的控制嘗試，并以此修正控制律

4、，能達到較好的控制效果.日本學者Arimoto2等人根據這種思想于1984年針對機器人系統的控制研究，提出了迭代學習控制這一新穎方法.這種控制方法只是利用控制系統先前的控制經驗，根據測量系統的實際輸出信號和期望信號來尋求一個理想的輸入，使被控對象產生期望的運動.而“尋找”的過程就是學習的過程，在學習的過程中，只需要測量系統的輸出信號和期望信號，不象適應控制那樣，對系統要進行復雜的參數估計3，4，也不象一般控制方法那樣，不能簡化被控對象的動力學描述.特別是在一類具有較強的非線性耦合和較高的位置重復精度的動力學系統(如工業機器人、數控機床等)中，學習控制有著很好的應用，如T.Sugie5,M.Ka

5、tic6,H.Park7的工作.迭代學習控制方法提出后，受到了控制界的廣泛關注，人們不僅針對各種機器人系統的跟蹤控制提出了相應的有效算法8,9，而且這個方法也被應用到非線性系統的魯棒控制上1012，最近，在離散系統11，1315、分布參數系統及廣義系統上也有了相應的應用1619.迭代學習控制已成了“智能控制”的一個重要組成部分，并逐步發展成為控制理論中的一個新的發展方向.1.2學習與學習控制系統的定義(Definition of learning and learning control)20給出學習控制系統和自學習控制系統的定義：一個開放性系統，如果能夠通過對環境與系統自身的學習獲得經驗，并

6、在運用此經驗于系統的控制之后，能夠基于人機交互的性能評價器(有人監督)，使系統的某個預先要求的性能指標得到改善，則稱此系統為學習控制系統(Learning Control System);否則，如果性能評價器在無人參與(無人監督或再勵)的情況下完全自動實現，則稱此系統為自學習控制系統(Self-Learning Control System).在文獻21中，對學習控制用數學語言簡單描述為：在有限的時間域0,T內，給出被控對象期望的響應yd(t),t0，T，尋求某種給定的uk(t),t0，T，使其響應yk(t),t0,T，在某種意義上比y0(t)有所改善，其中k為尋求次數，這一尋求過程稱為學習控

7、制過程.如果k時，yk(t)yd(t)，則稱為學習控制過程收斂.2研究現狀及存在的問題(Status and problems)迭代學習控制系統雖有了較大的發展，但也還相應地存在一些問題，在此，我們將較全面地總結國內外有關研究資料，同時也提出這些研究中所存在的不足.2.1研究現狀(Status). 國外的發展對于非線性系統，Greg等人(1992)11、Kuc等人(1992)22、Gary(1995)23、Ahn等人(1993)24、Pasquale(1994)25、Sugie等人(1991)5進行了各種討論，都對其給定算法的收斂性進行了論述，而Bien(1989)、Amann(1996)26

8、、Hwang(1991)8等分別對離散系統進行了研究，并給出了一些高階的學習算法；針對不確定系統Danwei等人(1995)10、Chien(1996)27、Sun(1997)28及Lee(1995)29也給出了相應的討論；關于在機器人系統的跟蹤控制上，Dusk(1995)6、Danwei(1995)30及Sadao等人(1988)31分別獲得了一些相應的結果；此外,Park(1996)7對不確定機器人系統進行了學習控制與適應控制的結合研究，而Jang等人(1995)14和Amann(1996)32分別對反饋控制進行了討論. 國內動態林輝、王林33針對一類非線性系統采用閉環P型學習率討論了其收

9、斂性；曾南、應行仁34對于一個未知的非線性連續系統或離散系統，改進了開環迭代學習的收斂條件，并提出閉環迭代學習算法，其結果說明了閉環算法在收斂條件、速度和抗干擾能力上都優于開環算法.他們認為，在實際操作中總會遇上干擾，有輸入振動，輸出擾動等，如果要求每次重復都精確回到相同的位置是不可能的，它的偏差也可以示為一種擾動，開環控制抑制干擾能力較差，而閉環迭代學習控制在操作過程中既用到過去的經驗，又根據現行觀察進行調整；孫明軒，萬伯任35針對受擾非線性系統討論了N階PI型開閉環迭代學習控制，結果表明了高階算法在輸出跟蹤和干擾抑制方面的有效性；皮道映，孫優賢36針對離散非線性系統提出了開閉環P型迭代學習

10、控制律，他們認為，開環迭代學習控制律的性能要比閉環的差，主要原因在于開環迭代律只利用了系統前次運行的信息，而閉環迭代律在利用當前運行信息改善控制性能的同時，舍棄了系統前次的運行的信息，因此，提出新的開閉環迭代律，它能同時利用系統前次運行和當次運行的信息，將能進一步改善控制性能； 皮道映，孫優賢37對于一類參數未知的非線性系統在有限的時域上的精確軌跡跟蹤問題，提出了一種開閉環PI型迭代學習控制策略，給出了其收斂的充要條件，它可同時用于判定開環和閉環PI型迭代學習控制的收斂性；謝振東、謝勝利、劉永清13討論了P型學習控制算法在線性離散系統和非線性離散系統中的收斂性；謝勝利、樊曉平、韋崗38；謝勝利

11、、謝振東、韋崗39也分別針對離散系統進行了討論；任雪梅，高為炳40則提出了任意初始狀態下的學習控制方法，此方法包括兩種學習，即同時進行系統的輸入和初始狀態的學習，因此，在學習開始時對系統的初始狀態無要求，即不需要假設在每次循環過程中系統的初始狀態和期望跟蹤軌跡的初始狀態都相等.此學習方法在一定程度上可以解決任意初始狀態下的學習控制系統的跟蹤問題；對于連續非線性系統史忠科41提出了一般性的迭代學習控制方法，給出了PID型學習控制算法的收斂條件，該方法可以逼近任意軌線；謝勝利、張劍、韋崗42及謝勝利、田森平43針對一類不確定非線性系統的學習控制進行了探討，他們的跟蹤結果既不依賴于理想控制，也不依賴

12、初始狀態.目前，對于分布參數系統和廣義系統的迭代學習控制研究遠不及連續非線性系統和離散系統的迭代學習控制研究.謝勝利、謝振東、韋崗、劉永清等人將迭代學習控制方法用于分布參數系統和廣義系統的目標跟蹤控制上.對于分布參數系統的目標跟蹤問題，謝振東、劉永清16給出了一種二階P-型學習算法，并對該算法的收斂性進行了分析，獲得了系統在相應空間中目標跟蹤的結果.謝振東、謝勝利、韋崗17對非線性分布參數系統進行了研究，不僅獲得了在L2(),W1,2()空間中的跟蹤結果，而且還獲得了在×0，T上的一致跟蹤結果.并且，他們的方法對被控對象的建模要求很低，僅僅是一些定性的限制；而謝振東、謝勝利44針對相

13、應的不確定分布參數系統進行了研究，獲得了跟蹤控制相應的結果.對于廣義系統的狀態跟蹤問題，謝勝利、樊曉平、韋崗18，謝勝利、謝振東、劉永清19，也采用了學習控制的方法，給出了相應的學習控制算法，并對學習算法的收斂性和狀態跟蹤的可能性進行了分析.最近，謝勝利、謝振東、韋崗45及謝振東、田傳俊46將他們得到的新算法用于終端受限機器人跟蹤控制上，獲得了較理想的結果，大大地改進了Danwei(1995)30、Soh(1995)10等人的工作，其控制算法的收斂性不依賴于理想力、理想運動及初始運動等數據.在文獻47中，還就一類不滿足收斂性條件的退化系統進行了探討，因為在這種情況下，通常的學習控制方法遇到困難

14、，對此，他們給出了一種新的方法吸收流形方法，通過構造一個相應于所給系統穩定而吸引的流形，且在構造的同時設計出學習控制序列，以使完成對所給期望目標的跟蹤.2.2存在的問題(The existing problems)由于迭代學習控制方法產生不久，其基本理論還遠未形成，學習控制要發展成為一種具有完整理論基礎的控制方法，并且更好地應用于實際工程中，還需要人們投入相當的精力和時間，進行深入地研究.根據所查到的文獻資料表明，學習控制理論研究的成果不僅零散，而且在研究中還存在著這樣或那樣的不足，主要表現在以下幾個方面：. 學習控制不收斂，導致目標跟蹤精度太差，例Danwei30、Soh10、Greg11等

15、. 學習控制算法不是全局而只是局部收斂，很大程度上依賴于初始輸入信號，如Tomohe12,Pasguale25等.而這在實際工程應用中是很難把握的. 學習控制過程依賴于看起來似乎已知，但實際上是未知的理想輸入ud(t)的一些信息，而ud(t)正是我們學習控制所要“尋找”的對象，例Jang14、Kuc24、Ahn48等對機器人系統軌跡跟蹤控制的研究. 學習控制過程的收斂性依賴于非線性函數的Lipschitz常數，但該常數對一類不確定系統來說，只是定性條件，而不是定量條件. 在學習控制過程中，都要求每次學習過程要經過相同的初始狀態，而在有些實際工程的運用中，每次都會存在一定的誤差，不可能完全一樣.

16、就目前而言，學習控制方法一般都要求在學習控制的過程中，尋找“學習矩陣”.而這些“學習矩陣”要滿足一些必要的收斂條件，在系統不滿足目前的一般收斂條件的情況下能否利用這一方法，需要哪樣的技術處理及新的改進措施.另外，如何充分利用控制系統先前經驗的所有信息，以及這些信息利用與學習控制過程收斂的關系；學習控制方法與目前較成熟的適應控制方法的區別與聯系是什么，如何將這一方法與適應控制方法結合起來，使得對系統的參數辯識和跟蹤控制同時進行.以上諸多問題都是學習控制能真正發展成為控制理論中既具有堅實理論基礎，又具有廣泛應用前景的新方向而需要解決的問題.3學習控制理論的展望(Expectation of the

17、 learning control theory)學習控制在理論上所要研究的系統包括：不確定線性系統、分布參數系統、離散時間系統及2-D離散系統、廣義系統和它們相應的滯后系統；而跟蹤控制的形式包括調節跟蹤、輸入輸出和狀態跟蹤；初始誤差形式包括零初始誤差、非零初始誤差，而非零初始誤差里又分下面二種情況：每次學習時有相同的初始值和有不同初始值.此外，要尋求系統退化情況(即不滿足一般收斂性條件)下的研究方法，及學習控制與適應控制的差別與聯系.目前，迭代學習控制方法在分布參數系統上的應用僅僅開始，由于其系統的復雜性及收斂性的多樣性，無論是在基本概念上，還是在方法技巧上都有待發展，此外，對于廣義系統的研

18、究，除了文獻18，19以外，目前國內外沒有其他任何結果在應用上如何將迭代學習控制方法更有效地從機器人系統擴展到其他實際工程中(如最近電子加油記數器的應用).就以由常微分方程定義的集中參數系統(包括線性和非線性系統)為主要研究對來說，第一，尋求新的算法和研究手段，使學習控制過程全局收斂(即與初始輸入信號無關)且不依賴于理想輸入信號，這樣保證結果在應用于實際工程時的可實現性；第二，如何充分利用控制系統過程先前控制經驗的所有信息，以及這些信息利用與學習控制過程收斂的關系，這樣為實際設計提供更多的可靠信息；第三，當系統處于退化情況下時，如何進行學習控制設計，分析能或不能的原因；第四，研究非零初始誤差的情況，因為在有些實際應用中，每次學習控制的初始值不可能完全一樣，相應地如何將以