1、第三章第三章 用變分法解最優控制用變分法解最優控制 泛函極值問題泛函極值問題本章主要內容3.1 變分法基礎3.2 無約束條件的泛函極值問題 3.3 有約束條件的泛函極值動態系 統的最優控 制問題3.4 小結ft 在動態系統最優控制問題中，性能指標是一個泛函，性能指標最優即泛函達到極值。解決泛函極值問題的有力工具是變分法。所以下面就來列出變分法中的一些主要結果，大部分不加證明，但讀者可對照微分學中的結果來理解。3.1 變分法基礎變分法基礎 如果對某一類函數 中的每一個函數 ，有一個實數值 與之相對應，則稱 為依賴于函數 的泛函，記為)(tXJ)(tXJ)(tX)(tXJJ 粗略來說，泛函是以函數

2、為自變量的函數。1、泛函：先來給出下面的一些定義。0 若對任給的 ，存在0)()(tXtX當時，就有)()(XJXJ則稱 在 處是連續的。 )(XJX2、泛函的連續性： 滿足下面條件的泛函稱為線性泛函 這里 是實數， 和 是函數空間中的函數。 XJXJ)()()(YJXJYXJXY3、線性泛函：4、自變量函數的變分： 自變量函數 的變分 是指同屬于函數類 中兩個函數 、 之差)(tXX)(tX)(1tX)(2tX)()(21tXtXX 這里, t 看作為參數。當 為一維函數時， 可用圖3-1來表示。)(tXX圖3-1自變量函數的變分 這里， 是 的線性泛函，若 時，有 ，則稱 是泛函 的變分。

3、 是 的線性主部。XXJ,X0X0XXJ, XJJJ 當自變量函數 有變分 時，泛函的增量為 )(tXXXXXJ, XJXXJJ 5、泛函的變分：6、泛函的極值： 若存在 ，對滿足的 一切X， 具有同一符號，則 稱 在 處有極值。0*XX)()(*XJXJ)(XJ*XX 定理： 在 處有極值的必要條件是對于所有容許的增量函數 （自變量的變分），泛函 在 處的變分為零)(XJ*XX X)(XJ*X*(,)0J XX為了判別是極大還是極小，要計算二階變分 。但在實際問題中根據問題的性質容易判別是極大還是極小，故一般不計算 。J2J23.2 無約束條件的泛函極值問題無約束條件的泛函極值問題3.2.1

4、 泛函的自變量函數為標量函數的情況泛函的自變量函數為標量函數的情況 為簡單起見，先討論自變量函數為標量函數 （一維）的情況。我們要尋求極值曲線 ，使下面的性能泛函取極值)()(*txtxfttdtttxtxFJ0),(),(（3-1）)()()(*txtxtx)()()(*txtxtx于是泛函J 的增量 可計算如下（以下將*號省去）JdttxxFtxxxxFJftt,0022() ,()fttFFxxoxxdtxx上式中 是高階項。22() ,() oxx為此，讓自變量函數 、 在極值曲線 、 附近發生微小變分 、 ，即)(tx)(tx )(*tx)(*tx xx 根據定義，泛函的變分 是 的

5、線性主部，即JJfttdtxxFxxFJ0fffttttttvduuvudv000對上式第二項作分部積分，按公式可得ffttttxxFxdtxFdtdxFJ00)(（3-2） J取極值的必要條件是 等于零。因 是任意的，要使（3-2）中第一項（積分項）為零，必有Jx0)(xFdtdxF（3-3）上式稱為歐拉拉格朗日方程。（3-2）式中第二項為零的條件要分兩種情況來討論： 1、 固定端點的情況 這時 ，它們不發生變化，所以 。而（3-2）中第二項可寫成ffxtxxtx)(,)(000)()(0ftxtx當 時，（3-4）式自然為零。0)()(0ftxtx)()()()(000txxFtxxFxx

6、Fttfttttff（3-4）2、自由端點的情況 這時 和 可以發生化， ，而且可以獨立地變化。于是要使（3-2）中第二項為零，由（3-4）式可得)(0tx)(ftx0)(, 0)(0ftxtx0)()(00txxFtt（3-6）0)()(ftttxxFf（3-5） 因為這里討論 是標量函數的情況， 和 也是標量，且是任意的，故（3-5）、（3-6）可化為)(ftx)(tx)(0tx（3-7）、（3-8）稱為橫截條件橫截條件。0)()(00txxFtt（3-8）0)()(ftttxxFf（3-7） 當邊界條件全部給定（即固定端點）時，不需要這些橫截條件。當給定時，不要（3-8）。當給定時，不要

7、（3-7）。)(ftx)(0tx3.2.2 泛函的自變量函數為向量函數的情況泛函的自變量函數為向量函數的情況現在，將上面對 是標量函數時所得到的公式推廣到 是n維向量函數的情況。這時，性能泛函為)(tx)(tXfttdttXXFJ0),(3-9)()()(21txtxtxXn)()()(21txtxtxXn(3-10)式中0)(XFdtdXFffttttTTXFXdtXFdtdXFXJ00)( 向量歐拉拉格朗日方程為nxFxFxFXF21nxFxFxFXF21(3-11)式中泛函變分由（3-2）式改為 （當 和 時）0tt ftt 0XF橫截條件為（自由端點情況） 例3-11022)(dtxx

8、J 取極值的軌跡 。 )(*tx求通過點（0，0）及（1，1）且使 解 0)2(2xdtdx0 xx 即BshtAchttx)(它的通解形式為2,2tttteeshteecht 式中：這是固定端點問題，相應的歐拉拉格朗日方程為 由初始條件 ，可得A=0。0)0(x再由終端條 件 ，可得 ，1) 1 (x11 shB 1)(*shshttx因而極值軌跡為 例3-2 求使指標 1032)(dtxxJ取極值的軌跡 ，并要求 ，但對 沒有限制。)(*tx0)0(*x) 1 (*x解0)32(2 xxdtd即 常數232xx于是 是常數， 則是時間的線性函數，令x xBAttx)( 由 可得 ，又終端是

9、自由的，由式（3-7）可得橫截條件為0)0(x0B0)32()(121ttxxxF這是終端自由的情況。歐拉拉格朗日方程為容易驗證 時， 對應局部極小；時， ，對應局部極大。0)(tx0J32)(ttx274J由上式解得 或 。 時的極值軌跡為 ； 時的極值軌跡為 。0A32A0A0)(*tx32A32)(*ttx0322 AA 即3.3 有約束條件的泛函極值有約束條件的泛函極值 動態系統的最優控制問題動態系統的最優控制問題前面討論泛函極值問題時，對極值軌跡 沒有附加任何約束條件。但在動態系統最優控制問題中，極值軌跡必須滿足系統的狀態方程，也就是要受到狀態方程的約束。考慮下列系統)(*tXttU

10、tXfX),(),(（3-13）這是綜合指標。我們要求出最優控制 和滿足狀態方程的極值軌跡 ，使性能指標取極值。)(*tU)(*tX式中， 為 維狀態向量， 為 維控制向量（這里假定 不受限制.)(tXn)(tUm( )U t否則不能用變分法求解，而要用極小值原理或動態規劃法求解） 是n維連續可微的向量函數。性能指標如下：ttUtXf),(),(fttffdtttUtXFttXJ0),(),(),(（3-14） 在下面的討論中，假定初始時刻 和初始狀態 是給定的，終端則可能有幾種情況。我們將就幾種常見的情況來討論，即 給定， 自由和 自由, 屬于一個約束集。0t00)(XtXft)(ftXft

11、)(ftX3.3.1 終端時刻終端時刻 給定，終端狀態給定，終端狀態 自由自由ft)(ftX)(,),(),()(21ttttnT（3-16）0)(),(tXtUXf（3-15）與有約束條件的函數極值情況類似，引入待定的n維拉格朗日乘子向量函數 將狀態方程（3-13）寫成等式約束方程的形式 與以前不同的是，在動態問題中拉格朗日乘子向量 是時間函數。)(t在最優控制中經常將 稱為伴隨變量，協態（協狀態向量）或共軛狀態。引入 后可作出下面的增廣泛函)(t)(tfttTffadtXtUXfttUXFttXJ0),()(,),(（3-17） 于是有約束條件的泛函 的極值問題化為無約束條件的增廣泛函 的

12、極值問題。JaJ),(),(),(tUXftUXFtUXHT（3-18）再引入一個標量函數它稱為哈密頓（Hamilton）函數，在最優控制中起著重要的作用 于是 可寫成aJdtXtUXHttXJfttTffa0),(),()()()()(),(00tXttXtttXJTffTffadtXtUXHfttT0),(（3-19）對上式積分號內第二項作分部積分后可得 設 、 相對于最優值 、 的變分分別為 和 )(tX)(tU)(tX)(tU)(tX)(tU因為 自由，故還要考慮變分 。)(ftX)(ftX下面來計算由這些變分引起的泛函 的變分。aJaJ)()()()(ffTffTattXtXtXJf

13、ttTTdtUHUXHX0)( 為極小的必要條件是：對任意的 、 、 ，變分 等于零。由（3-18）及（3-20）可得下面的一組關系式XU)(ftXaJaJXH（協態方程） （3-21）HX（狀態方程） （3-22）)()(fftXt（控制方程） （3-23）0UH（橫截條件） （3-24） （3-21）（3-24）即為 取極值的必要條件，由此即可求得最優值 ， ， 。aJ)(*tU)(*tX)(*t（3-22）式即為狀態方程，這可由 的定義式（3-18）看出，實 際解題時無需求 ，只要直接用狀態方程即可，這里為形式上對稱而寫成（3-22）式。HH（3-21）與（3-22）一起稱為哈密頓正則程

14、哈密頓正則程。 （3-23）是控制方程，它表示 在最優控制處取極值。H注意，這是在 為任意時得出的方程，當 有界且在邊界上取得最優值時，就不能用這方程，這時要用極小值原理求解。U)(tU（3-24）是在 固定、 自由時得出的橫截條件。當 固定時， ，就不需要這個橫截條件了。橫截條件表示協態終端所滿足的條件。ft)(ftX0)(ftX)(ftX 在求解（3-21）（3-24）時，我們只知道初值 和由橫截條件（3-24）求得的協態終端值 ，這種問題稱為兩點邊值問題，一般情況下它們是很難求解的。)(0tX)(ft 因為 不知道，如果假定一個 ，然后正向積分（3-21）（3-24），則在 時的 值一般

15、與給定的 不同，于是要反復修正 的值，直至 與給定值的差可忽略不計為止。)(0tftt )(ft)(0t)(0t)(ft非線性系統最優控制兩點邊值問題的數值求解是一個重要的研究領域。對于線性系統兩點邊值問題的求解，則可尋找缺少的邊界條件并只要進行一次積分，下面的例3-4給出了求解過程。 例3-3 設系統狀態方程為 的邊界條件為 。求最優控制 ，使下列性能指標 為最小。)()(tutxx)(tx0)(, 1)0(ftxx)(tuftdtuxJ02221 解 這里 、 均給定，故不需要橫截條件（3-24）式。作哈密頓函數)0(x)(ftx)()(2122uxuxHxxH0uuH則協態方程和控制方程

16、為u即 故可得正則方程 )()()(ttxtx)()()(ttxt對正則方程進行拉氏變換，可得 ( )(0)( )( )sX sxX ss （3-25）( )(0)( )( )ssX ss （3-26）1)()0()(ssxsX（3-27）由（3-25）式可求得 )0()0() 1()()2(2xsss于是，解出 為)(s) 0 ()2)(2(1) 0 ()2)(2(12) 0 () 0 () 1()(2xssssssxss（3-28）代入（3-26），即得)0()(221)(22xeettt)0() 12() 12(22122ttee（3-29）反變換可求得 將（3-28）代入（3-26）可

17、得 )0()2)(2(1)0()2)(2(1)(ssxssssX)0() 12() 12(221)(22xeetxtt故 由 ， 從上式可得1)0(x0)(ftxfffftttteeee2222) 12() 12()0(把 代入（3-29），可得 ，而最優控制為)(t)0(tttttttteeeeeeeettuffff22222222*) 12() 12() 12() 12(221) () (設系統的狀態方程為)()(21txtx)()(2tutx要求確定最優控制 ，使指標泛函)(*tudttuuJ)(21)(102例3-41)0(1x1)0(2x初始條件為取極小值0) 1 (1x) 1 (2

18、x終端條件為自由 這里 是自由的，所以要用到橫截條件（3- 24）式，因終端指標 ) 1 (2x(),0ffX tt011xH解:作哈密頓函數由（3-21）（3-23）可求得0) 1 () 1 (22X所以（3-30）uxuH221221（3-31）122xH0uH將 代入狀態方程，可得)(*tu02u 即)()(2*ttu得（3-32）邊界條件為 1)0(1x1)0(2x0) 1 (1x0) 1 (2（3-37）)(12t（3-36）01（3-35）)(22tx（3-34）)(21txx （3-33） 222( )(0)( )sXsxs （3-39）112( )(0)( )sX sxXs（3

19、-38）11( )(0)0ss（3-40）221( )(0)( )sss （3-41） 可見這是兩點邊值問題，對正則方程（3-33）（3-36）進行拉氏變換，可得 43211221( )(0)(0)(0)(0)s Xss xs xs代入初始條件 ， ，可得1)0(1x1)0(2x)0(1)0(111)(142321sssssX31221)0(61)0(211)(ttttx故由（3-38）（3-41）可解出 同樣可解得 0) 1 (1x0) 1 (2利用終端條件 ， ，由（3-42）、（3-43）可得0)0(61)0(212120)0()0(12tt)0()0()(122（3-43）)0(1)0

20、(1)(1222sss（3-42） 由上二式可解出 32*131)(ttttx6)0(16)0(2由（3-42）式可得最優狀態軌跡由（3-43）式可得最優協態 ) 1(6)(*ttu2*2361)(tttx)1 (6)(*2tt由（3-32）式可得最優控制同理還可求出圖3-2 最優控制和最優狀態軌跡解 注意，這個系統是線性定常系統，這種線性兩點邊值問題的解可以通過尋找缺少的邊界條件，并且進行一次積分而求得其解。 對非線性兩點邊值問題，則要借助于迭代方法產生一個序列，來多次修正缺少的初始條件的試探值，直到滿足兩點邊值的條件。圖3-2是最優解的軌跡曲線。3.3.2 終端時刻自由，終端狀態受約束終端

21、時刻自由，終端狀態受約束設終端狀態 滿足下面約束方程)(ftXdtttUtXFttXJfttff0),(),(),(（3-46）ffqffffttXGttXGttXGG),(),(),(21（3-45）0),(ffttXG（3-44）性能指標為其中 引入n維拉格朗日乘子向量函數 和 維拉格朗日乘子向量 ，作出增廣性能泛函 將 代入（3-47），可得H)(tqvfttTffTffadtXtUXHttXGvttXJ0),(),(),(（3-49）),(,),(tUXftUXFtUXHT（3-48）fttTffTffadtXtUXfttUXFttXGvttXJ0),()(),(),(),(（3-47

22、）引入哈密頓函數 與 固定時的情況不同，現在 由 、 、 和 所引起。這里 不再為零，而 可計算如下（參見圖3-3）：ftaJUX)(ftXftft)(ftXdtXtUXHttXJfttTffa0),(),(（3-51）則ffTffffttXGvttXttX),(),(),(（3-50）令圖3-3 各種變分的表示)()()()()()(*ffffffftXtXttXtXtXtXfffttXtX)()(*（3-52）fffttt*令一是在 時函數 相對 的變化 .)(*ftX)(*ftX)(ftX*ft另一是因 的變化所引起的函數值的變化量 后者可用它的線性主部 來 近似。)()(*ffftXt

23、tXffttX)(*ft注意，這里 和 不同，故*號不能省去。上式表明 由兩部分組成：)(ftX)(*ftX)(ftX 現在來計算 （只計算到一階小量）。aJfftttTffffadtXXtUUXXHtttXtXJ*0*)(),(),()(*0),(),(fttTffdtXtUXHttX 上式中方括號外的下標*表示 、 、 是最優 值 、 、 。 是上式的線性主部，故 XUft*X*U*ftaJdtXUUHXXHtttXtXJfttTTTfffTfa*0)()(ffftttTdtXXtUUXXH*)(, )()(*0fttfTTTtXtdtUUHXXHf對第三項作分部積分，可得ffftttTT

24、TTdtXXUUHXXHtUXH*)()(),(fffTfttXtttUXH)()(),(*)()()(*fffTftXtXttH 第四項可表示為（忽略二階小量） fffTfatttXtXJ*)()()()(*0*fttfTfTTtXttHdtUUHXXHf 上式最后一個等號用到了（3-52）式。 表示 的自變量取最優值時 的值。*HHH根據上面的結果可得 取極值的必要條件為 因 、 、 、 為任意，故得（省去*號）aJ0aJ)(ftXftXUXH（協態方程） （3-53）HX（狀態方程） （3-54）0UH（控制方程） （3-55）)()()()(fTffftXGtXtXt（橫截方程） （3

25、-56） 與 固定情況相比，這里多了一個方程， ，用它可求出最優終端時間 。ftffttH)(*fftt fTffftGtttH)(（3-57）要求確定最優控制 ，使 最小。*uJftfdtutJ0221ux 例3-5設系統狀態方程為邊界條件為1)0(x0)(ftxft自由性能指標為 解0)(ftx這是 自由問題。終端狀態固定， 是滿足約束集的特殊情況，即ft0)(),(ffftxttXGuuH221作哈密頓函數uHx0 xH0uuHu正則方程是控制方程是將 代入，可得)()(ttu01)()(2122fftt1)()()(212ffftuttu1)(ffffftttttH因邊界條件全部給定，

26、故不用橫截條件。確定最優終端時刻的條件（3-57）式為 因為由正則方程 ，所以 ，于是最優控制02)()(ftt2)(*tu再由正則方程 ，可得 ux cttx2)(2)(ft由上式求得 由初始條件 ，求得 ，故最優軌跡為1)0(x1c12)(*ttx0)(*ftx22*ft以終端條件代入上式，即求得最優終端時刻 火箭發射最優程序問題。設火箭在垂直平面內運動，加速度 與水平面夾角為 ， 是控制作用，見圖3-4。令 )(t)(ta)(t例3-6)(1tVxL（水平速度）)(2tVxh（垂直速度）)(3tLx （水平距離）)(4thx （垂直高度） 圖3-4 火箭發射示意圖0)0(2xsin2ax

27、 0)0(1xcos1ax 忽略重力和空氣阻力時，系統的狀態方程和初始條件為0)0(4x24xx 0)0(3x13xx (3-58)要求選擇最優控制程序 ，使性能指標)()(ttuffhtx)(4自由)(3ftx0)(2ftxUtxf)(1終端狀態為ftftdtJ0為最小。0)(11UtxGf0)(22ftxG因為要求 最小，故是 自由問題。由給 定的終端狀態可得三個約束方程為ftft解0)(43ffhtxG(3-59)241321sincos1xxaafFHT033xH422xH311xH作哈密頓函數協態方程為044xH（3-60） )()()()(fTfTfftXGtXGtXt343242

28、1413332321313232221213132121113213214321)(,)()()()(xGxGxGxGxGxGxGxGxGxGxGxGtXGGGttttfffff橫截條件為即0)(3ft22)(ft11)(ft上式右端矩陣中 的自變量 已省略。由（3-59）式求出上式中的偏導數，可得協態的終值為ft4 , 3 , 2 , 1,ixi34)(ft（3-61）131ct 242ct 434)(ft常數積分協態方程可得30)(3ft常數11223,fcct代入協態終值條件后，得11)(322ttf0334故（3-62）由控制方程 ，得0HUH0cossin21aa)(tan2112t

29、tf（3-63）即 下面來積分狀態方程（3-58），為此將自變量 變成 。由（3-63）式得t 為了確定最優程序 ，還需確定拉格朗日未定常數 、 。)(t1222sectandtddtddd22secdtdcoscos21addtaddx222cossinsinaddtaddx321)tanln(seccax322seccax將上面關系代入狀態方程，即得積分上面兩式得0)0(1x0)0(2x0)0(由初始條件可求得0021sectansectanlnax(3-64)sec(sec022ax（3-65） 將上面的 和 代入狀態方程（3-58）的后兩式，積分并經較復雜運算得 1x2x0000022

30、4sectansectanlntan)sec(secsec)tan(tan2ax（3-66）)sectansectanlntansec(sec000223ax（3-67） （注：另一解為 ，但這時由（3-67）式可得出 與給定終端條件 不符，故略去 的解）0f0)(4ffhtx0)(4ftx0f由終端條件 和（3-65）式得 0)(2ftx0sec)(secft故02)(fft（3-68）t20tantanfft20tantan02tan2ft由（3-63）式得于是0tan)21 (tanftt（3-70）故ft02tan2（3-69） 將終端條件 和（3-69）式代入（3-64）式，可得Utxf)()214tan(lntantansectansecln21tan0000000