1、CH8動態規劃當時間和不確定性同時出現時，現實中往往確實如此，動態規劃就顯得特別有用。動態規劃是通過值函數把動態問題轉變為靜態問題。連續時間確定性問題定義值函數: ,從出發的值函數為:首先計算控制變量的最優選擇，然后得到狀態變量的最優值。若和在整個區間中是最優的，那么在子區間中也是最優的。根據積分中值定理去掉大括號中第一項的積分號，然后圍繞時刻進行泰勒展開。代入原方程得到:消除方程兩邊相同項,并除以,得到:這就是動態規劃的遞歸方程（Recursive Equation,RE）。遞歸方程把動態問題轉為只有時期的靜態問題。根據RE右邊項對控制變量求導數等于零，得到最優值：。將其代回到RE中，得到貝

2、爾曼方程（Bellman Equation,BE ）。連續時間動態規劃求解步驟1、定義值函數，寫出RE。2、根據控制變量的一階條件得到最優控制變量的表達式。3、把其代回到RE，得到BE。4、通過BE求出值函數，最終得到控制變量的最優值。注意：BE是偏微分方程，只有少數幾種情況可以求解：目標函數是相當或絕對厭惡風險效用函數，或二次型；約束條件是線性約束。問題：值函數的形式事先不知道，需要猜測。經濟學中動態規劃問題的猜測方式：1、值函數與目標函數形式相同。2、控制變量是狀態變量的線性函數。例：目標函數為二次型,定義值函數: 寫出遞歸方程RE:有一階條件得到:得到BE：。猜測：值函數與目標函數有相同

3、的形式，即為二次型。 為待定常數，如果存在，猜測正確。 代回上式即得到控制變量自控問題：時間不獨立出現經濟學中常遇到的是自控問題。同樣可以用前面的方法，定義現值值函數，寫出RE進行求解。但是，用當期值的值函數，可以簡單些。DP一般用當期值函數。定義現值值函數： 貼現到0時刻定義當期值值函數： 貼現到時刻現值:當期值：例子：Ramsey模型資源約束：封閉經濟且不考慮政府的資源約束：投資用于增加資本和彌補折舊：Ramsey模型的含義：在資源約束下，選擇消費使效用的貼現和最大化。消費水平確定后，資本存量也確定了，產出水平也確定了。這就是Ramsey模型關于經濟增長的解釋。Ramsey模型將經濟增長建

4、立在微觀最優化的基礎上。假設生產函數規模報酬不變：用人均形式表示的資源約束為：例子：Ramsey model求解Ramsey model定義當期值值函數：必須知道效用函數和生產函數的具體形式才能求解。二、不確定性問題理論補充：隨機變量及求解。股票價格、人口增長和技術進步實際上呈現的是隨機變化。確定性變量： 隨機變量：，服從幾何布朗運動。計算以下兩種函數的微分。1. 2. 對于確定性變量，可以進行一階泰勒展開，也可以直接使用微分公式：。對于不確定變量，需要進行二階泰勒展開。微小變化的乘積（服從幾何布朗運動）：z tztt 00 0dz dtdzdt dt 0 0 0 得到： 即Ito公式得到：例

5、： 連續時間形式離散時間形式 二、不確定性問題不確定問題的優化：服從幾何布朗運動. ,定義值函數: 存在不確定性時，目標函數是時刻的期望值。與確定性變量一樣的方法推導遞歸方程。根據,上式等價于:將的表達式代入，取期望后抵消相同項后除以，得到RE：根據控制變量一階條件得到最優值，代回RE，得到BE：例1：目標函數為二次型,定義值函數: 寫出遞歸方程RE:由一階條件得到，代入RE得到BE。然后猜測值函數與目標函數有相同的形式，根據BE得到值函數。然后得到最優控制變量，帶到轉移方程得到狀態變量。例2：Ramsey model必須知道效用函數和生產函數的具體形式才能求解。應用：消費與證券投資組合理論（

6、Merton,1971）假設消費者初始財富w(0)已知，任意時刻t的財富w(t)取決于消費者的投資收益。消費者將(t)比例的資產投資于風險資產，如股票,（1-(t)）的資產投資于無風險資產，如債券。在Merton的模型中，收益率取這種形式：假設股票的收益率為dRS，債券的收益率為dRB。此處z與BM之間有個小方框將兩種資產的收益率代入上式得到t時刻消費者資產的變化量：效用函數 猜測值函數： 將值函數和最優值代回到RE得到常數A：得到A，就能得到值函數、消費和投資組合比例的最優選擇。 結論：1、消費在收入中占的比例不變（如果=1,c*=w），解決了凱恩斯消費函數的“消費之謎”：平均消費傾向隨收入

7、上升而下降。2、風險資產的投資比例與邊際效用彈性的絕對值和風險資產的方差反相關，與風險資產的溢價正相關。3、消費變化等式兩邊除以c*得到：將風險資產所占的比例和A代入得到：對時間求導得到：消費的預期增長率與風險資產的方差反相關。在開放經濟中，通過分散投資可以降低風險資產的方差，消費增長率(經濟增長率)將會提高（奧博斯特菲爾德和若戈夫（2002，p445）。離散時間一、確定性情況典型問題控制變量為ut，狀態變量為xt。定義值函數：任意時刻s的當期值值函數：練習：根據連續時間動態規劃的方法推導貝爾曼方程。求解步驟：定義拉格朗日函數：聯立（1）和（2）可以得到歐拉方程。例子：Ramsey模型Rams

8、ey模型的含義：在資源約束下，選擇消費使效用的貼現和最大化。消費確定后，資本存量也確定了，產出水平也確定了。這就是Ramsey模型關于經濟增長的解釋。Ramsey模型將經濟增長建立在微觀最優化的基礎上。求解Ramsey模型 定義lagrange函數：等式左邊：當前減少1單位消費使未來效用增加量的貼現值。r=f(k)+等式右邊：當前減少1單位消費使當前效用的減少量。最優消費選擇滿足等邊際準則。再結合約束條件可以得到包含k和c的非線性差分方程組：穩態分析達到穩態時，人均消費水平和資本存量不變，得到：穩態值：結果與solow模型相同，沒有技術進步時，經濟停止增長。由式（1）可以直接得到人均資本存量的

9、穩態值，式（2）即c=f(k)。這樣就得到了和連續時間形式相同的相位圖（phase diagram)。離散形式的Ramsey模型仍然是鞍點路徑穩定。在穩態處系統的穩定性分析將歐拉方程和約束條件看做c和k的函數，圍繞穩態值進行泰勒展開，形成一個二階差分方程組。根據系數矩陣的特征根可以判斷系統的穩定性。不確定性問題練習：推導不確定性問題的貝爾曼方程。狀態變量受到上一期隨機沖擊的影響：定義任意時期s的值函數：右邊取期望得：得到隨機問題的貝爾曼方程BE（或遞歸方程RE）：求解步驟：定義拉格朗日函數：選擇了后，就相當于選擇了。根據上式得到V(xs+1），代入一階條件得到：聯立（1）和（2）可以得到歐拉方

10、程。例子：Ramsey模型求解Ramsey模型定義lagrange函數：可使用對數線性化的方式求解該差分方程組，即實際經濟周期理論（RBC）。未來沖擊的影響在t時刻不知道t+1時刻的沖擊貝爾曼方程給定初始存量向量y0和末期存量向量yT+1，最大化 滿足約束 轉移方程 由此產生的最大值定義為初始存量的一個函數，即。導數向量就是這些初始存量的影子價格向量。假設不是從時點0開始，而是考慮一個特別的時間，如t=。對始點為的決策，關于過去惟一重要的事就是以往決策產生的存量向量。將其看作一個參數，并將整個問題在處重新開始。令為這個問題的最大值函數。當從處給予初始存量一個小的增量時，導數向量即為最大化的和的

11、邊際增量，即從開始的最優化問題中初始存量的影子價格向量。現在選擇任意的t，考慮那個時候關于控制變量的決策，以及由于選擇任意特定的而帶來的結果。根據轉移方程，將產生下一期的存量，然后需要求解時點為t+1的子問題，得到最大值。在t時刻以開始的總值可以分解成兩項：即刻得到的和稍后得到的。的選擇應使這兩項之和最大：這就是貝爾曼方程。貝爾曼最優化原理：不管t時刻的決策是什么，隨后的決策對(t+1)開始的子問題而言應該是最優的。貝爾曼原理提供了一條求解原來最優化問題的強有力的途徑：從末期開始遞歸地向前面時點進行。時點T沒有將來，只有固定的末期存量，因此：滿足：原則上這是一個簡單的靜態最優化問題，并可以得到