1、第三章第三章 非線性回歸分析法非線性回歸分析法3.1 可化為線性的回歸模型3.2 不可化為線性的回歸模型3.3 非線性回歸應(yīng)用的幾個(gè)問(wèn)題3.4 預(yù)測(cè)實(shí)例學(xué)習(xí)目標(biāo) 了解：非線性回歸模型的一般形式 理解：可線性化的非線性回歸的形式變換、不可線性化的參數(shù)估計(jì)方法。 掌握：應(yīng)用eviews軟件進(jìn)行非線性趨勢(shì)預(yù)測(cè)3.1 可化為線性的回歸模型一、非線性回歸模型的直接代換1. 多項(xiàng)式函數(shù)模型201 122k=+.+kkyxxx21122,kkkzx zx zx令令01 12 2.kkyzzz原模型可化為線性形式即可利用線性回歸分析的方法處理了。新引進(jìn)的自變量只能依賴于原始變量，而不能與未知參數(shù)有關(guān)。新引進(jìn)的

2、自變量只能依賴于原始變量，而不能與未知參數(shù)有關(guān)。任何一連續(xù)函數(shù)都可用分段多項(xiàng)式來(lái)逼近，所以任何一連續(xù)函數(shù)都可用分段多項(xiàng)式來(lái)逼近，所以在實(shí)際問(wèn)題中，不論變量在實(shí)際問(wèn)題中，不論變量y y與其他變量的關(guān)系如與其他變量的關(guān)系如何，在相當(dāng)寬的范圍內(nèi)我們總可以用多項(xiàng)式來(lái)擬何，在相當(dāng)寬的范圍內(nèi)我們總可以用多項(xiàng)式來(lái)擬合。合。2. 雙曲線模型011yx1zx令令01yz原模型可化為線性形式即可利用線性回歸分析的方法處理了。3. 半對(duì)數(shù)函數(shù)模型和雙對(duì)數(shù)函數(shù)模型半對(duì)數(shù)函數(shù)模型01lnyxlnyx雙對(duì)數(shù)函數(shù)模型01lnlnyx*lnlnyy xx令令原模型可化為線性形式*01yx4. 三角函數(shù)回歸模型sinya bx

3、 cosya bx 令令sincos ,xxxx yy或則則ya bx 這類變換本身不涉及模型參數(shù)，其參數(shù)估計(jì)這類變換本身不涉及模型參數(shù)，其參數(shù)估計(jì)就是原模型的參數(shù)估計(jì)。就是原模型的參數(shù)估計(jì)。二、非線性模型的間接代換（對(duì)數(shù)變換法）1. 指數(shù)曲線模型12012kky x xx e01122lnlnlnlnlnkkyxxx對(duì)數(shù)變換對(duì)數(shù)變換再采用前述代換的形式建立線性模型。如：著名的柯布道格拉斯（cobbdouglas）生產(chǎn)函數(shù)就是其中一個(gè)典型。qal k e2. 冪函數(shù)曲線回歸模型byaxlnlnlnlnyabx對(duì)數(shù)變換對(duì)數(shù)變換令令1201ln ,ln ,ln ,lnzy zxab101 2zz原

4、模型可化為線性形式模型變換涉及模型變換涉及參數(shù)，估計(jì)參參數(shù)，估計(jì)參數(shù)后要還原。數(shù)后要還原。3.2 不可轉(zhuǎn)換成線性的趨勢(shì)模型一、不可線性化模型1、不可線性化模型：無(wú)論采取什么方式變換都不可 能實(shí)現(xiàn)線性化的模型。2、常用的處理方法：一般采用高斯一牛頓迭代 法進(jìn)行參數(shù)估計(jì)，即借助于泰勒級(jí)數(shù)展開(kāi)式 進(jìn)行逐次的線性近似估計(jì)。 二、迭代估計(jì)法二、迭代估計(jì)法基本思路是：1、通過(guò)泰勒級(jí)數(shù)展開(kāi)使非線性方程在某一組初始參數(shù) 估計(jì)值附近線性化；2、然后對(duì)這一線性方程應(yīng)用ols法，得出一組新的參 數(shù)估計(jì)值；3、使非線性方程在新參數(shù)估計(jì)值附近線性化，對(duì)新 的線性方程再應(yīng)用ols法，又得出一組新的參數(shù)估 計(jì)值；4、不斷重

5、復(fù)上述過(guò)程，直至參數(shù)估計(jì)值收斂時(shí)為止。三、迭代估計(jì)法的eviews軟件實(shí)現(xiàn) 設(shè)定代估參數(shù)的初始值，可采用以下兩種方式：（1）使用param命令。命令格式為param 初始值1 初始值2 初始值3 （2）在工作文件窗口雙擊序列c，并在序列窗口中直接輸入?yún)?shù)的初始值（注意序列c中總是保留著剛建立模型的參數(shù)估計(jì)值，若不重新設(shè)定，系統(tǒng)自動(dòng)將這些值作為參數(shù)的默認(rèn)初始值）。 估計(jì)非線性模型（1）命令方式在命令窗口直接鍵入:nls 非線性函數(shù)表達(dá)式例如，對(duì)于非線性模型 ，其估計(jì)命令格式為yak lnls y=c(1)*kc(2)*lc(3)其中， c(1)、c(2)、c(3)表示待估計(jì)的三個(gè)參數(shù)a、 、 。

6、回車后，系統(tǒng)會(huì)自動(dòng)給出迭代估計(jì)的參數(shù)估計(jì)值。在數(shù)組窗口，點(diǎn)擊procsmake equation，在彈出的方程描述對(duì)話框中，輸入非線性函數(shù)表達(dá)式：（2）菜單方式選擇估計(jì)方法為最小二乘法后，點(diǎn)擊ok按鈕。y=c(1)*kc(2)*lc(3)幾點(diǎn)說(shuō)明：（1）在方程描述對(duì)話框中，點(diǎn)擊option按鈕，可以設(shè)置迭代估 計(jì)的最大迭代次數(shù)(max iteration)和誤差精度(convergence)，以便控制迭代估計(jì)的收斂過(guò)程。（2）利用nls命令也可估計(jì)可劃為線性的非線性回歸模型。例如 nls y=c(1)+c(2)/x nls y=c(1)+c(2)*ln(x)（3）迭代估計(jì)是一種近似估計(jì)，并且參

7、數(shù)初始值和誤差精度的設(shè)定不當(dāng)還會(huì)直接影響模型的估計(jì)結(jié)果，甚至出現(xiàn)錯(cuò)誤。 非線性回歸模型參數(shù)估計(jì)的基本思想可以類似非線性回歸模型參數(shù)估計(jì)的基本思想可以類似于線性估計(jì)，也是設(shè)法找到使于線性估計(jì)，也是設(shè)法找到使2()miniiqyy的一組參數(shù)值。的一組參數(shù)值。1 1、求偏導(dǎo)為零，得未知參數(shù)的非線性方程組，一、求偏導(dǎo)為零，得未知參數(shù)的非線性方程組，一 般用般用newton 迭代法求解。迭代法求解。2、直接極小化殘差平方和，求出未知參數(shù)的非線、直接極小化殘差平方和，求出未知參數(shù)的非線 性最小二乘估計(jì)。性最小二乘估計(jì)。3.3 3.3 非線性回歸應(yīng)用的幾個(gè)問(wèn)題非線性回歸應(yīng)用的幾個(gè)問(wèn)題一、參數(shù)估計(jì)一、參數(shù)估計(jì)

8、注：注： 在非線性最小二乘法中，一些精確的分布式很在非線性最小二乘法中，一些精確的分布式很難得到的，在大樣本時(shí)，可以得到近似分布，因此難得到的，在大樣本時(shí)，可以得到近似分布，因此可以得到近似的參數(shù)的區(qū)間估計(jì)，顯著性檢驗(yàn)等回可以得到近似的參數(shù)的區(qū)間估計(jì)，顯著性檢驗(yàn)等回歸診斷。歸診斷。3、將非線性模型轉(zhuǎn)化為線性模型再采用最小二、將非線性模型轉(zhuǎn)化為線性模型再采用最小二乘估計(jì)。乘估計(jì)。直接變換法、對(duì)數(shù)變換法、泰勒級(jí)數(shù)展開(kāi)法等直接變換法、對(duì)數(shù)變換法、泰勒級(jí)數(shù)展開(kāi)法等常用的轉(zhuǎn)化方法：常用的轉(zhuǎn)化方法：二、確定非線性模型形式的方法二、確定非線性模型形式的方法 非線性模型的形式復(fù)雜多樣，如何根據(jù)實(shí)際的非線性模型

9、的形式復(fù)雜多樣，如何根據(jù)實(shí)際的數(shù)據(jù)選擇合適的模型時(shí)建模的關(guān)鍵數(shù)據(jù)選擇合適的模型時(shí)建模的關(guān)鍵1 1、根據(jù)散點(diǎn)圖來(lái)確定類型、根據(jù)散點(diǎn)圖來(lái)確定類型2 2、根據(jù)一定得經(jīng)濟(jì)知識(shí)背景、根據(jù)一定得經(jīng)濟(jì)知識(shí)背景如：商品的銷售量與廣告費(fèi)用之間的關(guān)系。如：商品的銷售量與廣告費(fèi)用之間的關(guān)系。s s型曲線型曲線三、模型的比較三、模型的比較1 1、首先應(yīng)從經(jīng)濟(jì)學(xué)角度考慮，因?yàn)閿?shù)據(jù)分析的目的、首先應(yīng)從經(jīng)濟(jì)學(xué)角度考慮，因?yàn)閿?shù)據(jù)分析的目的是解釋經(jīng)濟(jì)現(xiàn)象。所以要重視經(jīng)濟(jì)學(xué)理論和行為規(guī)是解釋經(jīng)濟(jì)現(xiàn)象。所以要重視經(jīng)濟(jì)學(xué)理論和行為規(guī)律提供的理由。律提供的理由。2 2、從統(tǒng)計(jì)分析角度來(lái)比較，最重要是殘差分析。如、從統(tǒng)計(jì)分析角度來(lái)比較，

10、最重要是殘差分析。如果殘差平方和最小，并且看起來(lái)殘差最隨機(jī)，這樣的果殘差平方和最小，并且看起來(lái)殘差最隨機(jī)，這樣的模型應(yīng)當(dāng)選擇。模型應(yīng)當(dāng)選擇。3.4 預(yù)測(cè)實(shí)例預(yù)測(cè)實(shí)例例：柯布例：柯布道格拉斯（道格拉斯（cobbdouglascobbdouglas）生產(chǎn)函數(shù)）生產(chǎn)函數(shù)yak l其中，其中，y為產(chǎn)出，為產(chǎn)出，k( (資本資本) )，l( (勞動(dòng)力勞動(dòng)力) )為兩個(gè)投入要素。為兩個(gè)投入要素。:是產(chǎn)出對(duì)資本投入的彈性系數(shù)。是產(chǎn)出對(duì)資本投入的彈性系數(shù)。為效率系數(shù)；為效率系數(shù)；0a , 為為k和和l的產(chǎn)出彈性。的產(chǎn)出彈性。, ,a 均為待估參數(shù)。均為待估參數(shù)。度量在勞動(dòng)投入保持不變時(shí)，資本投入增加度量在勞動(dòng)

11、投入保持不變時(shí)，資本投入增加1%1%時(shí)，時(shí)，產(chǎn)出增加的百分比。產(chǎn)出增加的百分比。:是產(chǎn)出對(duì)勞動(dòng)投入的彈性系數(shù)。是產(chǎn)出對(duì)勞動(dòng)投入的彈性系數(shù)。度量在資本投入保持不變時(shí)，勞動(dòng)投入增加度量在資本投入保持不變時(shí)，勞動(dòng)投入增加1%1%時(shí)，產(chǎn)時(shí)，產(chǎn)出增加的百分比。出增加的百分比。表示規(guī)模報(bào)酬。表示規(guī)模報(bào)酬。1 ， 表示規(guī)模報(bào)酬遞減，即表示規(guī)模報(bào)酬遞減，即1 1倍的投入帶來(lái)少倍的投入帶來(lái)少 于于1 1倍的產(chǎn)出。倍的產(chǎn)出。1 ， 表示規(guī)模報(bào)酬不變，即表示規(guī)模報(bào)酬不變，即1 1倍的投入帶來(lái)倍的投入帶來(lái) 倍的產(chǎn)出。倍的產(chǎn)出。1 ， 表示規(guī)模報(bào)酬遞增，即表示規(guī)模報(bào)酬遞增，即1 1倍的投入帶來(lái)大倍的投入帶來(lái)大 于于1

12、1倍的產(chǎn)出。倍的產(chǎn)出。對(duì)對(duì)c-dc-d生產(chǎn)函數(shù)，我們可以按兩種形式設(shè)定隨機(jī)誤差項(xiàng)生產(chǎn)函數(shù)，我們可以按兩種形式設(shè)定隨機(jī)誤差項(xiàng)（1 1）乘性誤差項(xiàng)）乘性誤差項(xiàng)（2 2）加性誤差項(xiàng)）加性誤差項(xiàng)yak lyak l e乘性誤差項(xiàng)，可以線性化乘性誤差項(xiàng)，可以線性化兩邊取對(duì)數(shù)兩邊取對(duì)數(shù)線性形式線性形式線性回歸線性回歸加性誤差項(xiàng)，不可以線性化加性誤差項(xiàng)，不可以線性化用非線性最小二乘法求解用非線性最小二乘法求解參數(shù)估計(jì)參數(shù)估計(jì)線性化方法：線性化方法：log( )log() log( )lsy ckl非線性化方法非線性化方法(1)* (2)* (3)lsyckclc注：注：用非線性最小二乘法估計(jì)參數(shù)操作與普通最小二用非線性最小二乘法估計(jì)參數(shù)操作與普通最小二乘法基本相同，只是方程估計(jì)窗口或命令行中，模型乘法基本相同，只是方程估計(jì)窗口或命令行中，模型必須以方程的形式出現(xiàn)，沒(méi)有簡(jiǎn)化相形式。必須以方程的形式出現(xiàn)，沒(méi)有簡(jiǎn)化相形式。 y 國(guó)內(nèi)生產(chǎn)總值（國(guó)內(nèi)生產(chǎn)總值（gdp）