基于多元線性回歸的多參數預測模型

1多元線性回歸模型多元線性回歸是多元統計分析的重要方法，在社會、經濟、技術和科學領域的研究中得到了廣泛應用。在這項工作中，我們應該討論的問題是，如何建立一種基于時間順序收集的采樣數據，以及分析評估指標的動態變化規律，例如估計標準偏差以及調整后的復合測量系數。設因變量為y,自變量集合為x1,x2,…,xp,樣本容量為n.記n×(p+1)維的矩陣X=(1,x1,x2,…,xp),該矩陣的第一列中的元素均等于1,以及增廣矩陣為Z=(X,y).根據多元線性回歸方法,回歸系數以及各種模型評估參數的計算都取決于增廣矩陣Z=(X,y)的叉積陣:V=(X′XX′yy′Xy′y)由此可見,建立多元線性回歸預測模型的關鍵技術是,如何對叉積陣進行預測建模.叉積陣V是一個對稱矩陣.根據代數學理論,通過譜分解,總可以將其分解成特定的特征值對角矩陣和特征向量矩陣.從幾何的觀點來看,如果將矩陣Z=(X,y)描述的數據看成是(p+2)維空間中n個樣本點的集合,則它們形成一個超橢球.并且其叉積陣V的特征向量矩陣依次指出該橢球最長的主軸、次長的主軸,……,最短的主軸.而特征值則從大到小排序,表示該超橢球在每一個主軸上的軸長范圍.由此可見,對叉積陣V的預測可以分解成兩個部分,一是超橢球的主軸會隨著時間發生旋轉運動;同時,該橢球的各個軸長也會隨時間呈現拉伸或縮短的變化規律.關于高維空間群點主軸旋轉的預測建模技術已經有了一些適用的方法.王惠文和劉強曾在分析多元數據的主軸旋轉規律的文章中,給出一種標準正交的特征向量矩陣的預測建模方法.而對于特征值的預測,由于不存在特殊的約束,因此只需要應用經典的預測模型分別預測即可.在本文中,將把多元線性回歸與高維空間群點主軸旋轉預測建模方法有機的結合起來,最終實現對多元線性回歸的預測建模研究.2[0sin0sin0.pp[jx]0.cojj]0.coj[0.cojx[3]高維群點主軸旋轉的預測方法是多元線性回歸預測建模的關鍵技術.實際上,它又可以簡單地看成是對標準正交矩陣的預測方法,即根據已知1～T時刻的標準正交矩陣,預測T+l時刻的標準正交矩陣.設t時刻的標準正交矩陣為Gt=(ut1ut2?utp)∈Rp×pRp×p表示p×p維實空間.按照Givens變換,它可以通過以下12p×(p-1)步轉動獨立唯一地分解為Gt=(Gt12Gt13?Gt1p)(Gt23Gt24?Gt2p)?(Gtp-1,p)(1)其中Gtij=Gtij(?tij)=ij(Ι0?0?000cos?tij?0?-sin?tij0???????00?Ι?00???????0sin?tij?0?cos?tij000?0?0Ι)p×p[JX*4]ij(2)其中,矩陣上側和右側的i,j分別表示第i,j行和列;-π2≤?tij≤π2(1≤i<j≤p),并且所有的?tij(1≤i<j≤p)自由取值.這樣,對于一個p維正交矩陣Gt的預測就歸結為對矩陣相應轉角?tij(1≤i<j≤p)的預測.下面給出正交矩陣預測建模的主要步驟.1)記Gt1=Gt=(ut1ut2?utp)def(v1t1v1t2?v1tp)其中,v1t1=(v1t11,v1t12,…,v1t1p)′是矩陣Gt1的第1列.根據文獻的推導,可以求出?t1p=arcsinv1t1p?t1k=arcsin{v1t1kcos?t1p?cos?t1,k+1}k=2,3,?,p-1(3)2)根據式(2),由?t1j可以計算出Gt1j=Gt1j(?t1j)(j=2,3,…,p).于是,記Gt2=(Gt1p)′?(Gt12)′Gt1=(v2t1v2t2?v2tp)其中,v2t2=(v2t21,v2t22,…,v2t2p)′是矩陣Gt2的第2列.可以求出?t2p=arcsinv2t2p?t2k=arcsin{v2t2kcos?t2p?cos?t2,k+1}k=3,4,?,p-1(4)依次類推,最后定義Gtp-1=(Gtp-2,p)′(Gtp-2,p-1)′Gtp-2=(v(p-1)t1v(p-1)t2?v(p-1)tp)則最終有?tp-1,p=arcsinv(p-1)tp-1,p(5)3)根據前兩步計算得到的轉角數據{?tij,t=1,2,?,Τ},分別建立12p(p-1)個預測模型,例如?tij=fij(t)+εtij1≤i<j≤p(6)并預測第T+l時刻的轉角??Τ+lij=fij(Τ+l)l=1,2,?(7)4)根據角度的預測值,并利用式(1)和式(2),可以求得第T+l時刻預測的正交矩陣?GΤ+l=(uΤ+l1uΤ+l2?uΤ+lp).3多元線性回歸模型為了討論多元線性回歸的預測建模方法,本節首先簡要介紹經典多元線性回歸方法.設樣本點容量為n,t時刻的因變量為yt,p個自變量為xtj(j=1,2,…,p),則總體線性回歸模型的形式為yti=β0+βt1xti1+?+βtpxtip+εtii=1,2,?,n(8)記yt=(yt1yt2?ytn)n×1βt=(βt0βt1?βtp)(p+1)×1Xt=(1xt11xt12?xt1p1xt21xt22?xt2p?????1xtn1xtn2?xtnp)n×(p+1)則增廣矩陣(Xt,yt)的叉積陣Vt為Vt=((Xt)′Xt(Xt)′yt(yt)′Xt(yt)′yt)=(Vt11Vt12Vt21Vt22)(9)回歸系數βt的最小二乘估計量為?βt=(Vt11)-1Vt12(10)還可以證明,t時刻的SSSE和SSST值分別如式(11)和式(12)所示.StSSE=Vt22-Vt21(Vt11)-1Vt12(11)StSSΤ=Vt22-1n(Vt12,1)2(12)其中Vt12?1是Vt12的第一個分量.根據式(11)和式(12),t時刻的擬合優度(調整的復測定系數)為ˉR2t=1-StSSE/(n-p-1)StSSΤ/(n-1)(13)同時,有t時刻的估計標準誤差為Ste=√1n-p-1StSSE(14)根據前面介紹的關鍵技術,下面給出多元線性回歸的預測建模方法.1)計算t(t=1,2,…,T)時刻增廣矩陣(Xtyt)的叉積陣Vt;2)計算Vt的特征值λt1≥λt2≥…≥λtp+2≥0和對應的標準正交特征向量ut1,ut2,…,utp+2(t=1,2,…,T);3)根據1～T時刻叉積陣Vt的特征向量陣,采用正交矩陣預測方法,預測T+l時刻的特征向量矩陣(uΤ+l1uΤ+l2…uΤ+lp+2);4)根據1～T時刻叉積陣Vt的特征值,應用時序分析方法,分別預測T+l時刻的特征值(λΤ+l1,λΤ+l2,…,λΤ+lp+2);5)根據上兩步的計算結果,計算出T+l時刻的叉積陣VT+l為VΤ+l=(uΤ+l1uΤ+l2?uΤ+lp+2)?(λΤ+l10000λΤ+l2?0????00?λΤ+lp+2)?(uΤ+l1uΤ+l2?uΤ+lp+2)′6)根據式(10),可得到T+l時刻的回歸參數的估計量?βΤ+l;7)根據式(11)～式(14),可計算T+l時刻的回歸模型的擬合優度ˉR2Τ+l和估計標準誤差SΤ+le.4多元回歸模型擬合在本仿真案例中,取自變量維數為3,每個時刻的樣本數為n=30,按照如下方式生成t=1～10個時刻的歷史數據表:首先,生成[-1,1]上均勻分布的獨立隨機數[x01x02x03]30×3;然后,根據[x01x02x03]30×3生成[xt1xt2xt3](t=1,…,10),其中{xt1=x01+0.02txt2=x02+0.01txt3=x03+0.03t最后,按照yt=-1+0.2t·xt1+0.1t·xt2-0.3t·xt3+εt,生成因變量yt.其中,εt～N(0,0.01)為隨機誤差項.需要說明的是,由于本文所研究的是多元回歸的動態建模預測問題,因此,需要考慮變量以及模型(回歸系數)隨時間t的變化特征;為此,在構造自變量和因變量的仿真數據時,采用了上述方式生成具有時序變化規律(這里以線性趨勢為例)的歷史數據表.下面將采用t=1～10時刻的仿真數據,按照第3部分的方法進行多元回歸預測建模,對歷史的自變量與因變量的回歸關系進行擬合,并根據擬合模型預測t=11時刻的多元回歸模型,評價模型的擬合、預測精度,驗證模型的擬合、預測結果的合理可靠性.具體建模步驟如下:1)計算t=1～10時刻樣本數據的叉積陣Vt,及其對應的特征值(λt1λt2…λt5)和標準正交特征向量矩陣(ut1ut2…ut5);并采用正交矩陣轉角分解方法,得到(ut1ut2…ut5)對應的轉角?tij(1≤i<j≤5).2)根據t=1～10時刻λjt(1≤i<j≤5)的計算值,建立每個特征值的時序擬合模型.并根據這些模型計算t=11時刻的預測特征值.所得到特征值λjt(1≤i<j≤5)的擬合值和預測值如圖1所示.在圖1中,實心點表示根據已知數據計算得到的實際特征值,虛線表示采用預測模型得到的特征值的擬合值.3)根據t=1～10時刻轉角?ijt(1≤i<j≤5)的計算值,分別建立每個轉角的時序擬合模型.并根據這些模型計算t=11時刻的預測的轉角值.所得到轉角?ijt(1≤i<j≤5)的擬合值和預測值如圖2所示.在圖2中,實心點表示根據已知數據計算得到的實際特征值,虛線表示采用預測模型得到的特征值的擬合值.4)根據轉角擬合模型,計算叉積陣的特征向量矩陣(u1tu2t…u5t)的擬合值.表1列出了t=10時刻叉積陣的特征值和特征向量的計算值、擬合值,以及t=11時刻的預測值.5)根據特征值和特征向量的擬合值,可以計算各時刻的叉積陣Vt的擬合值.表2為t=10時刻叉積陣的計算值和擬合值,以及t=11時刻的預測值.6)計算各時刻的調整的復測定系數和估計標準誤差,見表3.從表3可以看出,t=1～10時刻,回歸模型的擬合精度較高,調整的復測定系數(Rˉ2)始終高于0.8,且隨時間呈明顯上升趨勢;而估計標準誤差Se在0.1附近波動.預測t=11時刻模型的調整的復測定系數為0.999,回歸標準誤為0.023.從表3可以看出,動態多元線性回歸模型的整體擬合效果較好,擬合優度較高,采用預測方法得到的Rˉ2和Se與實際值十分接近.因此可以判斷,對t=11時刻的回歸模型的評估指標Rˉ2,Se的預測也是可信的.7)計算各時刻多元回歸預測模型的回歸系數.表4為t=10時刻回歸系數的計算值和擬合值,以及t=11時刻的預測值.更直觀的,給出t=1～11時刻多元線性回歸模型系數的時序圖,如圖3所示.其中,實心點表示實際計算值,虛線為擬合值,空心點為預測值.綜上所述,從上述計算過程中,從所得到的相應參數的實際值和擬合值可以看出,本文所建立的多元線性回歸分析的時序動態模型的擬合效果較好,預測結果合理可靠.5仿真實驗和理論探討本文討論了如何利用歷史的樣本數據,建立多元線性回歸的動態分析模型,并對回歸系數進行預測.在該模型中,主要采用正交矩陣主軸旋轉的預測建模方法,實現對叉積陣的預測建模.運用多元線性回歸的預測模型,可以在無須對未來系統采樣的情況下,推測未來的回歸系數及模型精度.另一方面,從該模型中,還可以識別解釋變量對因變量影響程度的動態規律以及變化趨勢.通過仿真實驗,驗證了