1、1慣性儀器測試與數據分析慣性儀器測試與數據分析西北工業大學 自動化學院嚴恭敏 2015-092第六章第六章 時間序列分析時間序列分析 主要內容： 一、隨機過程的基本概念 二、arma模型及其特點 三、arma建模分析 3第六章第六章 時間序列分析時間序列分析 4一、隨機過程的基本概念一、隨機過程的基本概念 1、隨機向量 在概率論中，隨機變量 用來描述隨機事件，可分為續型隨機變量，離散型隨機變量。（1）隨機變量x 使用概率密度函數、概率分布函數、特征函數及數字特征（均值、方差和矩等）等數學語言描述。（2）隨機向量t21,.,nxxxx由 n 個隨機變量組成一組向量： t21t21,.,)(),.

2、,(),()(xnxxnxxexexeex2212221212121t.),(cov),(cov.),(cov.),(cov),(cov.),(cov)()(xnnnnxnxxxxxxxxxxxxxxxedxxx均值向量 方差矩陣 )(),(covxjjxiijixxexx),(cov)(2iiixixxxd),.,2 , 1()(nixeixi5一、隨機過程的基本概念一、隨機過程的基本概念 2、隨機過程與時間序列 r1r2rnx1(t)x2(t)xn(t)0 x1(t)t0 x2(t)t0 xn(t)t.x1(t1)x1(t2)x1(tj).x2(t1)x2(t2)x2(tj)xn(tj)x

3、n(t2)xn(t1)電阻熱噪聲電壓 a）每只 電阻電壓隨時間是一條隨機波動的曲線 ),.,2 , 1(),(nitxib）在同一特定 時刻各個電阻的電壓值各不相同jt)(),.,(),(21jnjjtxtxtxi樣本曲線（軌跡、現實）隨機變量 取值 )(jtxa）所有樣本函數的集合構成了一個隨機過程； （3）隨機過程 定義：)(tx),.(),.,(),(21ntxtxtx)(),.,(),(21jnjjtxtxtx6一、隨機過程的基本概念一、隨機過程的基本概念 2、隨機過程與時間序列 隨機變量取值（4）隨機過程分類與時間序列時間參數取值連續離散連續離散時間序列 使用a/d轉換器對熱電阻電壓

4、進行等間隔 采樣，假設a/d分辨率足夠高忽略量化誤差影響stt),.(),.,2(),(sssntxtxtxx將采樣周期歸一化處理，常將時間序列記為 ,.2, 1, 0),(nnx 時間序列就是按照時間的先后順序記錄的一列有序數據，這些數據由于受到各種偶然因素的影響，往往表現出某種隨機性，但彼此之間又存在一定的相關性； 時間序列分析就是對時間序列進行觀察、研究，揭示其蘊含的內在規律，進而根據變化規律預測走勢或實施控制。 時間序列分析方法大體可分為時域和頻域兩種分析方法。時域分析方法主要從序列自相關的角度揭示時間序列的發展規律；頻域分析方法也稱為頻譜分析，從頻率角度揭示時間序列的規律。 7一、隨

5、機過程的基本概念一、隨機過程的基本概念 2、隨機過程與時間序列 （5）時間序列的數字特征均值序列 niinxnxnnxen1)(1lim)()(自協方差函數 )()()()(1lim)()()()()(),(cov),(2121122112121nnxnnxnnnxnnxenxnxnncxniixinxxx自相關系數函數 )()(),(),(22122121nnnncnnxxxx方差函數 )()()()(22nnxenxdnxx自相關函數 niiinxnxnxnnxnxennr1212121)()(1lim)()(),()()(),(),(212121nnnnrnncxxxx1),(1),(1

6、21nnnnxx恒等式 22()() ()d xe xe x8一、隨機過程的基本概念一、隨機過程的基本概念 3、平穩性與各態遍歷性 （1）嚴平穩過程（狹義平穩過程）隨機過程的所有概率統計性質不隨時間原點推移而變化，要求過于苛刻，不利于理論分析和實際應用。（2）寬平穩過程（廣義平穩過程或二階矩平穩過程 ） 在所有時刻上，均值序列和方差序列都是常值，且方差有限，即 和 ； 自相關函數與時間起點無關，而只與時間間隔 有關，即xxn)(22)(xxn)(), 0(),(21xxxrrnnr12nn 例如，白噪聲序列 是理論分析中一種理想化的最基本的平穩序列)(nwwnwe)(000)(2ww),()(

7、2wwwnnw正態分布，高斯白噪聲常記作 )(nw)()(xxrr偶對稱9一、隨機過程的基本概念一、隨機過程的基本概念 3、平穩性與各態遍歷性 （3）各態遍歷平穩過程 對于平穩過程，實際工作中通常很難取得足夠多的樣本用來分析隨機過程的總體特性，有時也是沒有必要的，所以常常只用少量甚至一個樣本函數進行分析，這就涉及到一個樣本函數的特性能否代表和估計隨機過程總體特性的問題。 若滿足所有樣本函數在某一固定時刻的一階和二階統計特性與單一樣本函數在長時間的統計特性一致則稱為各態遍歷平穩隨機過程，即 ximmnimxnxmnxe)(121lim)()()()(121lim)()()(mrnxnxmnxnx

8、erximmniim集總平均 = 時間平均 提出各態遍歷性目的：計算方便，但針對實際問題證明困難，經驗上：主要物理條件隨時間基本不變，各樣本隨機影響因素基本相同。 簡記作 ，可表示 1.時間序列總體 2.某一樣本 3. 時刻樣本值 )(nx)(nxn10一、隨機過程的基本概念一、隨機過程的基本概念 3、平穩性與各態遍歷性 2212()0 0.5 1 0.50.5()(00.5)0.5(1 0.5)0.50.25( ,)xe xd xcn n 舉例11二、二、arma模型及其特點模型及其特點 建立模型意義：a）獲得一些重要的模型參數，有助于深入了解研究對象，為進一步改進研究對象提供依據；b）通過

9、建立研究對象的數學表達式，是更好地發揮研究對象的使用性能的基礎，特別是在使用現代最優控制和最優估計理論解決實際問題時，對傳感器進行隨機測量誤差建模分析具有重要意義。 （1）arma(p,q)、ma(q)與ar(p)模型定義 以零均值高斯白噪聲序列 作為時間序列分析的最基本組成單元，一般各態遍歷平穩時間序列 使用白噪的線性組合聲來表示。 ), 0()(2wnnw)(nx)(nx)(nw)(zh 線性時不變離散系統（數字濾波器，arma模型）)()()(zwzhzxpkkkqkkkzazbzazbzh1111)()()(pkkkzaza11)(qkkkqkkkzbzbzb011)(特征根 1rz1

10、2二、二、arma模型及其特點模型及其特點 a) arma(p,q) 模型（自回歸-滑動平均模型 ）qkkpkkqpknwbknxaqnwbnwbnwbnwpnxanxanxanx012121)()()(.)2() 1()()(.)2() 1()(pkkkqkkkzazbzazbzh1111)()()(觀測值 與既往p個觀測 存在相關性，并且除 外與既往q個噪聲 也存在相關性 )(nx)(),.,2(),1(pnxnxnx)(nw)(),.,2(),1(pnwnwnwb) ma(q) 模型（滑動平均模型 ）qkkqknwbqnwbnwbnwbnwnx021)()(.)2() 1()()(0pc

11、) ar (p) 模型（自回歸模型 ）)()()()(.)2() 1()(121nwknxanwpnxanxanxanxpkkp0q滑動平均系數 自回歸系數 13二、二、arma模型及其特點模型及其特點 （2）ma(q) 模型特點qhqhbbhjnwbknwbehnxnxehhqkhkkqjjqkkx00)()()()()(0200自協方差函數 qkkpknwbqnwbnwbnwbnwnx021)()(.)2() 1()()(自相關系數函數 qhqhbbbhhqkkhqkhkkx00)/()(01)(020q步截尾 )(.)2() 1 (1)0(.11.0021211212

12、qbbbbbbbbbxxxxqqqq矩陣形式 相關分析：已知 求2,kb)0(),.,2 , 1(),(xqhh模型辨識：已知 求)0(),(xh2,kb01230123( )( )(1)(2)(3)(2)(2)(1)( )(1)x nb w nbw nb w nb w nx nb w nbw nb w nb w n14二、二、arma模型及其特點模型及其特點 （3）ar(p) 模型特點自協方差函數 自相關系數函數 矩陣形式 )()()()( )()()()()()()()(111hkhahnwnxekhnxanxehnwkhnxanxehnxnxehxwpkxkpkkpkkx)()()()(

13、.)2() 1()(121nwknxanwpnxanxanxanxpkkp000)(2hhhxw)0()()()(1xwpkxkxhkhah)0()(121xpkxkka)(.)2() 1 (.1.)2() 1(.)2(.1) 1 () 1(.) 1 (121paaappppxxxpxxxxxxxxa簡記為 ，即尤爾沃克方程（y-w方程） 相關分析：已知 求2,ka)0(),.,2 , 1(),(xqhh模型辨識：已知 求)0(),(xh2,ka15二、二、arma模型及其特點模型及其特點 ar(p)自相關系數函數拖尾性 pkxkxkmam1)()()0()()()(1xwpkxkxhkhah

14、pm),.,2 , 1(),(phh如 已知，當 時 研究表明， 按負指數函數衰減，理論上是無限延伸趨于0的，這種性質稱為拖尾性。 )(mx為了判斷ar（p）過程的階數，引入偏自相關系數函數定義 )( )()( )()( )(),( )(cov)(knxknxdnxnxdknxknxnxnxkx11)()( kiiinxnx11)()( kiiiknxknx其中含義：扣除中間量 的影響后， 與 之間的相關性。) 1(),.2(),1(knxnxnx)(nx)(knx為最佳線性估計系數；ii,16二、二、arma模型及其特點模型及其特點 按定義不好計算，研究發現 恰好與k階y-w方程的解系數 完

15、全相同)(.)2() 1 (.1.)2() 1(.)2(.1) 1 () 1(.) 1 (121kkkkkxxxkkkkxxxxxx)(kxkk顯然 是 的函數。 kk)(),.,2(),1 (kxxx容易驗證這兩個特例 和 ，并且 。) 1 (11xpppa)( , 0pkkk因此，ar(p)過程的偏自相關系數函數是p步截尾的，這是用它作為過程階數判斷的重要標志。偏自相關系數函數的定義和計算方法也適用于ma(q)過程，但它按負指數函數衰減，也就是說ma(q)偏自相關系數函數具有拖尾性質ar(p)ma(q)對偶性自相關系數q步截尾偏自相關系數拖尾自相關系數拖尾偏自相關系數p步截尾17二、二、a

16、rma模型及其特點模型及其特點 例6.2-1 假設ar(1)模型 ，白噪聲 ，試求該模型的自相關系數函數和偏自相關系數函數。 )() 1()(1nwnxanx), 0()(2wnnw解： 1)0(x首先 其次大于等于1階時由遞推方程 )0()()()(1xwpkxkxhkhah,.)5 , 4 , 3() 1()(.) 1 ()2()0() 1 (1121111kakakaaaakxxxxxx,.)2 , 1 , 0()(1kakkx212211)0()0() 1 (1aaxxx自協方差綜合18二、二、arma模型及其特點模型及其特點 直接由偏自相關系數函數性質 和 得 ) 1 (11xppp

17、a111) 1 (ax當k1時0kk)2() 1 (01) 1 () 1 (11xxxxa可以驗證 ar(1)過程也稱為一階馬爾科夫過程（markov過程），主要特點是當前時刻觀測值僅與相鄰的前一時刻觀測值存在相關性。/1stea)() 1()(1nwnxanx)() 1()(/nwnxenxst序列采樣周期，相關時間常數，反相關時間常數（單位1/s），序列相關長度，含義 st0/1/stn) 1()(.) 1()(nkxnkxkxkx當 時 ，此時ar(1)過程與白噪聲非常接近。1n37. 0/11nea19二、二、arma模型及其特點模型及其特點 在ar(1)中令 ，考慮隨機過程模型由于對

18、應傳遞函數的分母特征根 在單位圓上，因此該模型不屬于平穩過程。特點：當前觀測值完全由上一時刻觀測值加上現時噪聲決定隨機游走。11a)() 1()(nwnxnx1rz假設 0)0(x0, )()(1nkwnxnk則 nkxkwenxen10)()()(212 )()()(nkwdnxdnnkx)() 1()(1nwnxanx)() 1()(nwnxnx)()(nwnx01a11a（一階馬爾科夫）（隨機游走）（白噪聲）非平穩過程三者關系：20二、二、arma模型及其特點模型及其特點 % matlab ar(1)仿真a1 = 0.95; % ar(1)參數sigma = 1; % 噪聲均方差n =

19、100; % 仿真長度wn = sigma*randn(n,1); % 白噪聲序列x = wn; % 初始值for n = 2:n x(n) = a1*x(n-1) + wn(n);endplot(x,b), grid on, hold on % 數據圖xlabel(n); ylabel(x);ar(1)過程的matlab仿真程序21(1) a1=0.37 (2) a1=0.95(3) a1=0.0 (4) a1=1.022(1) ar(1): a1=-0.95 (2) ar(1): a1=0.95(3) ma(1): b1=-0.95 (4) ma(1): b1=0.9523二、二、arma

20、模型及其特點模型及其特點 例6.2-2 假設ar(2)模型 ，白噪聲 ，試求該模型的自相關系數函數和偏自相關系數函數。 ), 0()(2wnnw解： 1)0(x首先 其次根據2階y-w方程 211) 1 (aax最后高于1階時由遞推方程 )()2() 1()(21nwnxanxanx)2() 1 (1) 1 () 1 (121xxxxaa,.)3 , 2()2() 1()(21kkakakxxx直接由偏自相關系數函數性質得 和 21111) 1 (aax222a)2(0kkk12112211)2(111111)(zczczazazhar1111zc1211zc)(nw)(nx)(nyar(2)

21、的級聯表示：)() 1()()() 1()(21nynxcnxnwnycny狀態方程24二、二、arma模型及其特點模型及其特點 （4）arma(p,q) 模型特點qkkkmazbzh11)(0111)(kkkpkkkarzczazh有限項級數之和（自相關系數函數截尾）無窮級數之和 （自相關系數函數拖尾）00111)1 (11)(kkkkkkqkkkpkkkqkkkarmazdzczbzazbzh模型名稱ar(p)ma(q)arma(p,q)自相關系數函數拖尾q步截尾拖尾偏自相關系數函數p步截尾拖尾拖尾arma(p,q)模型特點 無窮級數之和 白噪聲截尾截尾25三、三、arma建模分析建模分析

22、 傳統數字濾波器 處理確定性信號仔細設計濾波器的結構和參數 近乎完美的帶通和快速起伏性能 偏好于iir濾波器 arma有色噪聲成形濾波器 處理隨機信號 觀測時間序列樣本還是有限，隨機性和帶誤差成形濾波器設計 “粗糙”偏好于低階ar模型（1）傳統數字濾波器與arma建模比較26三、三、arma建模分析建模分析 （2）arma建模流程觀測序列 y(n)作圖直觀分析趨勢項提取m(n)周期項提取s(n)模型識別ar(p)/ma(q)/arma(p,q)計算樣本自相關系數函數和偏相關系數函數模型參數估計適用性檢驗模型應用x(n)27三、三、arma建模分析建模分析 （3）樣本統計特性 樣本均值 樣本自協

23、方差函數 設 是含n個數據的一個時間序列樣本，則樣本自相關系數函數 )0(/ )()(xxxhh樣本偏自相關系數函數（durbin遞推公式）kjjjkkjkkkkjkjkkjkjxkjkjxxkkx,.,2 , 1)(1)1() 1() 1 (1,1, 1, 1111, 111;.,;,;,;43424144323133212211遞推計算順序 nkxkxn1)(1)(),.,3(),2(),1 (nxxxxnhkxhkxnhhnkxxx0, )()(1)(128三、三、arma建模分析建模分析 （4）樣本數據預處理（平穩化處理） 測試數據 典型分解式 )()()()(nxnsnmny)(ny

24、趨勢項 周期項 平穩序列 趨勢項提取 最小二乘法 k階差分法（消除k次多項式趨勢） 周期項提取 功率譜密度（psd）分析（檢驗是否存在周期項） d步差分法（去除周期d） 平穩性檢驗：特點不隨時間變化的均值、方差和自相關系數函數等統計量。有時序圖檢驗方法和相關圖檢驗方法。)( )()()(nsnmnynx隨機序列結果29三、三、arma建模分析建模分析 （5）arma模型識別（確定模型類別 ） 模型識別依據arma模型（偏）自相關系數截尾/拖尾特點。當樣本數據量n充分大時，以有限序列樣本代替總體統計特性，結論：根據學者bartlett（1946）的研究,如果當kq時 成立，則表示 是q步截尾的，

25、判斷為ma(q)模型。 )(hxqlxxlnk12)(212)(ma(2)序列的自相關系數函數 30三、三、arma建模分析建模分析 （5）arma模型識別（確定模型類別 ）根據學者quenouille（1949）的研究,如果當kp時 ，則表示 是p步截尾的，判斷為ar(p)模型。nkk2kkar(2)序列的偏自相關系數函數 在模型識別時，一般原則是先進行ar(p)模型分析，力求近似為ar(p)模型，如果實在不行或者階數太高，再考慮使用ma(q)和arma(p,q)模型。在matlab/financial工具箱的函數parcorr()、autocorr()、aryule()和tsmovavg()，可方便用于ar和ma時間序列建模分析。31三、三、arma建模分析建模分析 （6）ar(p)模型參數估計 模型參數 )(.)2() 1 (.1.)2() 1(.)2(.1) 1 () 1(.) 1 (121paaappppxxxpxxxxxxia 白噪聲方差2)0()(121xpkxkka（7）后續工作 適用性檢驗；模型優化；適應性評估；arma模型轉化為狀態空間模型。32三、三、arma建模分析建模分析 （8）ma(q)模型參數估計 遞推公式： )(.)2() 1 (1)0(.11.0021211212qbbbbbbb