1、一、用法，用來干什么，什么時候用二、步驟，前因后果，算法的步驟，公式三、程序四、舉例五、前面國賽用到此算法的備注一下馬氏鏈模型用來干什么馬爾可夫預測法是應用概率論中馬爾可夫鏈(Markov chain )的理論和方法來研究分析時間序列的變化規(guī)律，并由此預測其未來變化趨勢的一種預測技術(shù)。什么時候用應用馬爾可夫鏈的計算方法進行馬爾可夫分析，主要目的是根據(jù)某些變量現(xiàn)在的情況及其變動趨向，來預測它在未來某特定區(qū)間可能產(chǎn)生的變動，作為提供某種決策的依據(jù)。馬爾可夫鏈的基本原理我們知道，要描述某種特定時期的隨機現(xiàn)象如某種藥品在未來某時期的銷售情況，比如說第n季度是暢銷還是滯銷，用一個隨機變量Xn便可以了，但

2、要描述未來所有時期的情況，則需要一系列的隨機變量 Xi，X2,，Xn，.稱 Xt，t T，T是參數(shù)集為隨機過程， X 的取值集合 稱為狀態(tài)空間若隨機過程 Xi 的參數(shù)為非負整數(shù)，Xn為離散隨機變量，且 Xn 具有無后效性(或稱馬爾可夫性)，則稱這一隨機過程為馬爾可夫鏈(簡稱馬氏鏈)所謂無后效性，直觀地說，就是如果把 Xn 的參數(shù)n看作時間的話， 那么它在將來取什么值只與它現(xiàn)在的取值有關(guān)，而與過去取什么值無關(guān).對具有N個狀態(tài)的馬氏鏈， 描述它的概率性質(zhì)，最重要的是它在 n時刻處于狀態(tài)i下一時刻轉(zhuǎn)移到狀態(tài)j的一步轉(zhuǎn)移概率：P(X j |Xn i) Pij(n)i, j 1,2, N若假定上式與n無

3、關(guān)，即卩門(0) Pij(1)Pij(n)，則可記為卩門(此時，稱過程是平穩(wěn)的)，并記P11P12P1 NP21P22P2NP( 1 )Pn 1PN2PN N稱為轉(zhuǎn)移概率矩陣.轉(zhuǎn)移概率矩陣具有下述性質(zhì)：(1)Pi j 0, i, j 1, 2, N .即每個元素非負.N(2)Pij 1, i 1, 2, N .即矩陣每行的元素和等于如果我們考慮狀態(tài)多次轉(zhuǎn)移的情況，則有過程在 步轉(zhuǎn)移概率：n時刻處于狀態(tài)i， n+k時刻轉(zhuǎn)移到狀態(tài)j的kP（Xnk j |Xn i） p（k）（n） i,j 1,2, ,N同樣由平穩(wěn)性，上式概率與n無關(guān)，可寫成 p（k）.記(k) P11(k) P12(k)P1Np(

4、k)(k) P21(k) P22(k)P2N(k)PN1(k)PN2(k)Pnn(2)稱為k步轉(zhuǎn)移概率矩陣.其中 pi（k）具有性質(zhì):p(k)0, i,j 1,2,N,N ；p(k)1, i 1,2,j 1一般地有，若p為一步轉(zhuǎn)移矩陣，則k步轉(zhuǎn)移矩陣(k)P11Jk)P12Jk)P1 Np(k)(k)P21(k)P22(k)P2N(k)pN1(k) pN 2(k) pN N（2）狀態(tài)轉(zhuǎn)移概率的估算(3)估算的方法通常有兩種：一是主對事件發(fā)生的可能性大小的一現(xiàn)通過實例介紹如下.例3記錄了某抗病毒藥的陣.在馬爾可夫預測方法中，系統(tǒng)狀態(tài)的轉(zhuǎn)移概率的估算非常重要.觀概率法，它是根據(jù)人們長期積累的經(jīng)驗以

5、及對預測事件的了解, 種主觀估計，這種方法一般是在缺乏歷史統(tǒng)計資料或資料不全的情況下使用二是統(tǒng)計估算法,6年24個季度的銷售情況，得到表 1 試求其銷售狀態(tài)的轉(zhuǎn)移概率矩表1某抗病毒藥24個季度的銷售情況季度銷售狀態(tài)季度銷售狀態(tài)季度銷售狀態(tài)季度銷售狀態(tài)11 （暢銷）71（暢銷）131（暢銷）192（滯銷）21（暢銷）81（暢銷）141（暢銷）201（暢銷）32（滯銷）91（暢銷）152（滯銷）212（滯銷）41（暢銷）102（滯銷）162（滯銷）221（暢銷）52（滯銷）111（暢銷）171（暢銷）231（暢銷）62（滯銷）122（滯銷）181（暢銷）241（暢銷）分析表中的數(shù)據(jù)，其中有 15個

6、季度暢銷，9個季度滯銷，連續(xù)岀現(xiàn)暢銷和由暢銷轉(zhuǎn)入滯銷以及 由滯銷轉(zhuǎn)入暢銷的次數(shù)均為7,連續(xù)滯銷的次數(shù)為 2由此，可得到下面的市場狀態(tài)轉(zhuǎn)移情況表（表 2）.表2市場狀態(tài)轉(zhuǎn)移情況表現(xiàn)計算轉(zhuǎn)移概率以頻率代替概率，可得連續(xù)暢銷的概率P11連續(xù)出現(xiàn)暢銷的次數(shù)出現(xiàn)暢銷的次數(shù)15 10.5分母中的數(shù)為15減1是因為第24季度是暢銷，無后續(xù)記錄，需減1 同樣得由暢銷轉(zhuǎn)入滯銷的概率：暢銷轉(zhuǎn)入滯銷的次數(shù)出現(xiàn)暢銷的次數(shù)7151 .5滯銷轉(zhuǎn)入暢銷的概率:滯銷轉(zhuǎn)入暢銷的次數(shù)p?1“1出現(xiàn)滯銷的次數(shù)0.78連續(xù)滯銷的概率:p22連續(xù)滯銷的次數(shù) 出現(xiàn)滯銷的次數(shù)0.22綜上,得銷售狀態(tài)轉(zhuǎn)移概率矩陣為:p11 p120.50.

7、5P21P220.78 0.22所求轉(zhuǎn)移概率矩陣從上面的計算過程知，即將表中數(shù)分別除以該數(shù)所在行的數(shù)字和便可:7P的元素其實可以直接通過表2中的數(shù)字計算而得到,77777772277PiiPl2p21p22程序:Matlabformat ratclca= 1 1 2 1 2 2 1 1 1 2 1 2,1 1 2 2 1 1 2 1 2 1 1 1;for i=1:2for j=1:2f(i,j)=le ngth(fi ndstr(i j,a);endendfni=(sum(f)for i=1:2p(i,:)=f(i,:)/ni(i);endP由此，推廣到一般情況，我們得到估計轉(zhuǎn)移概率的方法：

8、假定系統(tǒng)有m種狀態(tài)Si, S2，Sm,根據(jù)系統(tǒng)的狀態(tài)轉(zhuǎn)移的歷史記錄，得到表3的統(tǒng)計表格，以 ?ij表示系統(tǒng)從狀態(tài)i轉(zhuǎn)移到狀態(tài)j的轉(zhuǎn)移概率估計值，則由表3的數(shù)據(jù)計算估計值的公式如下：n ikk 1(3 )帶利潤的馬氏鏈在馬氏鏈模型中，隨著時間的推移，系統(tǒng)的狀態(tài)可能發(fā)生轉(zhuǎn)移，這種轉(zhuǎn)移常常會引起某種經(jīng)濟指標的變化.如抗病毒藥的銷售狀態(tài)有暢銷和滯銷兩種，在時間變化過程中， 有時呈連續(xù)暢銷或連續(xù)滯銷，有時由暢銷轉(zhuǎn)為滯銷或由滯銷轉(zhuǎn)為暢銷，每次轉(zhuǎn)移不是盈利就是虧本.假定連續(xù)暢銷時盈rii元，連續(xù)滯銷時虧本 22元，由暢銷轉(zhuǎn)為滯銷盈利ri2元，由滯銷轉(zhuǎn)為暢銷盈利元，這種隨著系統(tǒng)的狀態(tài)轉(zhuǎn)移， 賦予一定利潤的馬氏

9、鏈，稱為有利潤的馬氏鏈. 對于一般的具有轉(zhuǎn)移矩陣p11p12p1 NPp21p22p2NPN1PN 2Pn n的馬氏鏈，當系統(tǒng)由i轉(zhuǎn)移到j(luò)時，賦予利潤rij （i, j=1, 2，N），則稱riiri2riNr21r22r2N（5）rN 2rN N為系統(tǒng)的利潤矩陣，rij 0稱為盈利，rij 0稱為虧本，rij = 0稱為不虧不盈.隨著時間的變化，系統(tǒng)的狀態(tài)不斷地轉(zhuǎn)移， 從而可得到一系列利潤， 由于狀態(tài)的轉(zhuǎn)移是隨機 的，因而一系列的利潤是隨機變量， 其概率關(guān)系由馬氏鏈的轉(zhuǎn)移概率決定. 例如從抗病毒藥的銷售狀態(tài)的轉(zhuǎn)移矩陣，得到一步利潤隨機變量xj、xj的概率分布分別為:(1)X1門1門2概率P1

10、1P12(1)X22122概率P21P22其中 P11+ pi2 = 1 ， p21+ p22 = 1 .如果藥品處于暢銷階段，即銷售狀態(tài)為 是多少為此，引入一些計算公式.i =1,我們想知道，經(jīng)過 n個季度以后，期望獲得的利潤首先，定義v（n）為抗病毒藥現(xiàn)在處于i （i1, 2），經(jīng)過n步轉(zhuǎn)移之后的總期望利潤，則步轉(zhuǎn)移的期望利潤為:2(1) 、Vi E(xi ) ri1Pi1ri2Pi2ri j pi jj 1其中E(x(1)是隨機變量Xi的數(shù)學期望.二步轉(zhuǎn)移的期望利潤為：2 (2) (2) (1) (1) (1),ViE(Xi)ri1V1pi1ri2vPi2 Vjpijj 1其中隨機變量x

11、（2）（稱為二步利潤隨機變量）的分布為:P(Xirij v(1) Pij, j 1,2例如，若0.50.59 3PR0.40.637則抗病毒藥銷售的一步利潤隨機變量:(1)X193X21)3-7概率概率抗病毒藥暢銷和滯銷時的一步轉(zhuǎn)移的期望利潤分別為：vJE(X1 )11P1112山29 5 30.5 6vjE(xJ) Qp21r22 P223 0.4 70.63二步利潤隨機變量為：(2)X19+63-3x22)3+6-7-3概率概率抗病毒藥暢銷和滯銷時的二步轉(zhuǎn)移的期望利潤分別為:(2)1Eg)W11V1 P1112VP12(96) 0.5(33) 0.57.5(2)E(x22)21(1)iV1

12、 P21r22v2) P22(36) 0.4(73) 0.62.4一般地定義k步轉(zhuǎn)移利潤隨機變量 x(k) (i 1,2,N)的分布為：P(x(k)rijv(k 1) Pij j 1,2, N則系統(tǒng)處于狀態(tài)i經(jīng)過k步轉(zhuǎn)移后所得的期望利潤v(k)的遞推計算式為:NVi(k)E(Xi(k)(rij v(k1)pijj 1NN (k 1)(1) N (k 1)rij PijVjPi jViVjPi j( 6)j 1j 1j 1當k=1時，規(guī)定邊界條件 v(0)0 .稱一步轉(zhuǎn)移的期望利潤為即時的期望利潤，并記Viqi, i 1,2, N .可能的應用題型題型一、市場占有率預測例題1在購買該藥的總共 1

13、000家對象（購買力相當?shù)尼t(yī)院、藥店等）中，買 A、B、C三藥廠的 各有400家、300家、300家，預測A、B、C三個廠家生產(chǎn)的某種抗病毒藥在未來的市場占有情 況。顧客訂貨情況如下表5：表5 顧客訂貨情況表下季度訂貨情況合計ABC來A160120120400自B1809030300C1803090300合計5202402401000模型建立與求解一、問題分析目前的市場占有情況為：在購買該藥的總共1000家對象（購買力相當?shù)尼t(yī)院、藥店等）中，買A、B、C三藥廠的各有 400家、300家、300家，那么A、B、C三藥廠目前的市場占有份額分別 為：40%、30%、30%稱（，）為目前市場的占有分布

14、或稱初始分布.此外，我們需要查清使用對象的流動情況。流動情況的調(diào)查可通過發(fā)放信息調(diào)查表來了解顧客以往的資料或?qū)淼馁徺I意向，也可從下一時期的訂貨單得岀。由題已知顧客訂貨情況如下表5表5 顧客訂貨情況表下季度訂貨情況合計ABC來A160120120400自B1809030300C1803090300合計5202402401000模型的建立模型構(gòu)建假定在未來的時期內(nèi)，顧客相同間隔時間的流動情況不因時期的不同而發(fā)生變化，以1、2、3分別表示顧客買 A、B、C三廠家的藥這三個狀態(tài)，以季度為模型的步長（即轉(zhuǎn)移一步所需的時間），那么根據(jù)表 5，我們可以得模型的轉(zhuǎn)移概率矩陣:P11P12PP21P22P31

15、P32P13P23P3316012040040018090300300180303003001204000.4300.6300900.60.30.30.30.10.10.3300矩陣中的第一行（，）表示目前是A廠的顧客下季度有 40%仍買A廠的藥，轉(zhuǎn)為買 B廠和C廠的各有30% 同樣，第二行、第三行分別表示目前是B廠和C廠的顧客下季度的流向.由P我們可以計算任意的k步轉(zhuǎn)移矩陣，如三步轉(zhuǎn)移矩陣：0.40.30.30.4960.2520.252P(3)P30.60.30.10.5040.2520.2440.60.10.30.5040.2440.252從這個矩陣的各行可知三個季度以后各廠家顧客的流動

16、情況.如從第二行（，）知,3客三個季度后有 轉(zhuǎn)向買A廠的藥，仍買B廠的，轉(zhuǎn)向買C廠的藥.設(shè)s（k）（ p1k）, p2k）, p3k）表示預測對象k季度以后的市場占有率，初始分布則為B廠的顧S(k)s（0）（ p10）, p20）, p30），市場占有率的預測模型為已知S（0）（ 0.4, 0.3, 0.3），由此，我們可預測任意時期A、B、C三廠家的市場占有率例如，三個季度以后的預測值為：0.4960.2520.252s(3)( p1(3),p23),p(33) s(0) p3(0.4 0.3 0.3)0.5040.2520.2440.5040.2440.252(0.5008 0.24960

17、.2496 )大致上，A廠占有一半的市場，B廠、C廠各占四分之一.模型（7）可推廣到N個狀態(tài)的情形：P11p12p1 NkS(k)S(k1)pS(0)Pk(P1(0),p：20),pN0) P21p22p2N(8)pN1pN 2pN N如果我們按公式（7）繼續(xù)逐步求 A、B、C三家的市場占有率,會發(fā)現(xiàn),當k大到定的程度,S （k）將不會有多少改變，即有穩(wěn)定的市場占有率，設(shè)其穩(wěn)定值為S(p1 , p2,P3)，滿足S(0) pk s(k 1)p(7)Pl P2 P31 事實上，如果市場的顧客流動趨向長期穩(wěn)定下去，則經(jīng)過一段時期以后的市場占有率將會出現(xiàn)穩(wěn)定的平衡狀態(tài)，即顧客的流動，不會影響市場的占

18、有率，而且這種占有率與初始分布無 關(guān).如何求出這種穩(wěn)定的市場占有率呢模型求解以A、B、C三家的情況為例，當市場出現(xiàn)平衡狀態(tài)時，從公式（7）可得方程S = S P,即0.40.30.3(P1, P2, P3) (Pi, P2, P3) 0.60.30.10.60.10.3由此得P10.4P10.6 P20.6 P3P20.3p10.3p20.1P3P30.3p10.1P20.3p3經(jīng)整理，并加上條件 p1P2 P31，得0.6p10.6p20.6p300.3p1 0.7p2 0.1p300.3p1 0.1p2 0.7p30pi P2 P31上方程組是三個變量四個方程的方程組，在前三個方程中只有二

19、個是獨立的，任意刪去一個，從剩下的三個方程中，可求出唯一解：pi0.5，p2 0.25， P3 0.25這就是A、B C三家的最終市場占有率.一般N個狀態(tài)的穩(wěn)定市場占有率(穩(wěn)態(tài)概率)S (p1, p2,pN )可通過解方程組pi1p12p1 Np21p22p2 N(P1, P2,PN ) ( P1, P2,PN )(9)pN 1pN2pN NNPk 1k 1求得，而(9)的前N個方程中只有 N-1個是獨立的，可任意刪去一個。MATLAB 程序：format ratP=,;a=p-eye (3) ;o nes(1,3);b=zeros(3,1);1;p_limit=ab題型二、期望利潤預測企業(yè)追逐市場占有率的真正目的是使利潤增加，因此，競爭各方無論是為了奪回市場份額，還是為了保住或者提高市場份額，在制訂對策時都必須對期望利潤進行預測.預測主要分兩步進行：市場統(tǒng)計調(diào)查.首先調(diào)查銷路的變化情況，即查清由暢銷