引例：牛奶廠決策最佳經營策略選擇：北京地區鮮牛奶由三個廠家提供，該地區客戶總數為100萬戶，假定廠家每年從每個客戶那里平均獲利50元，客戶資源每月都在三個廠家之間相互流動，廠家2考慮從以下兩套候選方案之中選擇一個實施：方案一：吸引老客戶，須花費450萬元；方案二：吸引廠家1和廠家3的客戶，須花費400萬元。您有什么好的建議來幫助廠家2決策？1可編輯ppt市場調查數據

今年一月份廠家2對2000名消費者進行了調查，購買廠家1，2，3產品的消費者人數分別為800，600和600，得到市場占有率向量（概率向量）為（0.4，0.3，0.3）；同時通過詢問這2000名消費者下月的購買傾向，得到如下轉移頻數矩陣：

1231232可編輯ppt狀態轉移概率矩陣P從轉移頻數矩陣到狀態轉移概率矩陣

P：用各行總數分別去除轉移頻數矩陣N的每行各元素，得到狀態轉移概率矩陣P如下：/800/600/6003可編輯ppt均衡狀態的市場占有率在目前狀態轉移概率矩陣P下，達到均衡狀態時的市場占有率記為u；估計如果實施方案一或二以后狀態轉移概率矩陣分別為P1和P2，他們各自對應的均衡狀態時市場占有率分別為u1和u2；具體數據如下：

u=（0.5，0.25，0.25）

u1=（0.39，0.44，0.17）

u2=（0.44，0.42，0.14）4可編輯ppt廠家2的方案選擇有了均衡狀態時的市場占有率u，u1和u2，廠家2就能夠方便地進行分別方案選擇，根據前面的數據，我們知道：

u=0.25，u1=0.44，u2=0.42，因此，如果采用方案一可獲利：

100Х(0.44-0.25)Х50–450=500（萬元）

如果采用方案二可獲利：

100Х(0.42-0.25)Х50–400=450（萬元）結論：選擇方案一，即吸引老客戶的方案為佳。

5可編輯ppt例：人力資源預測某高校1990年為編制師資發展規劃，需要預測為了教師隊伍的結構。現在對教師狀況進行如下四個分類：青年，中年，老年和流退（流失或退休）。根據歷史資料以及調查分析，各類教師按照一年一期的狀態轉移概率矩陣如下，目前青年教師400人，中年教師360人，老年教師300人。試分析3年后教師的結構以及為保持編制不變，3年內應當多少碩士和博士畢業生充實教師隊伍？6可編輯ppt馬爾可夫（Markov）鏈隨機過程：不確定變化的隨機變量序列時間序列：{X1，X2，…，Xt,…}，指與時間相關的離散隨機變量序列狀態集合：S={S1，S2，…，Sn}，一般表示為Xt=Si無后效性（馬爾可夫性）：時間序列在t+1時刻（將來）的狀態只與t時刻（現在）的狀態有關而與t時刻之前（過去）的狀態無關，即

P{Xk+1=Sik+1/X1=Sik1

，X2=Sik2

，…,Xk=Sik}

=P{Xk+1=Sik+1/Xk=Sik}馬爾可夫（Markov）鏈：具備無后效性的時間序列。7可編輯ppt狀態轉移概率矩陣P狀態轉移概率：pij表示從狀態Si轉移到狀態Sj的概率，記：pij=P（Sj/Si）=P（Xk+1=Sj/Xk=Si）,簡稱為從狀態i到狀態j的轉移概率。狀態轉移概率矩陣：由狀態轉移概率pij（i，j=1,2，…,n）構成的n階方陣P8可編輯ppt多步狀態轉移概率pij一步狀態轉移概率：用pij(1)表示，pij(1)即pij，表示從狀態Si經過一個時刻轉移到狀態Sj的概率，記為：

pij=pij(1)=P（Xt+1=Sj/Xt=Si）,相應的一步狀態轉移概率矩陣記為P（1）=P。k步狀態轉移概率：用pij(k)表示，表示從狀態Si經過k個時刻轉移到狀態Sj的概率，記為：

pij(k)=P（Xt+k=Sj/Xt=Si）,相應的k步狀態轉移概率矩陣記為P（k）。

P(k)與P（1）之間的關系如何?9可編輯ppt例：三品牌洗衣粉下月

購買意愿調查求（1）一步狀態轉移概率矩陣P（1）=?

（2）購買C品牌的顧客在未來第2個月購買各品牌的概率?

（3）二步狀態轉移概率矩陣P（2）=?您發現P（K）的一般規律了嗎？

A

BC調查總數A

BC

40303060306060303010015012010可編輯ppt規律:P(K)=Pk定理:k步狀態轉移概率矩陣P（k）等于一步狀態轉移概率矩陣P（1）=P的k次冪,即P(k)=P·P·…·P=Pk11可編輯ppt例：通過P（1）計算P（3）已知一步狀態轉移概率矩陣P（1）=P，計算三步狀態轉移概率矩陣P（3）=?12可編輯ppt固定概率向量u設P為馬爾可夫（Markov）鏈的一步狀態轉移概率矩陣，如果存在概率向量u=(u1，u2，…,un)滿足于uP=u

則稱u為P的固定概率向量或者均衡點示例：u為P的固定概率向量引例中均衡狀態時的市場占有率就是P的固定概率向量（均衡點）u。均衡點是否一定存在，是否唯一？13可編輯ppt牛奶廠例：市場占有率變動表及均衡狀態月份

k三個廠家的市場占有率u1u2u3012345670.40.520.4960.50080.499840.5000320.50.50.30.240.2520.24960.250080.2499840.250.250.30.240.2520.24960.250080.2499840.250.2514可編輯ppt正規概率矩陣設P為馬爾可夫鏈的一步狀態轉移概率矩陣，如果存在自然數k使Pk

的所有元素都是正數，則稱P為正規概率矩陣。正規概率矩陣的例子正規概率矩陣的判斷方法：看任意兩狀態之間是否可以相互連通（彼此到達），若是，則為正規概率矩陣，若否，則不是正規概率矩陣。15可編輯ppt馬爾可夫鏈基本定理定理：設P為馬爾可夫鏈的一步狀態轉移概率矩陣，如果P為正規概率矩陣，則存在唯一的由正數組成的固定概率向量（均衡點）u，并且對于任意的初始概率向量u0，向量序列:

u0P，

u0P2

，…，

u0Pk

以u為極限,

即當k→∞時,有limu0Pk=u均衡點舉例16可編輯ppt均衡點u的求法設概率向量u為狀態轉移矩陣P的均衡點，有：

uP

=u

即u（P-I）=0，其中I為單位矩陣等式兩邊取轉置，得到：

（

PT

-I）uT

=0方法：聯立求解以下線性方程組

（

PT

-I）uT

=0

u1+u2+…+un

=117可編輯ppt例：項目選址問題某汽車維修公司有甲、乙、丙3個維修廠。由于公司注重對員工的技術培訓，樹立顧客至上，信譽第一的理念，管理模式先進，所以公司在本行業具有良好的形象，形成了一定規模的客戶群。對