Chapter 10 馬可夫鏈

緒言 如果讀者仔細觀察日常生活中所發生的 諸多事件，必然會發現有些事件的未來 發展或演變與該事件現階段的狀況全然 無關，這種事件稱為獨立試行過程 (process of independent trials) ；而另一些 事件則會受到該事件現階段的狀況影響。 後者事件的演變可以表成為隨時間變動 的數學模式，通常稱之為隨機過程 (stochastic process) ，馬可夫過程 (Markov process) 就是其中之一。

馬可夫鏈 什麼是馬可夫鏈

馬可夫鏈的表示

5

6 在討論馬可夫鏈時，有兩個基本前提： – 在任何週期，系統中的事件只存在於一種狀 態內。 – 事件由一種狀態轉換到另一種狀態時的機率， 決定於前一週期。 另外馬可夫鏈可以利用轉移圖 (transition diagram) 表示，例如

7 圖 10.1 中每一種狀態由一個結點 (node) 及一個以圓圈圈出的代號來代表；狀態 與狀態之間的轉移以箭號 (arrow) 表示， 而箭頭代表轉換的方向，箭號上的數值 為每次轉移的機率，稱為轉移機率。 圖 10.1 可以用轉移矩陣表示如下：

8 另一種表示法為利用樹狀圖 (tree diagram) ，如圖 10.2 所示。

9

10

11

12

13

14

15

正規馬可夫鏈 什麼是機率向量

17

18

19

20

什麼是正規隨機矩陣

22

23

24

25

26

27

28

29

30

31

32

33

什麼是正規馬可夫鏈

35

什麼是方陣的固定點

37

38

什麼是馬可夫鏈的穩定分配

40

41

42

43

44

45

46

吸收馬可夫鏈 什麼是吸收馬可夫鏈

48

49

50

51

吸收馬可夫鏈的應用

53

54

55

56

57

58

59

60

61

62

63

64