1. 様々な情報源（４章）

2. 情報源の役割 伝送路 (通信路） 情報 情報源 受信者 今回扱う。 ☆無記憶情報源 （前の記号に依存しない情報源。サイコロのような情報源）
　（前の記号に依存しない情報源。サイコロのような情報源）
☆マルコフ情報源
　（前の結果に依存する情報源。英文等は、こっちの方）

3. 情報源モデル 情報源アルファベット 情報源： 情報源から発生する記号の集合 離散的な時刻に従い、 ある記号の集合から、
各時刻に一つの記号を（ある確率的性格で）出力する。
情報源から発生する記号の集合
情報源シンボル（記号）
情報源から発生する記号。
情報源アルファベットの要素
記号　　　　　　　　は、時刻
で発生した情報源記号
時間軸

4. 情報源例１
サイコロを振る試行による記号の生成。
情報源アルファベット
1回は３の目がでた。

5. 情報源例２
英文からアルファベットを拾って記号を生成。
情報源アルファベット
1文字目は”i”だった。

6. 通報(メッセージ）
定義：通報
情報源から発生する記号系を通報という。
情報源 通報
時間軸

7. 情報源における記憶
無記憶情報源
記号の生成確率が、
以前の記号に無関係
記憶のある情報源
記号の生成確率が、
生成した記号で変化する

8. 無記憶情報源（独立情報源） 記号の生成確率が、 無記憶情報源 以前の記号に無関係 無記憶情報源の１記号あたりの（平均）情報量は、
次式で表される。

9. １記号の発生速度を
とする。このとき、単位時間あたりの発生平均情報量は、
次式であらわされる。
以下に注意する。

10. 記憶のある情報源
記号の生成確率が、
以前の記号で変化する
記憶ある情報

11. m m m n in il e t is t at t speake manne teache 問題 次の四角に入るアルファベットを求めよ。
(1) m m m n in il
(2) e t is t at t
(3)
speake
manne
teache

12. マルコフ情報源

13. マルコフ情報源 定義：マルコフ情報源 直前のm 個の記号よって、次記号の発生確率が変化する情報源を(m重)マルコフ情報源という。
　発生した記号を条件とする条件付確率で定式化される。すなわち、次の条件付き確率で定められる情報源である。
　　　　　　　　　　　　　は直前のm個の記号列。
カンマはANDの意味。　
　　　は今度発生する記号

14. （単純）マルコフ情報源 定義：マルコフ情報源 直前の生成された記号よって、次記号の発生確率が変化する情報源を単純マルコフ情報源という。
　発生した記号を条件とする条件付確率で定式化される。すなわち、
に対して条件付確率
で定められる情報源である。
　　は直前に発生した記号
は今度発生する記号

15. マルコフ情報源における状態の遷移

16. 状態遷移（確率）行列 行ベクトルはすべて、確率ベクトル（要素は全て０から１の値を持ち、要素の総和が１）。すなわち、確率ベクトル
　　　　　　　　　　　　　　　　　　　に対して次式が成り立つ。

17. 状態遷移確率行列のイメージ
次の記号
条件付確率
添え字の順序に注意
前の記号
各行で総和は１
なので正方行列

18. シャノン線図（状態遷移図）
記号を状態とみなし、条件付確率を矢印で表したもの。

19. マルコフ情報源例（アルファベット）
英単語において、
thやer
が多いことから、
　　　　　　や　　　　　　　
が大きいと考えられる。

20. 状態遷移行列 辞書

21. シャノン線図（アルファベット）

22. マルコフ情報源例（２元単純マルコフ情報源）
生成記号が
０の列
生成記号が
１の列
状態（記号）
が０の行
状態（記号）が１の行

23. ２元単純マルコフ情報源のシャノン線図

24. 練習１
次の状態遷移確率行列で表されるマルコフ情報源を、シャノン線図で表せ。

25. 練習２
次のシャノン線図で表されるマルコフ情報源の状態遷移確率行列を求めよ。

26. 練習３ 次のようなマルコフ情報源の、 状態遷移確率行列およびシャノン線図を求めよ。 自分が出した手の次の手は、
・前の手に勝つような手を出す確率が1/2である。
・前の手に引き分ける手を出す確率が1/3である。
・前の手に負ける手を出す確率が1/6である。

27. （参考）無記憶情報源の状態遷移行列
次　出る目
均等なサイコロを振ったときの状態遷移行列
今の目
条件付確率

28. 偶数の出やすいサイコロ（無記憶情報源）
次　出る目
今の目
条件付確率

29. 練習 （１）コインを振って得られる状態遷移関数を求めよ。 （２）表の出る確率が、裏のでる確率の２倍であるコインを

30. 定常分布
定義：定常分布
情報源アルファベット　　　　　　　　　　　　　　　　に対して、出現確率が時刻　　　　と時刻　　　　　　で変化しないような記号の分布を定常分布という。

31. 定常分布の求め方 定常分布は、状態遷移確率行列から求めることができる。 定常分布を とし、状態遷移確率行列を
定常分布を　　　　　　　　　　　　とし、状態遷移確率行列を
　　　　　　　　とする。このとき、次式が成り立つ。
時刻　　から　　　　になっても変化しない。
常に一定の出現確率となる。
生成した記号の確率と状態遷移確率積なので、次の記号の出現確率を表す。
記号の出現確率。

32. の意味。
情報理論では、慣用的に確率ベクトルは行ベクトルで表される。
転置を用いて左式のようにも表せる。

33. 定常分布例 情報源アルファベット に対する２元マルコフ情報源の状態遷移確率関数が次式で与えられている。 このとき、定常分布 を求めよ。 解）
情報源アルファベット　　　　　　　　に対する２元マルコフ情報源の状態遷移確率関数が次式で与えられている。
このとき、定常分布　　　　　　　　　　　　　　　を求めよ。 解）
より、

34. 全ての行ベクトルが確率ベクトルなので遷移確率行列は正則でなく逆行列を持たない。
よって、このように必ず不定の解になる。
一方、　　　は確率ベクトルなので、
が成り立つ。
前のスライドとこの式から求める。 検算

35. 練習
次の状態遷移確率行列で表される情報源の定常分布を求めよ。
（１）
（２）

36. 無記憶情報源における定常分布 無記憶情報源における定常分布は、出現確率と一致する。 無記憶情報源が次式で表されているとする。
このとき、状態遷移確率行列は次式で表される。
すべての行が同一な
状態遷移行列。
逆に、このような行列で表される情報源が無記憶情報源。

38. マルコフ情報源の随伴（無記憶）情報源 定義：随伴情報源
マルコフ情報源　　　の定常分布を確率分布とするような無記憶情報源を元のマルコフ情報源の随伴情報源　　　という。 例
情報源アルファベット　　　　　　　　　　　を持ち、状態遷移確率行列が
で表されるマルコフ情報源を　　　とする。
このとき、随伴情報源　　　　　は次式で表される。

39. マルコフ情報源のエントロピー 定義：マルコフ情報源のエントロピー
マルコフ情報源　　　に対して、　　　を条件とする　　　の条件付きエントロピー　　　　　　　　　　　　をマルコフ情報源のエントロピーという。

40. マルコフ情報源のエントロピー例 状態遷移確率行列 で定まるマルコフ情報源 のエントロピーを求める。 まず、定常分布 は以下で与えられる。
で定まるマルコフ情報源　　　のエントロピーを求める。
まず、定常分布　　　　は以下で与えられる。
状態０におけるエントロピー（０を条件とする条件付きエントロピー）
　　　　　　　　および状態１におけるエントロピー　　　　　　　　　　　　を求める。

41. ０の時のエントロピー
１の時のエントロピー
マルコフ情報源のエントロピー

42. マルコフ情報源のエントロピーの意味 ０状態の一種の存在確率 １状態の一種の存在確率 １状態において、 ０状態において、
記号出力に注目した平均情報量
０状態において、
記号出力に注目した平均情報量

43. イメージ
０を取ったら次は０の箱から取り、１を取ったら次は１の箱からとる。取った玉は元に戻す。（前のスライドに対応する。）
マルコフ情報源 1 1 1 1 1

44. 練習
次の状態遷移確率行列で表される情報源のエントロピーを求めよ。
（１）
（２）

45. マルコフ情報源のエントロピーの性質
マルコフ情報源　　　　　に対して、随伴情報源を　　　　とする。このとき、随伴情報源のエントロピーは、マルコフ情報源のエントロピー以上である。すなわち、次式が成り立つ。
出現確率は同じでも、マルコフ情報源の方は記号の現れ方に制限がある。（すなわち、記号の出現の予測が無記憶情報源比べて行いやすい。）したがって、
マルコフ情報源の方が平均情報量が少なくなる。

46. 随伴情報源のエントロピー例
の随伴情報源は
である。
したがて、エントロピー　　　　　は次式で求められる。

47. 練習
次の状態遷移確率行列で現されるマルコフ情報源
の随伴情報源のエントロピーを求めよ。
（１）
（２）

48. 情報源の分類

49. 情報源の分類図 情報源 無記憶 情報源 記憶のある情報源 マルコフ情報源 エルゴード マルコフ情報源 正規マルコフ情報源
過渡的な情報源を含む
周期的情報源を含む

50. 様々なマルコフ情報源 エルゴード マルコフ情報源 非周期的情報源 周期的情報源 過渡的な情報源
矢印には０より大きい確率が割り当てられている。

51. エルゴード性 [集合平均]＝[時間平均] 定義：エルゴード性 集合平均と時間平均が等しい性質をエルゴード性という。
エルゴード性を持つ情報源をエルゴード情報源という。
集合平均
時間平均
時間軸

52. サイコロ　　　　を振ったときの目を情報源と考えると、
エルゴード性を満たす。
時間平均：１つのサイコロを何回も振ったときの平均
集合平均：1回に多数のサイコロを振ったときの平均

53. 状態遷移行列による判別
前の記号　　　のときに次の記号　　　　を生成する確率。
添え字の順序に注意する。
遷移を　　回繰り返すときの遷移確率。

54. 過渡的なマルコフ情報源 定義：過渡的な情報源
十分な時間経過の後に、生成確率がすべて０に収束するような状態を持つマルコフ情報源を過渡的な情報源という。
過渡的な情報源
過渡的

55. エルゴードマルコフ情報源 定義：エルゴード情報源 過渡的でない情報源をエルゴード情報源という。エルゴード情報源はエルゴード性を満たす。
周期的

56. 正規マルコフ情報源 定義：エルゴード情報源
十分な時間経過後、各状態からすべての状態への遷移確率が０より大きいマルコフ情報源を正規マルコフ情報源という。
正規マルコフ情報源
全ての確率は非零

57. 練習
次の遷移行列で表わされるマルコフ情報源の種類が、
過渡的、周期的、正規マルコフ情報源のいずれかを答えよ。
（１）
（２）