0. 2010-01-09 SUHARA YOSHIHIKO (id:sleepy_yoshi)
PRML読書会第10回 8.2 条件付き独立性
SUHARA YOSHIHIKO
(id:sleepy_yoshi)

1. 目次
8.2 条件付き独立性
つのグラフの例
8.2.2 有向分離 (d分離)

2. 8.2 条件付き独立性

3. 条件付き独立性 (1) 変数a, b, cを考える．bとcが与えられたときに，aの条件付き分布がbの値に依存しない

4. cが与えられた際に，aがbに対して条件付き独立
条件付き独立性 (2)
cで条件付けられたaおよびbの同時分布を考える
⇒ cが与えられたとき，aおよびbが統計的に独立である
p(a,b)=p(a|b)p(b)
記法：
cが与えられた際に，aがbに対して条件付き独立

5. 演習8.8
　　　　　　ならば 解)
cについて周辺化

6. つのグラフの例

7. 8.2.1 3ノードから成るグラフ ３つの構造 「弁明」現象 (1) tail-to-tail (2) head-to-tail
(3) head-to-head
「弁明」現象

8. (1) tail-to-tail

9. (1) tail-to-tail tail-to-tail c tail b a head どの変数も観測されていない場合に
aとbの独立を確かめる (両辺をcに関して周辺化)
⇒ p(a)p(b)に分解不可能 ( )

10. tail-to-tail: 変数cの観測 前頁の例を変数cで条件付ける よって条件付き独立が導かれる p(a,b,c)
= p(a,b|c)p(c)
よって条件付き独立が導かれる

11. tail-to-tailのノードを観測すれば，
cを観測することにより，経路を遮断 (block) し，aとbとを条件付き独立にする c b a
ポイント１
tail-to-tailのノードを観測すれば，
ふたつのノードの経路を遮断できる

12. (2) head-to-tail

13. (2) head-to-tail a c b head-to-tail どの変数も観測されていない場合にaとbの独立を確かめる
⇒ p(a)p(b)に分解不可能 ( )

14. head-to-tail: 変数cの観測
前頁の例を変数cで条件付ける
ベイズの定理
よって条件付き独立が導かれる

15. head-to-tailのノードを観測すれば，
cを観測することにより，経路を遮断 (block) し，aとbとを条件付き独立にする a c b
ポイント２
head-to-tailのノードを観測すれば，
ふたつのノードの経路を遮断できる

16. (3) head-to-head

17. (3) ead-to-head a b head-to-head c どの変数も観測されていない場合にaとbの独立を確かめる
⇒ p(a)p(b)に分解可能 ( )

18. head-to-head: 変数cの観測 前頁の例を変数cで条件付ける p(a|c)p(b|c)に因数分解できないため，
条件付き独立ではない

19. head-to-head: 経路の遮断解除b c
ポイント３
head-to-headのノードを観測すると，
ふたつのノードの経路の遮断が解かれる

20. head-to-headかその子孫のうちいずれか
依存関係の発生 a b c d
ポイント４
head-to-headかその子孫のうちいずれか
を観測すると，経路の遮断が解かれる
(⇒ 演習8.10)

21. 演習8.10 (1/2) a b c d
の確認
変数c, dについて周辺化

22. 演習8.10 (2/2)
の確認
dで条件づける
変数cに関して周辺化

23. 演習8.10の考察 head-to-headノードの子孫である変数zを観測しても，変数の周辺化によって変数cの観測と同じ効果が発生 a b…
周辺化 z

24. 「弁明」現象

25. 車の燃料タンクモデル 車の燃料装置のモデル B F G 何も観測していないとき， 燃料タンクが空である確率 p(F=0) = 0.1
バッテリと燃料タンクが
満タンである事前確率
燃料タンクとバッテリの状態が
与えられた際の燃料系が満タンを指す確率
何も観測していないとき，
燃料タンクが空である確率 p(F=0) = 0.1

26. 観測によってタンクが空である可能性が高くなる
燃料計観測による確率の変化
燃料計が空を指している事実を観測
ベイズの定理より B F G
観測によってタンクが空である可能性が高くなる

27. 「弁明」現象 つづいてバッテリが切れていること (B=0) を観測 B F G バッテリの観測によってタンクが空である確率が
0.257から0.111に下がった
バッテリが切れているという事実が，
燃料計が空を指していることを「弁明」している
※1 燃料計Gの代わりにGの子孫を観測しても起こる
※2 バッテリが切れていても，燃料計が0を指しているという事実が証拠となり，事前確率p(F=0)よりも大きい

28. 補足:B, G観測後の事後確率計算
p(B)
Σの外に出て打ち消す

29. 突然ですが

30. アンケート “explain away” あなたならどう訳す? PRML読書会的には「弁護」現象となりました (1) 弁明 (現象) 1名
(2) 釈明 (現象) 1名
(3) 言い逃れ (現象) 1名
(4) 説明を加えて明らかにする現象 5名
(5) (他人がフォローするので) 弁護 (現象) 7名
(6) 真犯人が現れました現象
(その他自由回答)
PRML読書会的には「弁護」現象となりました

31. 8.2.1のポイントまとめ

32. tail-to-tailのノードを観測すれば， ふたつのノードの経路を遮断できる
ポイント１
tail-to-tailのノードを観測すれば，
ふたつのノードの経路を遮断できる
ポイント２
head-to-tailのノードを観測すれば，
ふたつのノードの経路を遮断できる
ポイント３
head-to-headのノードを観測すると，
ふたつのノードの経路の遮断が解かれる
ポイント４
head-to-headかその子孫のうちいずれか
を観測すると，経路の遮断が解かれる

33. 8.2.2 有向分離 (D分離)
今までの話を一般化

34. 有向分離 グラフの有向分離 A, B, Cを重複のないノード集合とする 条件付き独立性 A B | C を調べたい

35. 経路の遮断条件 以下の条件のいずれかを満たすノードを含む経路は遮断されている
(a)
集合Cに含まれるノードであって，経路に含まれ
る矢印がそこでhead-to-tailあるいはtail-to-tailである
(b)
経路に含まれる矢印がそのノードでhead-to-headであり，自身あるいはそのすべての子孫いずれもが集合Cに含まれない
全ての経路が遮断されていれば，AはCによってBから有向分離され，A　B | C を満たす

36. このグラフからでは条件付き独立性は導けない
例1)
有向分離
できないか?
aからbの経路を調べる a f e b c
1. fによって遮断されない
⇒ tail-to-tailかつ観測されていないため
2. eによって遮断されない
⇒ head-to-headだが，子孫のcが観測されているため
このグラフからでは条件付き独立性は導けない

37. 例2) aからbの経路を調べる a f e b c 1. fによって遮断される ⇒ tail-to-tailかつ観測されているため
⇒ head-to-headかつ，いずれの子孫が観測されていないため
条件付き独立a　b | f が成立する

38. 独立同分布データの場合 1.2.4節の独立同分布 (i.i.d.) の例 1変量ガウス分布の平均事後分布を得る問題 μ μ xn x1 xN
下記のグラフより p(μ,x) = p(x|μ)p(μ) μ μ
または xn x1 xN … N
μを条件付け変数と見なすと，任意のxiとxi≠jの経路がtail-to-tailの観測済みノードμのため，すべての経路が遮断される
⇒ μが与えられた下で観測値D = {x1, ..., xN} は独立である

39. 一旦訓練データを利用して係数w上の事後分布を決めてしまえば，訓練データを捨ててしまってよい
図8.7の例
\hat{t}からtnに対する任意の経路において，wはtail-to-tailであるため，以下の条件付き独立性が成立する
つまり多項式係数wで条件つけられた下で，\hat{t}の予測分布は
訓練データtnに対して独立
一旦訓練データを利用して係数w上の事後分布を決めてしまえば，訓練データを捨ててしまってよい

40. zを観測せずにzに関して周辺化すると，xiとxj (j≠i) への経路の遮断は解かれる
ナイーブベイズモデル
ナイーブベイズモデルのグラフ構造
観測変数x = (x1,...xD)T
クラスベクトルz = (z1, ..., zK)
zを観測すると，xiとxj (j≠i)
との間の経路が遮断される
ナイーブベイズ仮説
クラスzで条件付けると
入力変数x1, ...xDが互いに独立
zを観測せずにzに関して周辺化すると，xiとxj (j≠i) への経路の遮断は解かれる
i.e.,
p(x)を各成分x1,...,xDに関して
分解できないことを意味する

41. ナイーブベイズモデルの特長 入力ベクトルxに離散変数と連続変数が混在するような場合にも使える ⇒ 変数それぞれに対して適切なモデルを採用する
2値観測値にはベルヌーイ分布
実数値には
ガウス分布
様々な分布の組み合わせが可能

42. 有向分離定理

43. 有向分離定理 (1) 有向分解 (directed factorization)
2つの方法によって得られる分布の集合は等価である
(1) 有向分解 (directed factorization)
同時分布の因数分解から得られる分布の集合
(8.5)
(2) 有向分離 (directed separation)
グラフの経路遮断を調べて得られる分布の集合

44. マルコフブランケット

45. マルコフブランケット (1/2)
D個のノードを持つグラフで表現される同時分布p(x1, ..., xD) と，変数xiに対応するノード上の，他ノードxj≠iで条件付けられた条件付き分布を考える
p(a|b,c) = p(a,b,c) / p(b,c)
xiに依存しないノードは積分の外に出て分子と打ち消しあう
xiの親ノードに依存
xi (の子)と共同親に依存 (誤植? 下巻p.95, 原書p.382)

46. マルコフブランケット (2/2) 共同親が必要な理由 ⇒ 子の観測により遮断が解かれるため xi 共同親 (co-parent)
head-to-headノードが観測 (ポイント3)

47. 演習8.9 マルコフブランケットを条件付けることにより，xiが全てのノードから条件付き独立 親ノード集合:
tail-to-tail or head-to-rail
かつ観測 ⇒ 遮断
子ノード集合:
(1) head-to-tail
かつ観測 ⇒ 遮断
(2) head-to-head
かつ観測 + 共同親も観測
⇒ 遮断

48. 本節のまとめ

49. 本節のまとめ 3ノードのグラフ 「弁明」現象 有向分離基準 有向分離定理 マルコフブランケット tail-to-tail
head-to-tail
head-to-head
「弁明」現象
有向分離基準
3ノードグラフの性質を一般化
有向分離定理
有向分解 (8.5) と有向分離基準で得られる条件付き独立性は一緒
マルコフブランケット

50. おしまい