PRMLの式(1.68)について

多項式による曲線フィッティングのベイズ的な扱いとして、目標変数 t の予測分布の展開式

がある。 左辺は新たな入力変数 x および学習データセット x, t を条件とした新たな目標変数 t の確率分布であり、 まさに知りたいものである。右辺はこれに対し多項式のモデルパラメータ w を考え、 確率の加法・乗法定理を矛盾無く用いる ことで導かれ、この積分は解析的に解くことができるため、 予測分布を求めることができるという寸法である。 PRML ではこの展開式に用いた 「確率の加法・乗法定理を矛盾無く用いる」ことは予測分布を求める上で重要であり、 これがベイズ的な扱いであるとしている。 しかしこの展開式は「確率の加法・乗法定理を矛盾無く用いる」だけで導出できるのであろうか。 結論から言えばNOである。

確率の加法・乗法定理とは、確率変数 x, y を連続変数とすれば

である。 PRMLの文脈から考えられる「確率の加法・乗法定理を矛盾無く用いる」ことによる (1.68)の一般的な説明は以下のようなものであろう。

で、1段目は積分の中身に乗法定理、2段目は加法定理を用いている。 定理の式と展開過程の式を見比べて見てほしい。 2段目の加法定理を用いている部分に関しては、 1段目右辺と2段目右辺の各確率の条件部に出てくる変数が同じであるため、 それらを無視して考えれば、加法定理の形式的な適用が可能である。 しかし1段目の乗法定理を用いている部分では右辺と左辺の各確率の条件部に出てくる変数が異なっており、 定理を形式的には適用できない。 実は変数の 独立性 を考慮して条件部の変数を省略しているためこのようになっているのである。 変数を省略しないで乗法定理を書き下すと

となる。ここで

に従って条件部の変数を省略したため、1段目の結果が得られたのである。

以上より、予測分布を導出するためには「確率の加法・乗法定理を矛盾無く用いる」だけでは不十分であり、 各確率変数の依存関係 を明らかにする必要がある。

各確率変数の依存関係を見るための便利な方法として グラフィカルモデル というものがある。 これは確率変数をノードとし、それらの依存関係を方向付きのリンクで表すグラフである。 詳細は別書(PRML下巻 など)を参考としていただきたいが、 これを用いて(1.68)の展開式における乗法定理の部分を理解することができる。 以下は多項式による曲線フィッティングのグラフィカルモデルを表したものである。

../image/graphical-model.png

このグラフは、目標変数 t は入力変数 x とモデルパラメータ w によって生成されるという思想を反映したものであり、 新たな目標変数 t および入力変数 x については意図的に分けて書いたものである。 より精密には、どの変数が観測されたか・未観測かなども表し、 部分的な構造に着目することで先述したような独立性を導出できるが、 複雑になるためここではもう少し簡単な説明を試みる。 グラフィカルモデルが得られれば、全変数の同時分布は、各変数の確率の積を以て表すことができる。 例えば以下は上のグラフィカルモデルから得られる同時分布の展開式である。

右辺は基本的には各変数の確率の積であるが、 グラフィカルモデルにおいて直接のリンクをもつ変数を条件部に入れている。 これを以下のように変形することで(1.68)の乗法定理の部分が導出できる。

ここで1段目から2段目の変形では図の赤丸部分を全体と考えたグラフィカルモデルによる同時分布の展開を用いている。 グラフィカルモデルは予測分布を求めるためだけでなく、 様々な場面でモデルを理解する助けとなると思われ、積極的に活用していきたいものである。

Author: NAGANUMA Shigeta

Date: 2013-04-23T14:32+0900

Generated by Org version 7.9.2 with Emacs version 24

© Mathematical Systems Inc. 2012