FC2ブログ
11«1.2.3.4.5.6.7.8.9.10.11.12.13.14.15.16.17.18.19.20.21.22.23.24.25.26.27.28.29.30.31.»01

たまひびとらの絵本の実

読書好きな姉妹と弟と父母の読んだ本

ベイズ推論による機械学習入門  

bayesianinfmachinelearning.jpg
ベイズ推論による機械学習入門
ベイズ推論による機械学習入門

機械学習の本だけどプログラムは出てこない。プログラムを作るにあたって必要なアルゴリズムを構築するための数学「ベイズ確率推論」を学ぶ。チャプター3 までは解析的に事後分布を求める。共益事前分布の例としてカテゴリ分布の学習と予測をメモ。
p(s|π) = Cat(s|π) = Π(1 to K) π^s
πはK個あり合計が1.sはK個あり1つが1で残りは0.
πを生成するのはディリクレ分布。ディリクレ分布はベータ分布を多次元化したもの。ベータ分布は0と1の間(逆から見れば1から0の間)をパラメータ次第でいろんな曲線を描く。その積分値を1とするための正規化項がある。ディリクレ分布も同様で、3次元なら0から1が3つあり(3次元空間内の三角形)、その三角形の各点上にディリクレの値があり、正規化項をもって積分値が1になるようになっている。
p(π) = Dir(π|α) = 正規化項*Π(1 to K) π^α
ベイズの定理で事後分布を書くと
p(π|S) = p(S|π) * p(π) / p(S)
p(S)はπと無関係であり、πから見れば定数なので、以下の比例式とみなせる
p(π|S) ∝ p(S|π) * p(π) = { Π(1 to N) Cat(s|π) }Dir(π|α)
本書を通して使われるんだけど、両辺の log をとって事後分布をまとめなおすと、logをとったディリクレ分布と同じ形がまた現れるので、共益事前分布だったことがわかる。
log p(π|S) = Σ(1 to N) log Cat(s|π) + log Dir(π|α) + constant
= Σ(1 to N)Σ(1 to K) s logπ + Σ(1 to K) (α-1)logπ + log正規化項 + constant
= Σ(1 to K) { Σ(1 to N) s + α-1 }logπ + constant
よって
p(π|s) = Dir(π|更新後α)

ベルヌーイ分布の例、1次元ガウス分布の平均未知の例、などでは、データを加えたことにより事後分布が更新される様子がよりわかりやすい。多次元ガウス分布での計算も log を取るなどほぼ同様の計算過程(ここでのΣは共分散行列を示し、Λはその逆行列である精度行列を示す)。平均未知のケースで log をとって計算すると、D次元ベクトルμの2次式がでてくる。対数を取って2次式がでてくるのはガウス分布なので、事後分布も多次元ガウス分布となることがわかる。

P107 3.145 の確率モデル式の導出が書いてないのでやってみた。合ってるといいな。
p(w|x,y) = p(x,y,w) / p(x,y)
分子 p(x,y,w) = p(y|x,w) p(x) p(w)
分母 p(x,y) = p(y|x) p(x)
p(w|x,y) = p(y|x,w) p(x) p(w) / p(y|x) p(x) = p(y|x,w) p(w) / p(y|x)

チャプター4 は解析的にまたは効率的に解の計算ができない場合の近似手法。現実のデータは簡単な統計分布では対応できない。近似的な分布を検討するには KL divergence (分布と分布の離れ度合いを測る式)。ポアソン混合モデルの例。ギブスサンプリング(サンプリング=解析的ではない)では、クラスターS(複数の分布のどれに所属するのか)、混合比率π(それぞれの分布に何割が行くのか)、ポアソン変数λ、観測Xにおいて、ざっくりなやり方としては観測Xだけでなく、λとπも観測されたかのように扱い、Sの確率分布を求める(その後、Sを観測されたものとしてλとπの確率分布を求める)。変分推論では、Sの分布を独立と想定して近似計算。つまり、P(S, λ, π|X)をq(S)q(λ, π)とみなす。崩壊型ギブスサンプリングでは、λとπを積分して消してしまい(周辺化)、XからSを求める。p(X, S) = ∫∫P(X, S, λ, π)dλdπ.

チャプター4後半は式を追うのもつらい。チャプター5はまた後日。

スポンサーサイト

category: 父の本

cm 0   tb 0   page top

コメント

page top

コメントの投稿

Secret

page top

トラックバック

トラックバックURL
→http://tamahibi.blog122.fc2.com/tb.php/3492-fbbe3c67
この記事にトラックバックする(FC2ブログユーザー)

page top

訪問者数

カテゴリ

最新記事

最新コメント

最新トラックバック