PRML 10.6 変分ロジスティック回帰のスライドです． PRML読書会2010/4/10で発表しました． http://atnd.org/events/3518

1. 10.6 変分ロジスティック回帰 2010/4/10 江原 遥 PRML読書会 1

2. 説明の流れ 導入：ロジスティック回帰の説明 10.6.1 超パラメータ固定で，変分近似して変分パラメータξnが与えられた時の更新式を求めるところまで 10.6.2 変分パラメータξnの更新式を求める． 更新式（バッチ版）まとめ．オンライン版も． 10.6.3 事前分布がN(0,α-1I)と簡単な場合に超パラメータも最適化 2

3. ロジスティック回帰 2値ロジスティック回帰 参考：多値ロジスティック回帰 3 t∈{1,0} シグモイド関数 大事なこと： 回帰と言いながら教師あり分類問題 ソフトマックス関数

4. 宣伝＋α ロジスティック回帰は色々な名前で知られている： 最大エントロピー法，Log-linearモデル，項目反応理論 TOEICやTOEFLの問題の難易度や被験者の能力は，裏でwの値を見ている（たぶん）． ユーザが知らない語を（オンライン学習で） 予測して勝手に辞書を引いてくれるシステム ->変分ロジスティック回帰のオンライン版をあわよくば使おうと…画策中．（GW中ぐらい？） 4

5. シグモイド関数の性質 2値ロジスティック回帰 解析的に積分できない 5 10.148 σの微分もσで表せる ln σの微分もσで表せる

6. 10.6.1 最大化したい周辺尤度は， 6 10.147 10.152 これならwの指数二次形式だから積分（正規化）できる． 積分を阻害 個々のデータ点に対して変分パラメータξnがある

7. 変分下限 7 nがついているので局所 近似 変分下限を最大化 積分を阻害

8. 10.152のために10.144がある 8 10.152 10.144から， 10.149 局所的な変分下限 10.148 データがN個あるので 10.153

9. wに関する二次関数 9 10.155 wの二次関数．次数ごとに係数を見比べて： 10.156～158 残された問題：変分パラメータξをどう決めるか？->10.6.2へ

10. 10.6.2 変分パラメータξの最適化 Lをξに関して最大化したい．方法は2通り． wを潜在変数とみなしてEMアルゴリズム w に対する積分を計算してξを直接最大化 w に対する積分後，ξnで微分すると1.と同じ形に 1.から考えていく． 10 10.159

11. w潜在変数のEMアルゴリズム (1) 11 10.160～161 を代入すると，

12. w潜在変数のEMアルゴリズム (2) 12 ξnで微分して，0と置くと， 演習10.33 10.162 λ’（ξn)!=0だから， 10.163

13. wに関する積分を実行 (1) 13 （演習10.35） 10.159

14. wに関する積分を実行 (2) 14 10.164 これをξnに関して最大化（演習10.34）

15. バッチ版計算法まとめ(p.216頭) initialization:変分パラメータξoldの初期化 E-step M-step 15 10.156～158 10.163 EとMをξが適当な収束基準を満たすまで繰り返す． 実際には，通常，数回の繰り返ししか必要としない

17. SNの逆行列計算にWoodburyの公式を使える10.163 まだ来ていないデータは使えないので来ているデータだけを使う ->バッチほどには変分パラメータを最適値に近づけられない

18. オンライン版計算法まとめ 17 逆行列の計算量 dxd行列でd3 形を限定してd2に するのがWoodbury （1つ前のM-step）

19. 図10.13 18 予測分布の等高線はデータから離れるにしたがって開いており，それらの領域では分類の不確実性が高いことを示している． p(w|t)から５つ分離境界をサンプルしました． SVMみたいで綺麗でしょ！ 真ん中は曖昧だよね！

20. 10.6.3 超パラメータの推論 19 今までは超パラメータm0やS0が与えられているとして， p(w)=N(w|m0, S0)を考えていた．超パラメータも最適化するには？ ここでは，もうちょっと簡単な次の場合を考える． 10.165～168 この積分が実行できない まず，大域的な変分法でp(t)の下限L(q)を求める p(t|w)はシグモイド関数なので，まだ積分できない

21. 局所的変分法 20 局所的変分法 10.173 ←10.9 より， wに関する二次形式

22. 平方完成して最適化 21 10.174～176

23. q(α)，変分パラメータξの最適化 22 10.180,181 ξの最適化は10.163と同じ 10.177～179

24. 10.6.3 超パラメータの推論まとめ 23 付録Bより

25. やれればよかったこと 実装する RVM（ラプラス近似）と比較 24

26. 25 ご清聴ありがとうございました