Recommended
More Related Content
What's hot
What's hot (20)
Similar to CFML_learning_sato.pdf
Similar to CFML_learning_sato.pdf (20)
More from Masahiro Sato
CFML_learning_sato.pdf
- 2. 自己紹介 • 2013年くらいから情報推薦技術の研究 • 最近はバイオや医療関連も • 家に犬がいます 1
- 3. これまでの主な研究 • Modeling Individual Users‘ Responsiveness to Maximize Recommendation Impact (UMAP ‘16) <- 推薦に対する反応の個人化と購入率の伸び（＝因果効果）の最大化 • Explaining Recommendations Using Contexts (IUI ‘18) <- 行動誘発（＝因果効果）につながるコンテキストを用いた推薦説明 • Uplift-based Evaluation and Optimization of Recommenders (RecSys ‘19) <- 推薦による伸び（＝アップリフト＝因果効果）の評価とモデル最適化 • Unbiased Learning for the Causal Effect of Recommendation (RecSys ‘20) <- 推薦の因果効果をIPSで推定してランキング学習 • Causality-Aware Neighborhood Methods for Recommender Systems (ECIR ‘21) <- 推薦の因果効果をMatching estimatorで推定してランキング • Online Evaluation Methods for the Causal Effect of Recommendations (RecSys ‘21) <- 推薦の因果効果のオンライン評価方法 2
- 4. アウトライン • なぜ因果効果？（10分） • ランキング手法（15分） • オンライン評価手法（5分） 3
- 5. なぜ因果効果？ 4
- 6. 推薦システムの（ビジネス上の）目的 • ECサイト： 購入数増加→売上増加 • 動画/音楽視聴サービス： 視聴数増加→エンゲージメント向上 [Jannach ‘19] Measuring the Business Value of Recommender System 購入や視聴などのユーザー行動を 増やしたい 5
- 7. 一般的な推薦システム 1. ユーザーの嗜好（行動傾向）を学習 2. ユーザーの行動（購入/視聴）を予測 3. 購入/視聴の確率が高いアイテムを推薦 4. 推薦したアイテムを購入/視聴したら成功 6
- 8. 一般的な推薦システム 1. ユーザーの嗜好（行動傾向）を学習 2. ユーザーの行動（購入/視聴）を予測 3. 購入/視聴の確率が高いアイテムを推薦 4. 推薦したアイテムを購入/視聴したら成功 推薦しなくても購入/視聴してたかも？ 推薦したからこその購入/視聴でないと、 ユーザー行動は増えない。 7
- 9. 推薦有無の行動の場合分け 推薦したとき の行動 推薦しなかったとき の行動 行動変化 +1 0 0 ➖1 8 A C D B アイテム • 推薦有無の行動で４タイプに分かれる （ユーザーの行動を購入/視聴の有無で二値化） • Aタイプの推薦は従来評価だと「成功」だが行動増えない • Bタイプのアイテムを推薦したい [Sato ‘19] Uplift-based Evaluation and Optimization of Recommenders
- 10. 推薦有無の行動の場合分け 推薦したとき の行動 推薦しなかったとき の行動 行動変化 +1 0 0 ➖1 9 A C D B アイテム • 推薦してない状況下の行動履歴から学習すると（従来手法の 大半）、AとDを推薦してしまう • 推薦アイテムの行動履歴から学習した場合（bandit学習やoff- policy学習）は、AとBを推薦してしまう [Sato ‘19] Uplift-based Evaluation and Optimization of Recommenders
- 11. • 因果推論の枠組みで考える • Bタイプのアイテム＝因果効果の大きいアイテムを推薦したい 推薦有無の行動の場合分け +1 0 0 ➖1 10 A C D B アイテム Causal effect Potential outcomes [Sato ‘19] Uplift-based Evaluation and Optimization of Recommenders
- 12. 問題設定 • ユーザーの商品購入や動画視聴を増やす • 因果効果 で推薦リストをランキング、評価する 11
- 13. Aタイプの想定事例 • ECサイト： すでに買いたいものが決まっている →オススメされなくても検索して自分で見つけて買う • 動画視聴サービス： ある映画監督のファンで作品はすべて把握している →オススメしなくてもその監督の新作は視聴する • 論文のレコメンド： メジャーな国際会議や代表的な研究者はチェックしている →上記の範囲で関連論文があれば自分で見つけて読む 12
- 14. セレンディピティとの関連 • ユーザー視点だと、セレンディピティを目指した推薦に近い • セレンディピティはユーザー満足度につながる [Kotkov ‘18] 13 Serendipity = Relevance & Novelty & Unexpectedness The user would not have found this item on their own (without recommendation) [Kotkov ‘18] Investigating Serendipity in Recommender Systems Based on Real User Feedback 推薦したとき の行動 推薦しなかったとき の行動 行動変化 +1 B アイテム
- 15. 推薦の因果効果は現実的に重要？ • 実際にAタイプ（推薦有無に関わらず行動）はありうるのか？ →Amazonのオススメのクリックの75%以上は、 オススメしなくてもクリックされる（という分析報告） 14 [Sharma ‘15] Estimating the Causal Impact of Recommendation Systems from Observational Data
- 16. 推薦の因果効果は現実的に重要？ • 行動率が高いアイテムを推薦すれば行動増加も大きい？ →購入率が高い商品と、購入増加が大きい商品は異なる 推薦なしの購入率（予測） 推薦したときの購入率 （実測） 推薦による伸び 15 [Sato ‘16] Modeling Individual Users‘ Responsiveness to Maximize Recommendation Impact
- 18. ランキング手法 17
- 20. 評価指標 • ランキング評価指標の因果効果版 19 ランキング順位 モデルの出力スコア ランキング順に依存した重み 行動有無 因果効果 [Sato ‘20] Unbiased Learning for the Causal Effect of Recommendation ↓ AUCにほぼ比例 ↑ normalizeしていないNDCG
- 21. アプローチ1 • 推薦有無のPotential outcomesをそれぞれ推定し、その差分 を因果効果の推定値としてランキング • [Bodapati ‘08]: 推薦するとexposureが100%になるexposure model • RecResp [Sato’16]: 推薦の影響度変数をユーザー/アイテムごとに • CUBN/CIBN [Sato ‘21]: (あとで紹介) • CausCF [Xie ‘21]: 推薦の影響をpairwise tensor factorizationで表現 20 [Bodapati ‘08] Recommendation Systems with Purchase Data [Sato ‘16] Modeling Individual Users‘ Responsiveness to Maximize Recommendation Impact [Sato ‘21] Causality-Aware Neighborhood Methods for Recommender Systems [Xie ‘21] CausCF: Causal Collaborative Filtering for Recommendation Effect Estimation
- 22. アプローチ2 • 因果効果順のランキングになるようなスコアを学習(ランキン グ学習） • ULBPR/ULRMF [Sato ‘19]: ユーザー行動を4つにわけ、それぞれが タイプA~Dのどれを含むかをもとに学習データサンプリング • DLCE [Sato ‘20]: (あとで紹介) • DRUL [Xiao ‘22]: doubly robustで因果効果を推定してCausal DCG を最適化 21 [Sato ‘19] Uplift-based Evaluation and Optimization of Recommenders [Sato ‘20] Unbiased Learning for the Causal Effect of Recommendation [Xiao ‘22] Towards Unbiased and Robust Causal Ranking for Recommender Systems
- 23. • 個々のuser-itemペアに対するground truthが得られない！ 評価・学習の難しさ： Unobservable Nature 推薦したとき の行動 推薦なしでの 行動 どちらか一方しか観測 できない！ 両方わからないと算出 できない 22
- 24. • 推薦有無( )とpotential outcomes( , )の両方が、ユー ザーやアイテムの特性( , )に依存するため、confounding biasが生じる。 因果効果推定の難しさ：Confounding Bias 23 [Sato ‘20] Unbiased Learning for the Causal Effect of Recommendation
- 25. バイアス除去の方法 • 因果推論の不偏推定の手法が用いられる • CUBN/CIBN [Sato ‘21] <- Matching estimator • DLCE [Sato ‘20] <- Inverse propensity scoring (IPS) estimator • DRUL [Xiao ‘22] <- Doubly robust (DR) estimator 24 [Sato ‘21] Causality-Aware Neighborhood Methods for Recommender Systems [Sato ‘20] Unbiased Learning for the Causal Effect of Recommendation [Xiao ‘22] Towards Unbiased and Robust Causal Ranking for Recommender Systems
- 26. バイアス除去の方法 • 因果推論の不偏推定の手法が用いられる • CUBN/CIBN [Sato ‘21] <- Matching estimator • DLCE [Sato ‘20] <- Inverse propensity scoring (IPS) estimator • DRUL [Xiao ‘22] <- Doubly robust (DR) estimator 25 [Sato ‘21] Causality-Aware Neighborhood Methods for Recommender Systems [Sato ‘20] Unbiased Learning for the Causal Effect of Recommendation [Xiao ‘22] Towards Unbiased and Robust Causal Ranking for Recommender Systems
- 27. IPS-based Unbiased Estimator 評価指標の IPS-based estimator 観測不可能 観測可能 推薦の 有無 推薦される確率 (=“propensity”) 購入/視聴 26
- 30. Unbiased Learning for Causal AR • ランキング指標は微分不可なのでupper boundを導出 この２つの項に対してSGDで学習 29
- 31. (11,331 items) Performance Comparison (Dunnhumby data) 従来 手法 提案手法 Biased not 学習手法の比較なので、モデル は統一して Matrix factorization
- 33. Robustness to Miss-specified Propensity Category-Original Product-Original 推定誤差の程度 提案手法にはPropensityが必要 ->propensityのログなかったら推定必要 ->推定誤差があっても大丈夫？ 推定誤差の程度 1.0だと propensityは 一様と予測
- 34. バイアス除去の方法 • 因果推論の不偏推定の手法が用いられる • CUBN/CIBN [Sato ‘21] <- Matching estimator • DLCE [Sato ‘20] <- Inverse propensity scoring (IPS) estimator • DRUL [Xiao ‘22] <- Doubly robust (DR) estimator 33 [Sato ‘21] Causality-Aware Neighborhood Methods for Recommender Systems [Sato ‘20] Unbiased Learning for the Causal Effect of Recommendation [Xiao ‘22] Towards Unbiased and Robust Causal Ranking for Recommender Systems
- 35. Matching Estimator for Causal Inference • 対象と類似したsubjectsをコントロール群から選んで（マッチさ せて）、outcomeの差分から因果効果を推定する 34 Subject n (treated) Other untreated subjects (control) ?
- 36. Neighborhood method for Recommenders • 類似ユーザーの行動から推定する（推薦技術の伝統的手法） 35 User u Other users User-Based Neighborhood (UBN)
- 37. Causality-aware UBN • 両者の考え方を合わせた手法 • 類似ユーザーからpotential outcomesを推定 36 indicator of recommendation (=1, if recommended) (=1, if Not recommended) when u-i is recommended in logged data when u-i is not recommended in logged data
- 38. Similarityの算出方法 • User similarity by outcomes (CUBN-O) インタラクションするアイテムが似ているとsimilarとみなす • User similarity by treatment assignments (CUBN-T) 推薦されているアイテムが似ているとsimilarとみなす 37
- 39. Shrinkage parameterの導入 • 近傍ユーザーが少なかったり、近傍ユーザーとの類似度が小 さいと、potential outcomesの推定誤差が大きくなる • 推定誤差の大きいアイテムがたまたま上位にランキングされ ると困る • 類似度の和が小さいときは推定値が0に縮退するように補正 38
- 40. Performance Comparison (MovieLens) 39 Proposed Methods Previous Methods for this problem or related problem -O: similarity by -T: similarity by
- 41. Robustness to Propensity Unevenness IPSはpropensityが極端に小さかったり大き い場合にvarianceが大きくなる。 CUBNはその影響を受けにくいことを実証。
- 42. どの手法がよい？ • オフライン評価の結果からは概ね以下の通り • [Bodapati ‘08] < RecResp [Sato’16] < ULBPR [Sato ‘19] < DLCE [Sato ‘20] < CUBN [Sato ‘21] / DRUL [Xiao ‘22] (CUBNとDRULの比較評価はまだない） • しかしground truthがないため、評価自体もestimatorの性能 に依存 • シミュレートデータだとground truthがあるが、シミュレーター の現実再現度に依存 • オンライン評価が必要 41
- 43. オンライン評価手法 42
- 44. ２パターンのABテスト • パターン1）推薦リスト内の平均インタ ラクション数を比較 → YTを評価しており、因果効果を評 価できていない • パターン2)推薦していないアイテムも 含めてトータルのインタラクション数を 比較 →因果効果を評価できるが、評価ば らつきが大きい →多くのユーザーで評価する必要 （非効率！） 43 Item Item Item Item Item Item Item Item User in A group User in B group Item Item Item Item Item Item Item Item Item Item Item User in A group User in B group … Item Item Item … 推薦 アイテム (大量の) 非推薦 アイテム
- 45. 非効率なオンライン評価の弊害 • モデルの優劣を判断するのに時間がかかる • 評価したモデルが性能低かったときの悪影響が大きくなる 44 多くのユーザーの不満 売上低下による事業ダメージ Boring! Boring!
- 46. 非効率なオンライン評価の弊害 • モデルの優劣を判断するのに時間がかかる • 評価したモデルが性能低かったときの悪影響が大きくなる 45 多くのユーザーの不満 売上低下による事業ダメージ Boring! Boring! 推薦の因果効果に対する効率的 なオンライン評価手法が必要
- 47. • インターリービング：複数リストから交互挿入したリストを生成 し、生成リストをユーザーに提示して結果を集計 • 因果効果評価に必要な条件を満たすようにリストを生成し、非 推薦アイテムも観測 因果効果評価用のインターリービング手法 46 通常のイン ターリービング 因果効果用のイ ンターリービング Do the above satisfying (conditional) independence and positivity Only items in interleaved list ( のみ観測) Item Item Item Item Item Item Item Item Item Item Item Item Item Item Item Item Item Item Item Item Also items not in interleaved list ( も観測) リスト生成 結果の集計 [Sato ‘21] Online Evaluation Methods for the Causal Effect of Recommendations
- 48. • 以下のindependenceを満たすようにリスト生成 • ただし全アイテムに対してではなく、リストA,Bの和集合内のア イテムに対して満たせばよい 提案手法１：EPI (Equal Probability Interleaving) - RCT 47 [Sato ‘21] Online Evaluation Methods for the Causal Effect of Recommendations Select n items with equal probability Simply takes the difference in average outcomes of and as in randomized controlled trials (RCT) リスト生成 結果の集計
- 49. • propensityはリスト生成方法に依存するが既知 • 以下のconditional independenceが成り立つ • あとはリストA,Bの和集合内でpositivityが成り立てばよい 提案手法２：CBI (Causal Balanced Interleaving) - IPS 48 [Sato ‘21] Online Evaluation Methods for the Causal Effect of Recommendations Select n items satisfying positivity Unbiased estimates by inverse propensity scoring (IPS) リスト生成 結果の集計 この研究ではリストA,Bから バランスよく選択
- 50. • 評価に必要なユーザー数は、ABテストの約1/30 （ただしシミュレーションによる検証） オンライン評価効率の検証実験 49 [Sato ‘21] Online Evaluation Methods for the Causal Effect of Recommendations モデルの優劣を誤 判断する確率 AB-total: パターン2の推薦して いないアイテムも含めてトータル のインタラクション数を比較
- 51. まとめ 50
- 52. • 推薦の因果効果は売上やエンゲージメント向上のために重要 • 因果効果順にアイテムをランキングする手法 • アプローチA: 推薦有無のPotential outcomesをそれぞれ推定し、その 差分を因果効果の推定値としてランキング • アプローチB:因果効果順のランキングになるようなスコアを学習(ランキ ング学習） • confounding biasに対処するためにIPSやmatching estimator • 推薦システムの因果効果のオンライン比較評価手法 • 因果効果評価用のインターリービング まとめ 51
- 53. • オフライン評価の精度はまだまだ低い (doubly robustでも） • 推薦リスト内のアイテム間の独立性を仮定（no interference） • 表示位置等に関わらず同じ推薦と仮定(no multiple versions) • （同じアイテムの）リピート購入や繰り返し推薦の扱い • 本当のオンライン評価は未実施 • ユーザー満足度の評価も未実施 Limitation (Future Work) 52
- 54. APPENDIX 53
- 55. よく推薦されるアイテムの傾向 54 [Sato ‘19] Uplift-based Evaluation and Optimization of Recommenders
- 56. よく推薦されるアイテムの傾向 55 [Xiao ‘22] Towards Unbiased and Robust Causal Ranking for Recommender Systems
- 59. Performance Comparison 58 [Sato ‘21] Causality-Aware Neighborhood Methods for Recommender Systems
- 60. Performance Comparison 59 提案手法 精度重視の手法 因果効果ランキ ングの従来手法 [Xiao ‘22] Towards Unbiased and Robust Causal Ranking for Recommender Systems
- 61. Off-Policy Evaluation Performance 60 [Xiao ‘22] Towards Unbiased and Robust Causal Ranking for Recommender Systems