「RTBにおける機械学習の活用事例」 【23卒/24卒エンジニア】オンライン勉強会 https://microad.connpass.com/event/255302/ #MicroadDevs

1. 23・24卒向け夏季勉強会
2022/8/22(月)
MicroAd inc. システム開発本部
福島大祐

2. 自己紹介
福島 大祐
株式会社マイクロアド システム開発本部 機械学習エンジニア
【担当領域】
• CTR/CVR 予測
• ダイナミックレコメンド
• 入札戦略
【略歴】
• 金沢大学
• 名古屋工業大学大学院
▶ 機械学習, 病理画像解析
• マイクロアド 2020 年新卒入社 (3 年目)
Fukushima Daisuke (MicroAd inc.) 2022/8/22(月) 1 / 37

3. Contents
1 Real Time Bidding (RTB) とは
2 RTB の入札戦略
3 CTR/CVR 予測
4 入札制御
5 MLOps
Fukushima Daisuke (MicroAd inc.) 2022/8/22(月) 2 / 37

4. Contents
1 Real Time Bidding (RTB) とは
2 RTB の入札戦略
3 CTR/CVR 予測
4 入札制御
5 MLOps
Fukushima Daisuke (MicroAd inc.) 2022/8/22(月) 3 / 37

5. 基本用語
広告主 : 広告を出すことで製品の認知度をあげたりブランド形成を行いたい
媒体主 : 運営しているメディア (Web サイトなど) に広告を掲載して利益を得たい
インプレッション : 広告の表示のこと
クリック : 広告クリックのこと
コンバージョン : 広告により成果を達成 (商品の購買, 申し込みなど) すること
Fukushima Daisuke (MicroAd inc.) 2022/8/22(月) 4 / 37

6. Real Time Bidding (RTB)
RTB
1 インプレッションに対してリアルタイムで入札を行う仕組み
オークション
SSP DSP
できるだけ収益を多くしたい できるだけ
効率よく配信したい
メディア 広告
• SSP(Supply Side Platform) : メディアの収益を最大化するプラットフォーム
• DSP(Demand Side Platform) : 広告配信を最適化するプラットフォーム
広告主と媒体主の利害を一致するべく開発された取引形態
Fukushima Daisuke (MicroAd inc.) 2022/8/22(月) 5 / 37

7. RTB の仕組み
広告枠
サイト訪問
SSP
DSP1
DSP3
DSP2
Step 1
• ユーザーがサイトに訪問し, SSP に広告リクエストを送信
•
Fukushima Daisuke (MicroAd inc.) 2022/8/22(月) 6 / 37

8. RTB の仕組み
広告枠
サイト訪問
SSP
DSP1
DSP3
DSP2
Step 1
• ユーザーがサイトに訪問し, SSP に広告リクエストを送信
• SSP は接続している DSP に広告の入札をリクエスト
Fukushima Daisuke (MicroAd inc.) 2022/8/22(月) 7 / 37

9. RTB の仕組み
広告枠
サイト訪問
SSP
DSP1
DSP3
DSP2
旅行広告
転職広告
車広告
10円
15円
20円
Step 2
• DSP はそれぞれ入札する広告と入札額を決定
▶ 入札する広告や入札額の決定は DSP ごとの入札ロジックに依存
Fukushima Daisuke (MicroAd inc.) 2022/8/22(月) 8 / 37

10. RTB の仕組み
広告枠
サイト訪問
SSP
DSP1
DSP3
DSP2
旅行広告
転職広告
車広告
10円
15円
20円
Step 3
• DSP は SSP にレスポンスを返す
•
Fukushima Daisuke (MicroAd inc.) 2022/8/22(月) 9 / 37

11. RTB の仕組み
サイト訪問
SSP
DSP1
DSP3
DSP2
旅行広告
転職広告
車広告
10円
15円
20円
転職広告
Step 3
• DSP は SSP にレスポンスを返す
• SSP はその中から最も高い値段のついた広告を選択し表示
Fukushima Daisuke (MicroAd inc.) 2022/8/22(月) 10 / 37

12. Contents
1 Real Time Bidding (RTB) とは
2 RTB の入札戦略
3 CTR/CVR 予測
4 入札制御
5 MLOps
Fukushima Daisuke (MicroAd inc.) 2022/8/22(月) 11 / 37

13. 入札の最適化
DSP
ログ蓄積
SSP
機械学習
入札戦略
広告
広告候補
1600億件/月
メディア
入札
リクエスト/フィードバック
入札額
ad
• 蓄積される膨大なログから配信を最適化していく
▶ 入札広告の選択
▶ 入札金額の計算
▶ ect..
Fukushima Daisuke (MicroAd inc.) 2022/8/22(月) 12 / 37

14. 入札戦略
■ DSP は入札リクエストに対して, いくらで入札するのが良いのか?
入札戦略
入札リクエスト
広告, 入札額
入札額決定
(ユーザー, ページ情報, ...)
広告の選択
• 直感的には
▶ 広告効果が高い ⇒ 高い入札額
▶ 広告効果が低い ⇒ 低い入札額
入札戦略の目的
• 目標値 (広告主の期待する広告効果) の達成
• スムーズな予算消化
Fukushima Daisuke (MicroAd inc.) 2022/8/22(月) 13 / 37

15. Contents
1 Real Time Bidding (RTB) とは
2 RTB の入札戦略
3 CTR/CVR 予測
4 入札制御
5 MLOps
Fukushima Daisuke (MicroAd inc.) 2022/8/22(月) 14 / 37

16. RTB における CTR/CVR 予測
CTR/CVR 予測 = インプレッションの価値の推定
入札金額の算出方法の例
入札額 ∝
{
CPC × CTR (CPC 目標の場合)
CPA × CVR (CPA 目標の場合)
(1)
CPC (Cost per Click) : 1 クリックあたりのコスト
CPA (Cost per Action) : 1 コンバージョン (購買, 申込 . . .) あたりのコスト
より適切な入札額を求めるために, 正確な CTR/CVR 予測が必要
Fukushima Daisuke (MicroAd inc.) 2022/8/22(月) 15 / 37

17. 問題設定
■ 入札リクエストに対する, クリック (or コンバージョン) するかどうかの二値分類問題
• 学習データセット : {(xi, yi)}N
i=1
▶ x : 特徴ベクトル
▶ y ∈ {0, 1} : 正解ラベル (クリックされた場合 1)
広告ID URL ユーザーID 曜日 クリック
http://aaa.co.jp/hoge
http://bbb.com/fuga
xxxxxxxxxx
yyyyyyyyy
34345
11671
金曜日
木曜日
0
1
• CTR = P(y = 1|x)
Fukushima Daisuke (MicroAd inc.) 2022/8/22(月) 16 / 37

18. 問題設定
■ データセットの特徴
• ほとんどの特徴量がカテゴリ変数
• 非常に不均衡
▶ インプレッション : 数億 / day に対し, クリックはせいぜい数%程度
• カーディナリティの高い特徴量が多数
▶ URL, タグ ID ect...
Fukushima Daisuke (MicroAd inc.) 2022/8/22(月) 17 / 37

19. 予測モデル
■ 以下の制約を満たせる 2 クラス分類モデルであれば利用可能
• RTB のレスポンス時間は 100ms 程度
▶ ネットワークの通信時間も考慮すれば, アプリケーションで使える時間は 50ms 程度
▶ その中で, CTR/CVR 予測に使える時間は数 ms ⇒ 推論速度に制約
■ 以前は扱いやすさや推論が高速なメリットからロジスティック回帰が主流
p(y = 1|x) =
1
1 + e−w⊤x
(2)
• 昨今では, ロジスティック回帰以外にも多数提案・実用されている
▶ factorization machine ベース
▶ Deep learnining ベース
▶ GBDT ベース
Fukushima Daisuke (MicroAd inc.) 2022/8/22(月) 18 / 37

20. マイクロアドでの予測モデル
マイクロアドでは, GBDT フレームワークの 1 つである, LightGBM を利用
• カテゴリ変数の扱いが容易
• 高い識別性能
Table: マイクロアドの RTB ログを用いた比較実験の結果
手法 Normalized Entropy PR-AUC
Entity Embedding1 + logistic redression 0.890435 0.030371
Entity Embedding + XGBoost 0.842168 0.041808
LightGBM 0.832628 0.046433
1
Entity Embeddings of Categorical Variables, [Cheng Guo, 2016]
Fukushima Daisuke (MicroAd inc.) 2022/8/22(月) 19 / 37

21. 確率補正
■ 以下の理由から, 予測モデルの出力をそのまま CTR として扱うことは不適切
• 学習データから負例のアンダーサンプリングを行っている.
▶ 学習時間の短縮や使用メモリの制限から, 負例をランダムにアンダーサンプリングして使用
=⇒ 学習データの分布が本来の分布とずれ, 予測値が不当に高騰
• 表現力の高いモデルなどは予測が極端になりやすく, 予測値をそのまま確率として解釈
することが不適切
マイクロアドでは, この問題に対し, Isotonic Regression による確率補正 2 で対処
2
Predicting Good Probabilities With Supervised Learning [Alexandru Niculescu-Mizil, 2005]
Fukushima Daisuke (MicroAd inc.) 2022/8/22(月) 20 / 37

22. Isotonic Regression による確率補正
２クラス分類器の学習データとは別に, Isotonic Regrssion の学習データを準備
• 学習データセット : {(f(xi), yi)}N
i=1
▶ f(·) : 別データで学習済みの 2 クラス分類器
▶ yi ∈ {0, 1} : クリックラベル
Isotonic Regression では, 次の単調増加な等張関数 m(·) を学習する
yi = m(f(xi)) + ϵ (3)
Isotonic Regression学習
学習データ
補正用データ
分類器学習
学習済みモデルで推論
(under samplingなし, 直近データ)
step 1
step 2
Fukushima Daisuke (MicroAd inc.) 2022/8/22(月) 21 / 37

23. Isotonic Regression による確率補正
Isotonic Regresssion の学習には pair-adjacent violators(PAV) algorithm を用いる
1 {(fi, yi)}N
i=1 を fi の順にソート
2 m̂(fi) = yi で初期化
3 正解ラベルの順序に間違いがあれば平均値で
置換
4 推論の際に学習データセット中にない値は, 最
近傍の値を出力
つまり,
• 分類器が事例を正しくランク付けできている部分では少ない事例で平均化
• ランク付けが間違っている部分 (分類器の信頼度が低い部分) では, より多くの事例で平
均化
Fukushima Daisuke (MicroAd inc.) 2022/8/22(月) 22 / 37

24. 推論時
Isotonic Regression
LightGBM 予測CTR
リクエスト
■ 特徴量
• 特徴量は入札リクエストに乗ってくるものの他に別の予測モデルで予測したものも利用
▶ web ページのカテゴリ推定
▶ ユーザーのデモグラ推定
• ユーザーの行動系特徴量も利用
▶ 24 時間以内のアクセス回数 など
Fukushima Daisuke (MicroAd inc.) 2022/8/22(月) 23 / 37

25. Contents
1 Real Time Bidding (RTB) とは
2 RTB の入札戦略
3 CTR/CVR 予測
4 入札制御
5 MLOps
Fukushima Daisuke (MicroAd inc.) 2022/8/22(月) 24 / 37

26. 入札制御
入札額の計算方法には様々な考え方がある
• 予測 CTR/CVR × 目標値
• 予測落札額で入札
• etc...
入札戦略の目的
• 目標値 (広告主の期待する広告効果) の達成
• スムーズな予算消化
どの方法で入札金額を算出すれば良いのか?
Fukushima Daisuke (MicroAd inc.) 2022/8/22(月) 25 / 37

27. 入札制御
課題
• 広告キャンペーンごとに最適な入札金額の計算方法が異なる
▶ 広告キャンペーンごとに予算や目標効果が全然違う
▶ CTR/CVR 予測も完璧ではない
=⇒ 広告キャンペーンごとに最適な入札関数を選びたい
上記より, 今回の問題を
「目標予算を消化できる範囲内で効果が最大 (CPA/CPC/CPV/CPCV が最小) になるときの
入札関数の適用比率」
を求める最適化問題として考える
(複数の入札関数を試しつつ最適なものを選択する制約付きバンディットの問題と考えること
もできる)
Fukushima Daisuke (MicroAd inc.) 2022/8/22(月) 26 / 37

28. 定式化
毎時間, 広告キャンペーンごとに以下の線形計画問題を解く
• xsp : SSP s ∈ S における入札関数 p ∈ P の比率 (S : 配信可能な SSP 集合)
• effectsp : SSP s ∈ S における入札関数 p ∈ P の効果 (CPC, CPA など)
• e conssp : SSP s ∈ S における入札関数 p ∈ P の期待消化金額 3
• target cons : 次の 1 時間の目標消化金額
arg min
xsp
∑
s∈S
∑
p∈P
effectsp · xsp
s.t.
∑
s∈S
∑
p∈P
e conssp · xsp ≥ target cons
∑
p∈P
xsp = 1 (∀s ∈ S)
xsp ≥ 0.05 (∀s, p ∈ S, P)
3
次の 1 時間に適用率 100%で配信した時に期待される消化金額
Fukushima Daisuke (MicroAd inc.) 2022/8/22(月) 27 / 37

29. 各要素の計算方法
■ target cons : 次の一時間の目標消化金額
• 広告キャンペーンの日予算上限の残りを推定リクエスト数で分配した時の次の 1 時間の
金額
target cons = (残り予算) ×
reqs(t + 1)
∑24
m=t+1 reqs(m)
• reqs(t) : 時刻 t の推定リクエスト数
▶ 対象キャンペーンのターゲティング設定に該当するリクエスト数の直近 5 日間平均
Fukushima Daisuke (MicroAd inc.) 2022/8/22(月) 28 / 37

30. 各要素の計算方法
■ e conssp : SSP s ∈ S における入札関数 p ∈ P の次の 1 時間の期待消化金額
• 最新の 1 時間の実際の消化金額をもとに見積もる
配信時の期待消化金額 = (実際の消化金額) ×
1
適用比率
×
1
ペーシング率
• 配信時の 1 時間と次の 1 時間のリクエスト数の変化を考慮
e conssp = (配信時の期待消化金額) ×
reqs(t + 1)
reqs(t − n)
Fukushima Daisuke (MicroAd inc.) 2022/8/22(月) 29 / 37

31. 各要素の計算方法
■ effectsp : SSP s ∈ S における入札関数 p ∈ P の効果
• 直近 2 週間分の実績を集計して利用
Fukushima Daisuke (MicroAd inc.) 2022/8/22(月) 30 / 37

32. 実際の更新ログ
テスト稼働中の広告キャンペーンの実行結果
■ 2022/7/21 20:00 の更新結果 4
• daily limit: 4000.0
• remaining budget: 491.93110733000003
• next hourly target consumption: 173.33852947276674
4
配信の出てる SSP のみ表示
Fukushima Daisuke (MicroAd inc.) 2022/8/22(月) 31 / 37
▶

33. 試験導入の結果
• テスト稼働の広告キャンペーン 2 件で, 約 20%の CPA の改善
• ただし, 期待消化金額の計算精度に課題があることも見つかっている
▶ 累積情報を使って計算する方法 (サンプリングによる期待値計算) に変えて実験中
Fukushima Daisuke (MicroAd inc.) 2022/8/22(月) 32 / 37

34. Contents
1 Real Time Bidding (RTB) とは
2 RTB の入札戦略
3 CTR/CVR 予測
4 入札制御
5 MLOps
Fukushima Daisuke (MicroAd inc.) 2022/8/22(月) 33 / 37

35. CTR/CVR 予測の学習基盤
■ 機械学習モデルの実装から学習サイクルまでを円滑に管理するための学習基盤が必要
• 学習の自動化・監視
▶ 毎時間対象の RTB ログが蓄積
▶ より新しいデータを予測モデルに反映したい ⇒ 定期的な予測モデルの再学習が必要
• テスト・デプロイの整備
• 実験の簡易化
▶ 精度改善のための実験を効率よく行うための整備
マイクロアドでは, 機械学習基盤を GCP (Google Cloud Platform) で構築
Fukushima Daisuke (MicroAd inc.) 2022/8/22(月) 34 / 37

36. CTR/CVR 予測の学習基盤
機械学習モデルの学習は AI-Platform Training で定期実行
Fukushima Daisuke (MicroAd inc.) 2022/8/22(月) 35 / 37

37. 機械学習エンジニアの業務内容
主な業務内容
機械学習プロジェクトに関する調査・開発・運用全般
■ 既存プロダクトの改善
• 精度改善 (例: CTR 予測の精度改善)
▶ 論文・事例調査, 実験 ⇒ A/B テスト
• 運用改善
■ 新規機能・プロダクトの提案・導入
• ビジネス課題を機械学習の問題に落とし込み
• 既存研究など調査・検証 ⇒ 開発
Fukushima Daisuke (MicroAd inc.) 2022/8/22(月) 36 / 37

38. 以下で情報発信もしています!
Twitter
@microad dev
技術ブログ
developers.microad.co.jp
Fukushima Daisuke (MicroAd inc.) 2022/8/22(月) 37 / 37