14. ビッグデータへの機械学習応⽤用事例例:
⽶米国の巨⼤大Web企業から他業種へ広がりつつある
l Google
l 検索索アルゴリズム(PageRank)
l 広告最適化
l SEO対策
バイオ
l Facebook
l 広告最適化
l 知り合い候補レコメンド
l Amazon ヘルスケア
l おすすめ商品
メディア
l Twitter
l トレンドワード検出
l 知り合い候補レコメンド
M2M
14
A. Barua, D. Mani, R. Mukherjee, “Measuring the Business Impacts of Effective Data”,
The University of Texas at Austin 2010
27. 分散リアルタイム機械学習は⾃自明でない
分散処理理とオンライン オンラインでモデル更更新=頻繁な同期操作
学習のナイーブに組み合わせ
サーバー1 L L L L
Update
Update
Update
Update
サーバー2 L L L L
サーバー3 L L L L
time
頻繁な
同期操作
モデル更更新
オンライン機械学習 相反
27
分散アルゴリズム
に必須 に必須
34. UPDATE-MIX-ANALYZEモデル(例例:平均計算)
• Update
• Sum += x
• Num += 1
Sum 0 Sum 0 Sum 0
• Mix
Num 0 Num 0 Num 0
• Sum ← Sum1 + Sum2
• Num ← Num1 + Num2
• Analyze
• return Sum/Num
34
35. UPDATE-MIX-ANALYZEモデル(例例:平均計算)
• Update
• Sum += x
• Num += 1
Sum 5 Sum 0 Sum 0
• Mix
Num 1 Num 0 Num 0
• Sum ← Sum1 + Sum2
• Num ← Num1 + Num2
• Analyze 5
• return Sum/Num
35
36. UPDATE-MIX-ANALYZEモデル(例例:平均計算)
• Update
• Sum += x
• Num += 1
Sum 5 Sum 7 Sum 0
• Mix
Num 1 Num 1 Num 0
• Sum ← Sum1 + Sum2
• Num ← Num1 + Num2
• Analyze 7
• return Sum/Num
36
37. UPDATE-MIX-ANALYZEモデル(例例:平均計算)
• Update
• Sum += x
• Num += 1
Sum 10 Sum 50 Sum 30
• Mix
Num 2 Num 4 Num 3
• Sum ← Sum1 + Sum2
• Num ← Num1 + Num2
• Analyze Average? 12.5
• return Sum/Num
37
38. UPDATE-MIX-ANALYZEモデル(例例:平均計算)
Mix
• Update
• Sum += x
• Num += 1
Sum 10 Sum 50 Sum 30
• Mix
Num 2 Num 4 Num 3
• Sum ← Sum1 + Sum2
• Num ← Num1 + Num2
• Analyze
• return Sum/Num
Sum:10+50+30=90
Num:2+4+3=9
38
39. UPDATE-MIX-ANALYZEモデル(例例:平均計算)
• Update
• Sum += x
• Num += 1
Sum 90 Sum 90 Sum 90
• Mix
Num 9 Num 9 Num 9
• Sum ← Sum1 + Sum2
• Num ← Num1 + Num2
• Analyze
• return Sum/Num
39
40. UPDATE-MIX-ANALYZEモデル(例例:平均計算)
• Update
• Sum += x
• Num += 1
Sum 90 Sum 90 Sum 90
• Mix
Num 9 Num 9 Num 9
• Sum ← Sum1 + Sum2
• Num ← Num1 + Num2
• Analyze Average? 10
• return Sum/Num
40
41. JubatusのMIX付き分類モデル
w1 w
MIX
w2 w
wn w
1
w= ( w1 ++ w n )
各サーバーが個別にオンライン学習し n
MIX時に重みを平均化する
41