研究室の輪講で使用した3D Gaussian Splattingの解説スライド．

1. 4.5.2024
3D Gaussian Splatting for Real-Time Radiance Field Rendering
東京電機大学システムデザイン工学部情報システム工学科
鈴木 幹大（Mikihiro SUZKI）

2. 2
Title: 3D Gaussian Splatting for Real-Time Radiance Field Rendering
Conference: SIGGRAPH 2023
Author: Bernhand KERBL, Geogios KOPANAS,
Thomas LEIMKYUHLER, George DRETTAKIS
論文情報

3. Introduction
01

4. 4
3D Gaussian Splattingという新規視点生成タスク手法を提案．
NeRF[1]では困難だったリアルタイムなレンダリングを実現．
複数の3D Gaussianを組み合わせてシーン表現．
研究概要
[1] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis,Ben Mildenhall, Pratul P. Srinivasan, Matthew
Tancik, Jonathan T. Barron, Ravi Ramamoorthi, Ren Ng (ECCV2020)
図1．3D Gauss Splattingと従来研究を比較
短い学習時間・高FPS・高品質な新規視点生成を実現

5. 5
1080pの解像度で30FPS以上のリアルタイムな新規視点生成が可能．
NeRFの改良版であるMip-NeRF360は0.071FPSであり，1つの新規視点生成に
14秒かかるのでリアルタイムとは言えない．
生成した新規視点画像の品質はNeRF以上．
貢献
シーン表現にMLPを用いるため，時間がかかる．

6. 6
各3D Gaussianは以下のパラメータで表現．
位置：三次元空間における3D Gaussianの中心座標
共分散：𝑥, 𝑦, 𝑧方向にどのように伸びているかを表す行列
色：RGB値
不透明度：α
球面調和係数：SH
3D Gaussian
図．単一の3D Gaussianを二次元で見たイメージ
球面上での光の分布や照明効果を近似．
値域はすべての実数．
𝑌(𝜃, 𝜑)

7. 7
不透明度αを無視してシーンをレンダリング．
確かに楕円の集合でシーンが構成されていることが分かる．
下図は約700万個の3D Gaussianが存在．
3D Gaussianの可視化
図．通常のレンダリング 図．不透明度を無視したレンダリング

8. Related Work
02

9. 9
Structure from Motion（SfM）は，複数枚の画像から特徴点を抽出
し，異なる画像間の対応関係を見つ出して疎な点群を推定．
Multi-View Stereo（MVS）は，複数枚の画像とカメラの外部パラ
メータを用いて，高密度な点群を推定．
三次元再構成の古典手法
未再構築領域や過剰再構築領域が発生し，
完全な三次元再構築は困難．

10. 10
NeRFは高品質な新規視点生成を達成したが，シーン表現にMLPを
用いるため，レンダリング速度が極めて遅い．
近年，Mip-NeRF360[2]，InstantNGP[3]，Plenoxels[4]などの多様な
派生研究が進められ，画像の品質向上とレンダリング速度の向上
を目指している．
Neural RenderingとRadiance Fields
[2] Jonathan T Barron, Ben Mildenhall, Matthew Tancik, Peter Hedman, Ricardo Martin- Brualla, and Pratul P Srinivasan. 2021. Mip-nerf: A multiscale
representation for anti-aliasing neural radiance fields. [3] Thomas Müller, Alex Evans, Christoph Schied, and Alexander Keller. 2022. InstantNGP[4] Fridovich-
Keil and Yu, Matthew Tancik, Qinhong Chen, Benjamin Recht, and Angjoo Kanazawa. 2022. Plenoxels: Radiance Fields without Neural Networks.
本研究は，MLPを用いずに
3D Gaussianの集合でシーン表現をする．

11. 11
Point-Based Renderingでは，点群などの非構造化ジオメトリを投影
するだけなので，効率的にRadiance Fieldsのレンダリングが可能．
従来研究は初期のジオメトリがMVSに依存するため，特徴のない
領域のサンプリングが困難で欠損領域が発生．
Point-Based RenderingとRadiance Fields
本研究は， 3D Gaussianの適応制御により，
既存のPoint-Based手法で困難だった箇所を表現可能．

12. Method
03

13. 13
SfMで得られる疎な点群を3D Gaussianに置換．
3D Gaussianの集合を最適化．
高速な微分可能ラスタライザで2Dにレンダリング．
3D Gaussian Splattingの概要
図2．3D Gaussian Splatting の概要図

14. 14
微分可能なため，最適化アルゴリズムを適用可能．
三次元から二次元への投影が容易．
3D Gaussianの採用理由

15. 15
SfMで推定した点群は疎なため，適切な法線推定が困難．
3D Gaussianは法線を必要とせずに，三次元構造を表現可能．
SfMの点群を3D Gaussianの集合に変換する式は以下．
𝐺 𝒙 = exp −
1
2
𝒙𝑇∑−1𝒙
𝒙：三次元空間における点の位置
法線を必要としない

16. 16
三次元から二次元への投影が可能．投影の式は以下．
∑′ = 𝑱𝑾∑𝑾𝑇
𝑱𝑇
∑:ワールド座標系での共分散行列 𝑾:ワールド座標系からカメラ座標系への変換行列
𝑱:𝑾のアフィン近似のヤコビアン行列 ∑’:カメラ座標系での共分散行列
一方で，∑は以下の式で表現可能．
∑ = 𝑹𝑺𝑺𝑇𝑹𝑇
𝑹:3D Gaussianの回転行列 𝑺:3D Gaussianのスケーリング行列
（3D Gaussianがどのような向きでどれくらい空間を占めるか）
三次元から二次元への投影
三次元から二次元への写像

17. 17
1. まず，3D Gaussianのパラメータを初期化．
位置𝒑：SfMの点群位置
スケール𝑺：最近傍3点の平均距離
回転𝑹：恒等回転（回転なし）
不透明度α：0.5
SH（球面調和関数）係数：0
2. 現在のパラメータでレンダリングし，Ground Truthと比較して誤
差を計算．
3D Gaussianの最適化（1/2）
RGB値はSfMで推定した初期値．
パラメータ調整はしない．

18. 18
3. 誤差に応じて，各パラメータの勾配を計算．
4. 確率的勾配降下法により，各パラメータを更新．
位置𝒑：減衰学習率を適用．
損失関数：𝐿 = 1 − λ 𝐿1 + λ𝐿𝐷‐𝑆𝑆𝐼𝑀
5. 2-4を繰り返し，3D Gaussianを最適化．
6. 一定期間ごとに，3D Gaussianの適応制御を行う．
7. 条件を満たしたら，最適化処理は終了．
3D Gaussianの最適化（2/2）
位置に減衰学習率を適用することで，最適化
が安定し，適切な解に収束しやすくなる．
𝐿𝐷‐𝑆𝑆𝐼𝑀は画像の品質評価に
用いられる損失関数．

19. 19
最適化だけでは，3D Gaussianの分布が対象シーンの局所的構造に
フィットしない場合がある．
SfMの点群が元となる故に，ある領域では密もしくは疎な状態．
3D Gaussianのサイズが一定だと，表現力も限界がある．
3D Gaussianの適応制御（1/2）
最適化中に3D Gaussianを適応制御することで解決

20. 20
対象の領域に対して小さい場合，クローンを作成して形状にフィットさせる．
対象の領域に対して大きい場合，2つに分割して形状にフィットさせる．
αが小さすぎる場合は不要な3D Gaussianと判断し削除．
対象のシーンに対してサイズが大きすぎる3D Gaussianを削除．
3D Gaussianの適応制御（2/2）
勾配方向に3D Gaussianを
クローンもしくは分割する．
形状は位置勾配によって計算．
位置勾配は特定の点が周囲の
空間に対して，どの程度変化
をしているかを表す．

21. 21
形状データ（3D）をピクセルデータ（2D）に変換するレンダリン
グ手法の一種をラスタライズという．
高FPSなレンダリングを目指すためには，3D Gaussianの集合に対
して高速なラスタライズを行う必要がある．
高速な微分可能ラスタライザ（1/2）

22. 22
1. スクリーンを16x16のタイルに分割して並列処理．
2. 各タイルで，カメラに近い3D Gaussianから順にαブレンディング．
• ピクセル単位でαが閾値に達したら処理を止める．
3. 各ピクセルに対して，それぞれの3D Gaussianの寄与率を計算．
• 各3D Gaussianのαを累積することで寄与率を求める．
4. 計算した寄与率をもとに，重なり合う複数の3D Gaussianからピ
クセルの色を決定．
高速な微分可能ラスタライザ（2/2）

23. 実験と評価
04

24. 24
従来と比べ，本研究は細かい箇所もぼやけることなく描画できている．
定性評価
図．本研究を正解画像と従来研究と比較．論文より結果を抜粋．

25. 25
本研究は，最適化の反復回数を7K，30Kの結果を用意．
SOTAであるMip-NeRF360との比較
画像の品質：同等もしくはわずかに優れた結果を得た．
平均学習時間：大幅に削減．
FPS：大幅に向上．
定量評価
表1．従来研究と本研究の定量評価
評価指標について（NeRFの論文輪講スライドより抜粋）

26. Conclusion
05

27. 27
3D Gaussianの集合を用いてシーンを表現．
レンダリングには微分可能なラスタライザを適用．
これにより，Radiance Fieldsをリアルタイムで高品質なレンダリン
グすることを達成．
まとめ

28. Thank you for listening
https://033lab.org

29. Appendix
06

30. 30
ある画像にα値を掛け合わせることで半透明な画像を重ねる技法．
アルファブレンディグ
(255,255,255,0.7)
(255,0,0,0.5)
(0,255,0,0.3)
戻る

31. 31
• PSNR（Peak Signal to NoiseRatio）
最大画素値とノイズの比率を計算する．
PSNR =
𝑀𝐴𝑋2
𝑀𝑆𝐸
画像類似度指標（1/3）

32. 32
• SSIM（Structual Similarity）
画素値（輝度），コントラスト，構造の変化を評価する．
𝑆𝑆𝐼𝑀 𝑥, 𝑦 =
2𝜇𝑥𝜇𝑦 + 𝐶1 2σ𝑥𝑦 + 𝐶2
(𝜇𝑥
2
+ 𝜇𝑦
2
+ 𝐶1)(σ𝑥
2
+ σ𝑦
2
+ 𝐶2)
（𝐶: 定数, σ: 標準偏差, 𝜇: 平均画素値）
画像類似度指標（2/3）

33. 33
• LPIPS（Learned Perceptual Image Patch Similarity）
AlexNetやVGGなどの学習済み画像分類ネットワークの畳み込み層が
出力する特徴量を基にした基準．
画像類似度指標（3/3）
定量評価スライドに戻る