データ仮想化を活用したデータ分析のフローと分析モデル作成の自動化のご紹介

データ仮想化を活用したデータ分析の
フローと分析モデル作成の自動化のご紹介
佃明盛
プロフェッショナル
日鉄ソリューションズ株式会社

2
Copyright ©2022 NS Solutions Corporation. All Rights Reserved.
1.DataFest 2021におけるご紹介内容の振り返り(1)
denodo
D a t a v i r t u a l i z a t i o n
マ
ル
チ
ク
ラ
ウ
ド
デ
ー
タ
カ
タ
ロ
グ
セ
キ
ュ
リ
テ
ィ
&
ガ
バ
ナ
ン
ス

3
Azure
AWS
2.DataFest 2021におけるご紹介内容の振り返り(2)
MySQL
snowflake
Qlik Replicate

4
参考：IBM SPSS Modeler CRISP-DM ガイド
(https://www.ibm.com/support/knowledgecenter/ja/SS3RA7_sub/modeler_cris
pdm_ddita/modeler_crispdm_ddita-gentopic1.html)
分析
レベル
モデル
レベル
利用業務例
多
次
元
分
析
単純集計、
非定型分析
業績管理
収益管理
マ
イ
ニ
ン
グ
簡易モデル
企画
マーケティング
高精度・
リアルタイム
モデル
受発注
データの
準備
対
象
デ
ー
タ
検
索
ビ
ジ
ネ
ス
課
題
・
分
析
テ
ー
マ
・
仮
説
の
設
定
分
析
デ
ー
タ
生
成
（
洗
浄
・
加
工
）
既
存
知
識
と
の
比
較
精
度
評
価
展開
オ
ー
ト
メ
ー
シ
ョ
ン
化
シ
ス
テ
ム
化
定
型
分
析
化
戦
略
・
戦
術
・
施
策
へ
の
展
開
・
実
施
ビジネス
の理解
データの
理解
評価
モデル
作成
セ
グ
メ
ン
テ
ー
シ
ョ
ン
モ
デ
ル
構
築
集
計
軸
決
定
デ
ー
タ
取
得
プ
ロ
フ
ァ
イ
リ
ン
グ
データ
カタログデザ
イン
スタ
ジオ
Python
Data
Robot
3.データ分析プロセス(一例)
Data
Robot

5
3.(1).Denodo①(機能概要)
※本頁はDenodoの最新バージョンである
Denodo8発表時の資料を引用しておりま
す。この後の頁ではその後のアップデートや
拡張を含む形でご紹介致します。

6
3.(1). Denodo②(データモデリング– [トップ]ページ)
[Server Explorer]
Denodo上のすべての仮想データベースが表示され、デー
タベースごとに、データソース、Baseビュー、派生
ビュー、ウェブサービス(API)などが表示されます。
これらのエレメントをフォルダーに整理して見つけやす
くすることができます。
[Work Space]
このツールの主要領域です。すべてのダイアログ
がここに表示されます。
一度に複数のエレメントを開くことができます。
それらのエレメントはタブで開かれます。

7
3.(1). Denodo③(データカタログ – [サマリー]ページ)
タグやカテゴリの追加
データセットへの接
続文字列を表示
エンドース、警告/廃止コメント追加が可能
※Denodo Enterprise Plusをお持ちの場合
コラボレーション機能
 エンドースメント
 警告メッセージ
※Denodo Enterprise Plusをお持ちの場合

8
3.(1). Denodo④(データの理解と準備)
※下記のクエリのエクスポートに加
えてDenodoで定義したビューから
JDBCやODBCといったドライバーを
通じてデータを準備でき、またウェ
ブサービス(API)を通じてデータを準
備できます。

9
分析
レベル
モデル
レベル
利用業務例
多
次
元
分
析
単純集計、
非定型分析
業績管理
収益管理
マ
イ
ニ
ン
グ
簡易モデル
企画
高精度・
リアルタイム
モデル
受発注
データの
準備
対
象
デ
ー
タ
検
索
ビ
ジ
ネ
ス
課
題
・
分
析
テ
ー
マ
・
仮
説
の
設
定
分
析
デ
ー
タ
生
成
（
洗
浄
・
加
工
）
既
存
知
識
と
の
比
較
精
度
評
価
展開
オ
ー
ト
メ
ー
シ
ョ
ン
化
シ
ス
テ
ム
化
定
型
分
析
化
戦
略
・
戦
術
・
施
策
へ
の
展
開
・
実
施
ビジネス
の理解
データの
理解
評価
モデル
作成
セ
グ
メ
ン
テ
ー
シ
ョ
ン
モ
デ
ル
構
築
集
計
軸
決
定
デ
ー
タ
取
得
プ
ロ
フ
ァ
イ
リ
ン
グ
データ
カタログデザ
イン
スタ
ジオ Data
Robot
Data
Robot
Python

10
3.(2). Python①(機能概要)
 Pythonは1991年に最初にリリースされたプログラミング言語で設計哲学
としてコードの可読性を重視しており、クロスプラットフォーム(※1)で
ある。
(※1)マルチプラットフォームとも呼ばれ、異なるプラットフォーム上で、同じ仕様のものを動かすことが出来る
プログラム(ソフトウェア)である。
 2017年に行われたある調査(※2)によると用途(※3)の27%がデータサイエ
ンス(18%がデータ分析、9%が機械学習)である。
(※2)JetBriansとPythonソフトウェア財団による共同調査を指す。
(※3)その他Webアプリケー用途が26%、システム管理や自動化スクリプトが9%など。
Python R言語
主な目的データ分析、ソフトウェア開発データ分析、統計
主なユーザープログラマ、エンジニア、データ分
析者、AIエンジニア
研究者、データ分析者
強みノートブックソリューション、数学
的な計算、可読性、処理速度
可視化、レポート作成(Rmarkdown)、
フレームワーク(Shiny)
備考

11
3.(4). Python③(ノートブックソリューションのご紹介(Apache Zeppeling)
Apache Zeppeling Jupyter Notebook
主な目的データ分析、データの視覚化とコラ
ボレーションなど。
(実行単位名=パラグラフ)。
計算ドキュメントを作成、共有など。
(実行単位名=ブロック)。
技術的な特徴 Scala(scalable languageに由来)で実
装されている。
Pythonほか複数のカーネルを選択可
能である。
主なユーザーデータ分析者データ分析者
強みインタープリターと呼ばれる機能に
より任意の言語/データ処理バック
エンドをプラグインできる(※)。
-
備考
※Apache Spark(高速に分散処理を行
うフレームワーク)に対するインター
プリター提供が当初の強みであった
がそれに加えて・・・
実行単位1) 実行単位2)
コード
グラフ
コード
グラフ

12
分析
レベル
モデル
レベル
利用業務例
多
次
元
分
析
単純集計、
非定型分析
業績管理
収益管理
マ
イ
ニ
ン
グ
簡易モデル
企画
高精度・
リアルタイム
モデル
受発注
データの
準備
対
象
デ
ー
タ
検
索
ビ
ジ
ネ
ス
課
題
・
分
析
テ
ー
マ
・
仮
説
の
設
定
分
析
デ
ー
タ
生
成
（
洗
浄
・
加
工
）
既
存
知
識
と
の
比
較
精
度
評
価
展開
オ
ー
ト
メ
ー
シ
ョ
ン
化
シ
ス
テ
ム
化
定
型
分
析
化
戦
略
・
戦
術
・
施
策
へ
の
展
開
・
実
施
ビジネス
の理解
データの
理解
評価
モデル
作成
セ
グ
メ
ン
テ
ー
シ
ョ
ン
モ
デ
ル
構
築
集
計
軸
決
定
デ
ー
タ
取
得
プ
ロ
フ
ァ
イ
リ
ン
グ
データ
カタログデザ
イン
スタ
ジオ Data
Robot
Data
Robot
Python

13
3.(3).DataRobot①(機能概要)
あらゆる場所で
デプロイ実行可能
データエンジニア
データサイエンティスト
ビジネスアナリスト
ソフトウェアエンジニア
全ての人が
利用可能なAI
Dev Ops
IT
コンプライアンスチーム
ビジネスユーザー
マネージャー&エグゼクティブ
AIオペレーター AIユーザー
AIクリエイター
制御され信頼性の高い
説明可能なAI
Collaboration Lineage
Security Explainability
エンドツーエンドの
プラットフォーム AutoML AutoTS
データ準備 MLOps カスタムモデル
DataRobotモデル
準備 > 開発 > テストデプロイ > 監視 > 運用実装 > 利用 > 価値創出
ROIマネジメント
AIアプリケーション
多様なデータソース
エンドツーエンドプラットフォームで企業のAIを一元的に自動化・運用管理
オンプレミスプライベートクラウドハイブリッドクラウドマネージドクラウドマルチクラウド Azure AWS etc

14
3.(3). DataRobot②(MLOpsの機能)
MLOps : MLOpsで統制され継続性のあるAI運用基盤を構築
機械学習モデルの開発
モデル更新
デプロイ
モデル生成
DataRobot MLDevによる機械学習モデルの開発
モデル運用管理
DataRobot MLOpsによる機械学習モデルの運用
✔ 予測APIの自動作成
✔ 多様な予測実行方
式
✔ 予測値の制御
✔ AIアプリケーション
✔ 正常性の監視
✔ データドリフトの監視
✔ 精度の監視
✔ モデル並行運用
✔ アラート通知
✔ モデルの置き換え
✔ モデル更新履歴管理
手動コーディングによる機械学習モデルの開発
データ投入
DataRobot 自動モデリング
機械学習モデルの運用
ユーザ独自環境
ライブラリ
データサイエンティストによる手動
開発
Auto ML
Auto TS
コーディング
環境準備
✔ モデルバージョン管理
✔ AIカタログによるデータ管理
✔ モデルバージョン管理 (GitHub連携)
✔ 外部モデル取り込みとデプロイ時の自動テスト
✔ 承認ワークフロー
リモート運用モデルの統合
✔ 運用メトリック自動連携
✔ データドリフトの監視
✔ 精度の監視

15
MLOps : リモート運用モデルの統合 (Remote Agent)
✔ DataRobot 環境 (SaaS / Onprem) に通信できない
秘匿性の高い場所で稼働するモデルについても、その
稼働情報のみはDataRobot上で管理
✔ 予測データではなく、予測の件数、エラー数といった
運用管理に必要となる情報をAgentが管理、DataRobot
と連携実施
✔ DataRobot の可用性とモデル実行環境の可用性を
切り離しての運用設計が可能
✔ DataRobotが生成する Scoring CodeはAgent機能が
同梱された形でダウンロード可能
MLOps リモート運用概念図
ML Model Java
ML Model
Python
MLOps
Service
MLOps
Agent
カスタムモデル環境
(Python Model)
MLOps Agent
稼働環境
カスタムモデル環境
(Java Model)
ML Model Java
DataRobotモデル環境
(Scoring Code)
3.(3). DataRobot③(MLOpsの機能)

16
Azure
AWS
4.まとめ
MySQL
snowflake
Qlik Replicate

17
NSSOLのDenodoに関する取り組み

18

19

20
日鉄ソリューションズの支援内容～まとめ～
導入前コンサル(PoC)・
導入後コンサル
DataRobotを使った
システムのインテグレーション
日本語での保守サポート
日本語
データサイエンティスト育成
／組織設計

21
主要ニュース・プレスリリース(抜粋)

22

© Copyright Denodo Technologies. All rights reserved
Unless otherwise specified, no part of this PDF file may be reproduced or utilized in any for or by any means, electronic or mechanical, including photocopyingand microfilm,
without prior the written authorization from Denodo Technologies.
NSSOL、NS Solutions、NS（ロゴ）、InverSolは、日鉄ソリューションズ株式会社の登録商標です。
その他本文記載の会社名及び製品名は、それぞれ各社の商標又は登録商標です。

データ仮想化を活用したデータ分析のフローと分析モデル作成の自動化のご紹介

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to データ仮想化を活用したデータ分析のフローと分析モデル作成の自動化のご紹介

Similar to データ仮想化を活用したデータ分析のフローと分析モデル作成の自動化のご紹介 (20)

More from Denodo

More from Denodo (20)

データ仮想化を活用したデータ分析のフローと分析モデル作成の自動化のご紹介