SlideShare a Scribd company logo
1 of 24
Download to read offline
Copyright © Tokyo Electron Device LTD. All Rights Reserved.
解き明かす未知の可能性
美しいクエリ
~ Kusto入門編 ~
2023年7月17日
渡邊晶
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 2
Kustoって
Kusto
Kusto Query Language
KQL
※ ジャック・クストーは、フランスの海洋学者・地球科学者。
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 3
Kusto(KQL)とは
Azureサービスのためのクエリ言語
 読みやすく書きやすい設計
 大量のログ・テレメータデータに対して高速に検索
 Azureの運用・セキュリティ・ガバナンスツールで利用され、Azure運用に必須
 ビッグデータ処理において、Azure Data Explorerとしても知られている
Kustoは強力なツール
Azure運用 セキュリティ管理 データ利活用
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 4
Kusto(KQL)とAzureの関係
Kusto(KQL)を利用しているAzureサービス
 Azure Resource Graph
 Application Insights
 Log Analytics
 Microsoft Sentinel
 Microsoft Defender
Azure Data Explorer
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 5
Kustoの構文例
SecurityEvent
| where TimeGenerated >ago(1h)
| where EventID ==4624
| summarize count() by Account
| order by Account asc
| project Account, SuccessfulLogons =count_
Table
Pipe
Filter
Data
aggregation
Order
Data
Modify
Columns
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 6
Kustoクエリの利用環境 SigninLogs
| where TimeGenerated > ago(1h)
| where Location =='JP'
| summarize count() by Identity
| order by Identity asc
| project Identity, SuccessfulLogons=count_
クリエ
Table一覧表
出力結果
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 7
Kustoクリエの利用するため
ログ・データ分析するため7つのオペレーション
1. レコード数を調べる
2. スキーマを表示
3. サンプルレコードの表示
4. フィルターをかける
5. Summarize 演算子の利用
6. Project と Extend演算子の利用
7. データの可視化
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 8
1. レコード数を調べる
TABLENAME
|count
調査対象となっているテーブルの名称
テーブル(SecurityEvent)の
レコード数の結果
Kustoクエリ
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 9
2. スキーマを表示
TABLENAME
|getschema
調査対象となっているテーブルの名称
スキーマの結果
Kustoクエリ
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 10
3. サンプルレコードの表示
TABLENAME
|take 3
調査対象となっているテーブルの名称
レコードの表示結果
Kustoクエリ
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 11
4. フィルターをかける (1/2)
TABLENAME
|where 条件#1
|where 条件#2
調査対象となっているテーブルの名称
SecurityEvent
| where TimeGenerated > ago(1d)
| where Computer == 'CH-AMAVM'
Kustoクエリサンプル
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 12
4. フィルターをかける (2/2)
レコードの表示結果
Kustoクエリ
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 13
5. Summarize演算子の利用 (1/2)
TABLENAME
| Summarize count by 列名#1
調査対象となっているテーブルの名称
by の後ろに指定した列の個数を数える
Kustoクエリ
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 14
5. Summarize演算子の利用 (2/2)
TABLENAME
| Summarize countif ( 列名 ==xxx)
調査対象となっているテーブルの名称
条件にある列の個数を数える
Kustoクエリ
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 15
6. Project と Extend演算子の利用 (1/2)
TABLENAME
| Extend 列名 = XXX
| Project 列名#1,列名#2
Kustoクエリサンプル
SecurityEvent
| Extend Time = TimeGenerated
| Project Time, Computer, EventID,Process
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 16
6. Project と Extend演算子の利用 (2/2)
表示結果
Kustoクエリ
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 17
7. データの可視化 (1/3)
TABLENAME
| Render XXX
※ render 演算子はクエリの最後の演算子である必要がある
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 18
7. データの可視化 (2/3)
表示結果
Kustoクエリ
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 19
7. データの可視化 (3/3)
表示結果
Kustoクエリ
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 20
Demo
 https://clipchamp.com/watch/Xa2KjdqjGPt
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 21
Kustoクエリを利用できるツール
 Azure Log Analytics
 Application Insights
 .NETやJava等の言語用の SDK も提供され、コード内で KQL を組み立てて実行可能
 Azure Data Explorer (ADX)
 Kusto.Explorer
 Azure Data Studio
すでにログが収集され、実際にクエリを使える環境
https://aka.ms/LADemo
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 22
OpenAI(ChatGPT)を使ってKustoを書きましょう
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 23
データから未知の可能性を発見
解き明かす未知の可能性
DX推進
脅威検知
システム保全
Copyright © Tokyo Electron Device LTD. All Rights Reserved. 24
【お問い合わせ】
東京エレクトロン デバイス株式会社
クラウドIoTカンパニー エッジクラウドソリューション部
URL: https://esg.teldevice.co.jp/iot/
Mail: esg@teldevice.co.jp
TEL: 045-443-4021

More Related Content

What's hot

Kubernetes 基盤における非機能試験の deepdive(Kubernetes Novice Tokyo #17 発表資料)
Kubernetes 基盤における非機能試験の deepdive(Kubernetes Novice Tokyo #17 発表資料)Kubernetes 基盤における非機能試験の deepdive(Kubernetes Novice Tokyo #17 発表資料)
Kubernetes 基盤における非機能試験の deepdive(Kubernetes Novice Tokyo #17 発表資料)NTT DATA Technology & Innovation
 
Prometheus Operator 入門(Kubernetes Novice Tokyo #26 発表資料)
Prometheus Operator 入門(Kubernetes Novice Tokyo #26 発表資料)Prometheus Operator 入門(Kubernetes Novice Tokyo #26 発表資料)
Prometheus Operator 入門(Kubernetes Novice Tokyo #26 発表資料)NTT DATA Technology & Innovation
 
オタクエンジニアを熱くさせる!モチベーションをあげるチームビルディング
オタクエンジニアを熱くさせる!モチベーションをあげるチームビルディングオタクエンジニアを熱くさせる!モチベーションをあげるチームビルディング
オタクエンジニアを熱くさせる!モチベーションをあげるチームビルディング虎の穴 開発室
 
eStargzイメージとlazy pullingによる高速なコンテナ起動
eStargzイメージとlazy pullingによる高速なコンテナ起動eStargzイメージとlazy pullingによる高速なコンテナ起動
eStargzイメージとlazy pullingによる高速なコンテナ起動Kohei Tokunaga
 
NVIDIA/deepopsを触ってみた話
NVIDIA/deepopsを触ってみた話NVIDIA/deepopsを触ってみた話
NVIDIA/deepopsを触ってみた話Kota Tsuyuzaki
 
世の中のPostgreSQLエンジニアのpsql設定(第34回PostgreSQLアンカンファレンス@オンライン 発表資料)
世の中のPostgreSQLエンジニアのpsql設定(第34回PostgreSQLアンカンファレンス@オンライン 発表資料)世の中のPostgreSQLエンジニアのpsql設定(第34回PostgreSQLアンカンファレンス@オンライン 発表資料)
世の中のPostgreSQLエンジニアのpsql設定(第34回PostgreSQLアンカンファレンス@オンライン 発表資料)NTT DATA Technology & Innovation
 
フックを使ったPostgreSQLの拡張機能を作ってみよう!(第33回PostgreSQLアンカンファレンス@オンライン 発表資料)
フックを使ったPostgreSQLの拡張機能を作ってみよう!(第33回PostgreSQLアンカンファレンス@オンライン 発表資料)フックを使ったPostgreSQLの拡張機能を作ってみよう!(第33回PostgreSQLアンカンファレンス@オンライン 発表資料)
フックを使ったPostgreSQLの拡張機能を作ってみよう!(第33回PostgreSQLアンカンファレンス@オンライン 発表資料)NTT DATA Technology & Innovation
 
Dockerだけではないコンテナのはなし
DockerだけではないコンテナのはなしDockerだけではないコンテナのはなし
DockerだけではないコンテナのはなしKatsunori Kanda
 
画像ベース異常検知Amazon Lookout for Visionを使ってみよう
画像ベース異常検知Amazon Lookout for Visionを使ってみよう画像ベース異常検知Amazon Lookout for Visionを使ってみよう
画像ベース異常検知Amazon Lookout for Visionを使ってみようTakanoriTsutsui
 
BuildKitでLazy Pullを有効にしてビルドを早くする話
BuildKitでLazy Pullを有効にしてビルドを早くする話BuildKitでLazy Pullを有効にしてビルドを早くする話
BuildKitでLazy Pullを有効にしてビルドを早くする話Kohei Tokunaga
 
Stargz Snapshotter: イメージのpullを省略しcontainerdでコンテナを高速に起動する
Stargz Snapshotter: イメージのpullを省略しcontainerdでコンテナを高速に起動するStargz Snapshotter: イメージのpullを省略しcontainerdでコンテナを高速に起動する
Stargz Snapshotter: イメージのpullを省略しcontainerdでコンテナを高速に起動するKohei Tokunaga
 
VSCodeで作るPostgreSQL開発環境(第25回 PostgreSQLアンカンファレンス@オンライン 発表資料)
VSCodeで作るPostgreSQL開発環境(第25回 PostgreSQLアンカンファレンス@オンライン 発表資料)VSCodeで作るPostgreSQL開発環境(第25回 PostgreSQLアンカンファレンス@オンライン 発表資料)
VSCodeで作るPostgreSQL開発環境(第25回 PostgreSQLアンカンファレンス@オンライン 発表資料)NTT DATA Technology & Innovation
 
はじめてのdocker
はじめてのdockerはじめてのdocker
はじめてのdockerat grandpa
 
育児にも活用できる家庭内IoTのすすめ~Raspberry Piでやってみよう!SORACOM Developers Conference
育児にも活用できる家庭内IoTのすすめ~Raspberry Piでやってみよう!SORACOM Developers Conference育児にも活用できる家庭内IoTのすすめ~Raspberry Piでやってみよう!SORACOM Developers Conference
育児にも活用できる家庭内IoTのすすめ~Raspberry Piでやってみよう!SORACOM Developers ConferenceManami Taira
 
「自分の内側を観る」と 世界が変わるかも?~自分自身を紐解くメンタルモデルのご紹介~
「自分の内側を観る」と 世界が変わるかも?~自分自身を紐解くメンタルモデルのご紹介~「自分の内側を観る」と 世界が変わるかも?~自分自身を紐解くメンタルモデルのご紹介~
「自分の内側を観る」と 世界が変わるかも?~自分自身を紐解くメンタルモデルのご紹介~Takeshi Kakeda
 
日本におけるアジャイル開発の認知度の変遷を情報処理技術者試験の問題から考察してみた_公開用
日本におけるアジャイル開発の認知度の変遷を情報処理技術者試験の問題から考察してみた_公開用日本におけるアジャイル開発の認知度の変遷を情報処理技術者試験の問題から考察してみた_公開用
日本におけるアジャイル開発の認知度の変遷を情報処理技術者試験の問題から考察してみた_公開用ESM SEC
 
Docker & Kubernetes基礎
Docker & Kubernetes基礎Docker & Kubernetes基礎
Docker & Kubernetes基礎Daisuke Hiraoka
 
OSSプロジェクトへのコントリビューション はじめの一歩を踏み出そう!(Open Source Conference 2022 Online/Spring...
OSSプロジェクトへのコントリビューション はじめの一歩を踏み出そう!(Open Source Conference 2022 Online/Spring...OSSプロジェクトへのコントリビューション はじめの一歩を踏み出そう!(Open Source Conference 2022 Online/Spring...
OSSプロジェクトへのコントリビューション はじめの一歩を踏み出そう!(Open Source Conference 2022 Online/Spring...NTT DATA Technology & Innovation
 
セキュリティとアジャイル開発のいい関係について考える
セキュリティとアジャイル開発のいい関係について考えるセキュリティとアジャイル開発のいい関係について考える
セキュリティとアジャイル開発のいい関係について考えるMakoto Iguchi
 

What's hot (20)

Kubernetes 基盤における非機能試験の deepdive(Kubernetes Novice Tokyo #17 発表資料)
Kubernetes 基盤における非機能試験の deepdive(Kubernetes Novice Tokyo #17 発表資料)Kubernetes 基盤における非機能試験の deepdive(Kubernetes Novice Tokyo #17 発表資料)
Kubernetes 基盤における非機能試験の deepdive(Kubernetes Novice Tokyo #17 発表資料)
 
Prometheus Operator 入門(Kubernetes Novice Tokyo #26 発表資料)
Prometheus Operator 入門(Kubernetes Novice Tokyo #26 発表資料)Prometheus Operator 入門(Kubernetes Novice Tokyo #26 発表資料)
Prometheus Operator 入門(Kubernetes Novice Tokyo #26 発表資料)
 
オタクエンジニアを熱くさせる!モチベーションをあげるチームビルディング
オタクエンジニアを熱くさせる!モチベーションをあげるチームビルディングオタクエンジニアを熱くさせる!モチベーションをあげるチームビルディング
オタクエンジニアを熱くさせる!モチベーションをあげるチームビルディング
 
eStargzイメージとlazy pullingによる高速なコンテナ起動
eStargzイメージとlazy pullingによる高速なコンテナ起動eStargzイメージとlazy pullingによる高速なコンテナ起動
eStargzイメージとlazy pullingによる高速なコンテナ起動
 
NVIDIA/deepopsを触ってみた話
NVIDIA/deepopsを触ってみた話NVIDIA/deepopsを触ってみた話
NVIDIA/deepopsを触ってみた話
 
世の中のPostgreSQLエンジニアのpsql設定(第34回PostgreSQLアンカンファレンス@オンライン 発表資料)
世の中のPostgreSQLエンジニアのpsql設定(第34回PostgreSQLアンカンファレンス@オンライン 発表資料)世の中のPostgreSQLエンジニアのpsql設定(第34回PostgreSQLアンカンファレンス@オンライン 発表資料)
世の中のPostgreSQLエンジニアのpsql設定(第34回PostgreSQLアンカンファレンス@オンライン 発表資料)
 
フックを使ったPostgreSQLの拡張機能を作ってみよう!(第33回PostgreSQLアンカンファレンス@オンライン 発表資料)
フックを使ったPostgreSQLの拡張機能を作ってみよう!(第33回PostgreSQLアンカンファレンス@オンライン 発表資料)フックを使ったPostgreSQLの拡張機能を作ってみよう!(第33回PostgreSQLアンカンファレンス@オンライン 発表資料)
フックを使ったPostgreSQLの拡張機能を作ってみよう!(第33回PostgreSQLアンカンファレンス@オンライン 発表資料)
 
Dockerだけではないコンテナのはなし
DockerだけではないコンテナのはなしDockerだけではないコンテナのはなし
Dockerだけではないコンテナのはなし
 
画像ベース異常検知Amazon Lookout for Visionを使ってみよう
画像ベース異常検知Amazon Lookout for Visionを使ってみよう画像ベース異常検知Amazon Lookout for Visionを使ってみよう
画像ベース異常検知Amazon Lookout for Visionを使ってみよう
 
MLflow + Kubeflow MLプラットフォーム事例 #sparktokyo
MLflow + Kubeflow MLプラットフォーム事例 #sparktokyoMLflow + Kubeflow MLプラットフォーム事例 #sparktokyo
MLflow + Kubeflow MLプラットフォーム事例 #sparktokyo
 
BuildKitでLazy Pullを有効にしてビルドを早くする話
BuildKitでLazy Pullを有効にしてビルドを早くする話BuildKitでLazy Pullを有効にしてビルドを早くする話
BuildKitでLazy Pullを有効にしてビルドを早くする話
 
Stargz Snapshotter: イメージのpullを省略しcontainerdでコンテナを高速に起動する
Stargz Snapshotter: イメージのpullを省略しcontainerdでコンテナを高速に起動するStargz Snapshotter: イメージのpullを省略しcontainerdでコンテナを高速に起動する
Stargz Snapshotter: イメージのpullを省略しcontainerdでコンテナを高速に起動する
 
VSCodeで作るPostgreSQL開発環境(第25回 PostgreSQLアンカンファレンス@オンライン 発表資料)
VSCodeで作るPostgreSQL開発環境(第25回 PostgreSQLアンカンファレンス@オンライン 発表資料)VSCodeで作るPostgreSQL開発環境(第25回 PostgreSQLアンカンファレンス@オンライン 発表資料)
VSCodeで作るPostgreSQL開発環境(第25回 PostgreSQLアンカンファレンス@オンライン 発表資料)
 
はじめてのdocker
はじめてのdockerはじめてのdocker
はじめてのdocker
 
育児にも活用できる家庭内IoTのすすめ~Raspberry Piでやってみよう!SORACOM Developers Conference
育児にも活用できる家庭内IoTのすすめ~Raspberry Piでやってみよう!SORACOM Developers Conference育児にも活用できる家庭内IoTのすすめ~Raspberry Piでやってみよう!SORACOM Developers Conference
育児にも活用できる家庭内IoTのすすめ~Raspberry Piでやってみよう!SORACOM Developers Conference
 
「自分の内側を観る」と 世界が変わるかも?~自分自身を紐解くメンタルモデルのご紹介~
「自分の内側を観る」と 世界が変わるかも?~自分自身を紐解くメンタルモデルのご紹介~「自分の内側を観る」と 世界が変わるかも?~自分自身を紐解くメンタルモデルのご紹介~
「自分の内側を観る」と 世界が変わるかも?~自分自身を紐解くメンタルモデルのご紹介~
 
日本におけるアジャイル開発の認知度の変遷を情報処理技術者試験の問題から考察してみた_公開用
日本におけるアジャイル開発の認知度の変遷を情報処理技術者試験の問題から考察してみた_公開用日本におけるアジャイル開発の認知度の変遷を情報処理技術者試験の問題から考察してみた_公開用
日本におけるアジャイル開発の認知度の変遷を情報処理技術者試験の問題から考察してみた_公開用
 
Docker & Kubernetes基礎
Docker & Kubernetes基礎Docker & Kubernetes基礎
Docker & Kubernetes基礎
 
OSSプロジェクトへのコントリビューション はじめの一歩を踏み出そう!(Open Source Conference 2022 Online/Spring...
OSSプロジェクトへのコントリビューション はじめの一歩を踏み出そう!(Open Source Conference 2022 Online/Spring...OSSプロジェクトへのコントリビューション はじめの一歩を踏み出そう!(Open Source Conference 2022 Online/Spring...
OSSプロジェクトへのコントリビューション はじめの一歩を踏み出そう!(Open Source Conference 2022 Online/Spring...
 
セキュリティとアジャイル開発のいい関係について考える
セキュリティとアジャイル開発のいい関係について考えるセキュリティとアジャイル開発のいい関係について考える
セキュリティとアジャイル開発のいい関係について考える
 

Similar to Kustoの入門編.pdf

実践!OpenTelemetry と OSS を使った Observability 基盤の構築(CloudNative Days Tokyo 2022 発...
実践!OpenTelemetry と OSS を使った Observability 基盤の構築(CloudNative Days Tokyo 2022 発...実践!OpenTelemetry と OSS を使った Observability 基盤の構築(CloudNative Days Tokyo 2022 発...
実践!OpenTelemetry と OSS を使った Observability 基盤の構築(CloudNative Days Tokyo 2022 発...NTT DATA Technology & Innovation
 
20130329 rtm3
20130329 rtm320130329 rtm3
20130329 rtm3openrtm
 
OpenTelemetryを用いたObservability基礎の実装 with AWS Distro for OpenTelemetry(Kuberne...
OpenTelemetryを用いたObservability基礎の実装 with AWS Distro for OpenTelemetry(Kuberne...OpenTelemetryを用いたObservability基礎の実装 with AWS Distro for OpenTelemetry(Kuberne...
OpenTelemetryを用いたObservability基礎の実装 with AWS Distro for OpenTelemetry(Kuberne...NTT DATA Technology & Innovation
 
2018年01月27日 Keras/TesorFlowによるディープラーニング事始め
2018年01月27日 Keras/TesorFlowによるディープラーニング事始め2018年01月27日 Keras/TesorFlowによるディープラーニング事始め
2018年01月27日 Keras/TesorFlowによるディープラーニング事始めaitc_jp
 
2010 in-depth-v11
2010 in-depth-v112010 in-depth-v11
2010 in-depth-v11kmiyako
 
Robomec2014 rtm講習会第1部(その2)
Robomec2014 rtm講習会第1部(その2)Robomec2014 rtm講習会第1部(その2)
Robomec2014 rtm講習会第1部(その2)openrtm
 
インメモリーで超高速処理を実現する場合のカギ
インメモリーで超高速処理を実現する場合のカギインメモリーで超高速処理を実現する場合のカギ
インメモリーで超高速処理を実現する場合のカギMasaki Yamakawa
 
TOPPERSプロジェクト紹介 OSC2016京都
TOPPERSプロジェクト紹介 OSC2016京都TOPPERSプロジェクト紹介 OSC2016京都
TOPPERSプロジェクト紹介 OSC2016京都Takuya Azumi
 
OCP Meetup Tokyo #05 ECK on OCP
OCP Meetup Tokyo #05 ECK on OCPOCP Meetup Tokyo #05 ECK on OCP
OCP Meetup Tokyo #05 ECK on OCPTetsuya Sodo
 
KubeCon EU報告(ランタイム関連,イメージ関連)
KubeCon EU報告(ランタイム関連,イメージ関連)KubeCon EU報告(ランタイム関連,イメージ関連)
KubeCon EU報告(ランタイム関連,イメージ関連)Akihiro Suda
 
デブサミ2014-Stormで実現するビッグデータのリアルタイム処理プラットフォーム ~ストリームデータ処理から機械学習まで~
デブサミ2014-Stormで実現するビッグデータのリアルタイム処理プラットフォーム ~ストリームデータ処理から機械学習まで~デブサミ2014-Stormで実現するビッグデータのリアルタイム処理プラットフォーム ~ストリームデータ処理から機械学習まで~
デブサミ2014-Stormで実現するビッグデータのリアルタイム処理プラットフォーム ~ストリームデータ処理から機械学習まで~Takanori Suzuki
 
Eucalyptus infra technology
Eucalyptus infra technologyEucalyptus infra technology
Eucalyptus infra technologyEtsuji Nakai
 
Dockerコミュニティ近況
Dockerコミュニティ近況Dockerコミュニティ近況
Dockerコミュニティ近況Akihiro Suda
 
Osc tokyo20141019-last
Osc tokyo20141019-lastOsc tokyo20141019-last
Osc tokyo20141019-lastKiyoshi Ogawa
 
iREX2015 RTM講習会
iREX2015 RTM講習会iREX2015 RTM講習会
iREX2015 RTM講習会openrtm
 
RTミドルウエア: OpenRTM-aist概要
RTミドルウエア: OpenRTM-aist概要 RTミドルウエア: OpenRTM-aist概要
RTミドルウエア: OpenRTM-aist概要 openrtm
 

Similar to Kustoの入門編.pdf (20)

実践!OpenTelemetry と OSS を使った Observability 基盤の構築(CloudNative Days Tokyo 2022 発...
実践!OpenTelemetry と OSS を使った Observability 基盤の構築(CloudNative Days Tokyo 2022 発...実践!OpenTelemetry と OSS を使った Observability 基盤の構築(CloudNative Days Tokyo 2022 発...
実践!OpenTelemetry と OSS を使った Observability 基盤の構築(CloudNative Days Tokyo 2022 発...
 
20130329 rtm3
20130329 rtm320130329 rtm3
20130329 rtm3
 
OpenTelemetryを用いたObservability基礎の実装 with AWS Distro for OpenTelemetry(Kuberne...
OpenTelemetryを用いたObservability基礎の実装 with AWS Distro for OpenTelemetry(Kuberne...OpenTelemetryを用いたObservability基礎の実装 with AWS Distro for OpenTelemetry(Kuberne...
OpenTelemetryを用いたObservability基礎の実装 with AWS Distro for OpenTelemetry(Kuberne...
 
2018年01月27日 Keras/TesorFlowによるディープラーニング事始め
2018年01月27日 Keras/TesorFlowによるディープラーニング事始め2018年01月27日 Keras/TesorFlowによるディープラーニング事始め
2018年01月27日 Keras/TesorFlowによるディープラーニング事始め
 
2010 in-depth-v11
2010 in-depth-v112010 in-depth-v11
2010 in-depth-v11
 
Robomec2014 rtm講習会第1部(その2)
Robomec2014 rtm講習会第1部(その2)Robomec2014 rtm講習会第1部(その2)
Robomec2014 rtm講習会第1部(その2)
 
インメモリーで超高速処理を実現する場合のカギ
インメモリーで超高速処理を実現する場合のカギインメモリーで超高速処理を実現する場合のカギ
インメモリーで超高速処理を実現する場合のカギ
 
TOPPERSプロジェクト紹介 OSC2016京都
TOPPERSプロジェクト紹介 OSC2016京都TOPPERSプロジェクト紹介 OSC2016京都
TOPPERSプロジェクト紹介 OSC2016京都
 
Storm×couchbase serverで作るリアルタイム解析基盤
Storm×couchbase serverで作るリアルタイム解析基盤Storm×couchbase serverで作るリアルタイム解析基盤
Storm×couchbase serverで作るリアルタイム解析基盤
 
OCP Meetup Tokyo #05 ECK on OCP
OCP Meetup Tokyo #05 ECK on OCPOCP Meetup Tokyo #05 ECK on OCP
OCP Meetup Tokyo #05 ECK on OCP
 
KubeCon EU報告(ランタイム関連,イメージ関連)
KubeCon EU報告(ランタイム関連,イメージ関連)KubeCon EU報告(ランタイム関連,イメージ関連)
KubeCon EU報告(ランタイム関連,イメージ関連)
 
デブサミ2014-Stormで実現するビッグデータのリアルタイム処理プラットフォーム ~ストリームデータ処理から機械学習まで~
デブサミ2014-Stormで実現するビッグデータのリアルタイム処理プラットフォーム ~ストリームデータ処理から機械学習まで~デブサミ2014-Stormで実現するビッグデータのリアルタイム処理プラットフォーム ~ストリームデータ処理から機械学習まで~
デブサミ2014-Stormで実現するビッグデータのリアルタイム処理プラットフォーム ~ストリームデータ処理から機械学習まで~
 
RICC update meet34
RICC update meet34RICC update meet34
RICC update meet34
 
Eucalyptus infra technology
Eucalyptus infra technologyEucalyptus infra technology
Eucalyptus infra technology
 
Dockerコミュニティ近況
Dockerコミュニティ近況Dockerコミュニティ近況
Dockerコミュニティ近況
 
Upstream University
Upstream UniversityUpstream University
Upstream University
 
Aerospike deep dive LDTs
Aerospike deep dive LDTsAerospike deep dive LDTs
Aerospike deep dive LDTs
 
Osc tokyo20141019-last
Osc tokyo20141019-lastOsc tokyo20141019-last
Osc tokyo20141019-last
 
iREX2015 RTM講習会
iREX2015 RTM講習会iREX2015 RTM講習会
iREX2015 RTM講習会
 
RTミドルウエア: OpenRTM-aist概要
RTミドルウエア: OpenRTM-aist概要 RTミドルウエア: OpenRTM-aist概要
RTミドルウエア: OpenRTM-aist概要
 

Kustoの入門編.pdf

  • 1. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 解き明かす未知の可能性 美しいクエリ ~ Kusto入門編 ~ 2023年7月17日 渡邊晶
  • 2. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 2 Kustoって Kusto Kusto Query Language KQL ※ ジャック・クストーは、フランスの海洋学者・地球科学者。
  • 3. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 3 Kusto(KQL)とは Azureサービスのためのクエリ言語  読みやすく書きやすい設計  大量のログ・テレメータデータに対して高速に検索  Azureの運用・セキュリティ・ガバナンスツールで利用され、Azure運用に必須  ビッグデータ処理において、Azure Data Explorerとしても知られている Kustoは強力なツール Azure運用 セキュリティ管理 データ利活用
  • 4. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 4 Kusto(KQL)とAzureの関係 Kusto(KQL)を利用しているAzureサービス  Azure Resource Graph  Application Insights  Log Analytics  Microsoft Sentinel  Microsoft Defender Azure Data Explorer
  • 5. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 5 Kustoの構文例 SecurityEvent | where TimeGenerated >ago(1h) | where EventID ==4624 | summarize count() by Account | order by Account asc | project Account, SuccessfulLogons =count_ Table Pipe Filter Data aggregation Order Data Modify Columns
  • 6. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 6 Kustoクエリの利用環境 SigninLogs | where TimeGenerated > ago(1h) | where Location =='JP' | summarize count() by Identity | order by Identity asc | project Identity, SuccessfulLogons=count_ クリエ Table一覧表 出力結果
  • 7. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 7 Kustoクリエの利用するため ログ・データ分析するため7つのオペレーション 1. レコード数を調べる 2. スキーマを表示 3. サンプルレコードの表示 4. フィルターをかける 5. Summarize 演算子の利用 6. Project と Extend演算子の利用 7. データの可視化
  • 8. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 8 1. レコード数を調べる TABLENAME |count 調査対象となっているテーブルの名称 テーブル(SecurityEvent)の レコード数の結果 Kustoクエリ
  • 9. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 9 2. スキーマを表示 TABLENAME |getschema 調査対象となっているテーブルの名称 スキーマの結果 Kustoクエリ
  • 10. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 10 3. サンプルレコードの表示 TABLENAME |take 3 調査対象となっているテーブルの名称 レコードの表示結果 Kustoクエリ
  • 11. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 11 4. フィルターをかける (1/2) TABLENAME |where 条件#1 |where 条件#2 調査対象となっているテーブルの名称 SecurityEvent | where TimeGenerated > ago(1d) | where Computer == 'CH-AMAVM' Kustoクエリサンプル
  • 12. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 12 4. フィルターをかける (2/2) レコードの表示結果 Kustoクエリ
  • 13. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 13 5. Summarize演算子の利用 (1/2) TABLENAME | Summarize count by 列名#1 調査対象となっているテーブルの名称 by の後ろに指定した列の個数を数える Kustoクエリ
  • 14. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 14 5. Summarize演算子の利用 (2/2) TABLENAME | Summarize countif ( 列名 ==xxx) 調査対象となっているテーブルの名称 条件にある列の個数を数える Kustoクエリ
  • 15. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 15 6. Project と Extend演算子の利用 (1/2) TABLENAME | Extend 列名 = XXX | Project 列名#1,列名#2 Kustoクエリサンプル SecurityEvent | Extend Time = TimeGenerated | Project Time, Computer, EventID,Process
  • 16. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 16 6. Project と Extend演算子の利用 (2/2) 表示結果 Kustoクエリ
  • 17. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 17 7. データの可視化 (1/3) TABLENAME | Render XXX ※ render 演算子はクエリの最後の演算子である必要がある
  • 18. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 18 7. データの可視化 (2/3) 表示結果 Kustoクエリ
  • 19. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 19 7. データの可視化 (3/3) 表示結果 Kustoクエリ
  • 20. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 20 Demo  https://clipchamp.com/watch/Xa2KjdqjGPt
  • 21. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 21 Kustoクエリを利用できるツール  Azure Log Analytics  Application Insights  .NETやJava等の言語用の SDK も提供され、コード内で KQL を組み立てて実行可能  Azure Data Explorer (ADX)  Kusto.Explorer  Azure Data Studio すでにログが収集され、実際にクエリを使える環境 https://aka.ms/LADemo
  • 22. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 22 OpenAI(ChatGPT)を使ってKustoを書きましょう
  • 23. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 23 データから未知の可能性を発見 解き明かす未知の可能性 DX推進 脅威検知 システム保全
  • 24. Copyright © Tokyo Electron Device LTD. All Rights Reserved. 24 【お問い合わせ】 東京エレクトロン デバイス株式会社 クラウドIoTカンパニー エッジクラウドソリューション部 URL: https://esg.teldevice.co.jp/iot/ Mail: esg@teldevice.co.jp TEL: 045-443-4021