Introducing Elastic 8.1 Release - More Integration, Faster Indexing Speed, Lower Data Storage Requirements.pdf
•
2 likes•228 views
Elastic 8.1リリースのご紹介: より多くの統合、より速いインデックス作成速度、データストレージ要件の低減 https://www.elastic.co/jp/virtual-events/whats-new-in-elastic-8-1
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to Introducing Elastic 8.1 Release - More Integration, Faster Indexing Speed, Lower Data Storage Requirements.pdf
Similar to Introducing Elastic 8.1 Release - More Integration, Faster Indexing Speed, Lower Data Storage Requirements.pdf (20)
More from Shotaro Suzuki
More from Shotaro Suzuki (20)
Recently uploaded
Recently uploaded (9)
Introducing Elastic 8.1 Release - More Integration, Faster Indexing Speed, Lower Data Storage Requirements.pdf
- 1. Elastic 8.1リリースのご紹介: より多くの統合、より速いインデックス作成速度、 データストレージ要件の低減 鈴⽊ 章太郎 Elastic テクニカルプロダクトマーケティングマネージャー/エバンジェリスト デジタル庁 省庁業務グループ ソリューションアーキテクト
- 2. Elastic Technical Product Marketing Manager/Evangelist デジタル庁 省庁業務グループ ソリューションアーキテクト 元 Microsoft Technical Evangelist Twitter : @shosuz Shotaro Suzuki
- 3. l Enterprise Search 8.1 Updates l Observability 8.1 Updates l Security 8.1 Updates l Platform 8.1 Updates アジェンダ
- 4. The Elasticsearch Platform Enterprise Search Observability Security Kibana Explore, Visualize, Engage Elasticsearch Store, Search, Analyze Integrations Connect, Collect, Alert Public cloud Hybrid On-premises In a world where endless data creates endless possibility, search helps people and organizations thrive.
- 5. Enterprise Search 8.1 Updates
- 6. 部分的なクロールと SharePoint の取り込み Enterprise Search 8.1 Release Highlights コネクターとクローラー Observability 検索 UI の改善 Monitoring Search Experiences Ingestion API ログの保存期間 TypeScript のサポート
- 7. Web crawler granular domain selector 今回のリリース以前は、ウェブクローラーをご利⽤の お客様が新しいクロールを作成する場合、基本的 に「例外なくすべてをクロールする」という単⼀の オプションしかありませんでした。 今回、ドメインセレクターコントロールを追加すること で、お客様が必要に応じて新しいクロールの範囲 を狭めることができるツールを導⼊し始めました。 今後のリリースでさらに充実させていく予定です。 なぜそれが重要なのか
- 8. Beta Platinum Enterprise Gold Standard/Basi c Experimental SharePoint Server Connector Workplace Search は、オープンソースの新しい SharePoint Server Connector により、 お客様から最も要望の多いデータソースの1つである オンプレミスの SharePoint Server バージョン 2013、2016、2019をサポートしました。 下記のサポートを含む : ➔ Site collections ➔ Sites and subsites ➔ Lists & List Items ➔ Attachments ➔ Drives (Files & Folders) GA OSS BETA All license levels なぜそれが重要なのか
- 9. Beta Platinum Enterprise Gold Standard/Basi c Experimental API Logs now include duration GA OSS GA All license levels パフォーマンスの視認性向上 ● クエリパフォーマンスの監視 ● インジェストモニタリング Enterprise Search モニタリングダッシュ ボードレポートのダッシュボード例。 elastic/ent-search-monitoring # Enterprise Search API log addition # in ms. duration: 22.81 なぜそれが重要なのか
- 10. TypeScript support for Search UI 現代のフロントエンド開発は TypeScript を標準 とする⽅向に進んでおり、これまで TypeScript プロジェクトでSearch UI を使いたいと考えていた お客様は、多くの障害にぶつかっていました。 8.1では、 Search UI は TypeScript で 完全に書き直され、Elastic Stack で素晴らしい サーチ体験を構築できるようになりました。 なぜそれが重要なのか
- 12. Coming up: データインジェスト 近⽇公開 : ➔ データソースとしての Elasticsearch インデックス ➔ インジェストとツールの相互運⽤性 ➔ ネットワークドライブ、Microsoft Teams対応 ロードマップ上 : ➔ インテグレーション・モジュール性 ➔ ファイル内容抽出 ➔ ZOOM、Microsoft Outlook 対応
- 13. Coming up: サーチエクスペリエンス 近⽇公開 : ➔ Search UI support for Workplace Search ➔ Search UI support for Elasticsearch ロードマップ上 : ➔ 多くのユースケースに対応した Search UI の ”Getting Started” テンプレート: ◆ Workplace search ◆ Ecommerce ◆ Customer support/knowledge bases
- 14. Coming up: 運⽤⾯でのサポート 近⽇公開 : ➔ Elasticsearch queries for Enterprise Search ➔ Governance / audit log tools ロードマップ上 : ➔ Unified analytics ➔ Users and roles managed by the Stack
- 15. Coming up: 関連性 近⽇公開 : ➔ Query performance improvements ➔ NLP-enriched documents ロードマップ上 : ➔ Model management UI ➔ Semantic search ➔ Image search
- 17. Observability 8.1 Release Highlights 広く深い視認性 トラブルシューティングの迅速化 Unified observability experience Actionable observability OpenTelemetry のログを取り込む Jenkins ログによる CI/CD パイプライン の視認性向上 Node.js、Python、Java に対応した AWS Lambdaトレース 問題を⾒逃さない︓APM トレースの テールベースサンプリング
- 18. APM enhancements
- 19. APM visibility for AWS Lambda Elastic APM Agent を使⽤して Lambda 関数から アプリケーショントレースを取得 詳細 なぜそれが重要なのか ● AWS Lambda 関数のエンドツーエンドの観測機能により、 リリースサイクルを⾼速化 ● Lambda のトレースと他の Elastic Observability データ を関連付け、より迅速かつ包括的な根本原因分析を実現 します。 ● Node.js、Python、Javaのサポート Open Telemetry Agent で収集した AWS Lambda 関数 のトレースをバックエンドに表⽰することができます。 GA OSS Beta Platinum Enterprise Gold Standard/Basic Actionable O11y
- 20. Elastic APM Solution for AWS Lambda Function (Beta) ● Node.js 、Python 、Java で Lambda インストゥルメンテーション（ベータ版）を 利⽤可能 ○ Lambda呼び出しのトレース/トランザクション ○ トリガー固有のデータを取得 (API Gateway, SQS, SNS, S3) ○ コールドスタートのキャプチャ ● Elastic APM Lambda Extension は、Observability データを処理し、APM サーバー /Elastic Cloud に転送するために使⽤される ○ APM データのディスパッチ中に Lambda の実⾏をアンブロックする。 ○ Log と Lambda-Metrics の収集(将来) Function Elastic APM Lambda Extension APM Agent APM Server
- 21. AWS Lambda で Elastic APM を有効にする⽅法 #1 – Lambda 関数の実⾏を APM インスツルメンテーションで実装
- 22. AWS Lambda で Elastic APM を有効にする⽅法 #2 - Elastic Lambda Extension をレイヤーとして関数に 追加する (NEW! - use AWS ARN)
- 23. AWS Lambda で Elastic APM を有効にする⽅法 #3 - 環境変数を設定する
- 24. 次のステップ 8.2 GA Bug fixes, performance & load testing. Support of distributed tracing for diagnosing performance issues and errors 8.x Post-GA Collection of Lambda specific metrics & logs. Correlation between Lambda performance, errors and resource dependencies. Anomaly detection and alerting 7.16 Experimental Lambda APM Agents available in Node.js, Python & Java. APM Lambda Extension layer for processing & forwarding of Obs. data 8.1 Beta Availability of Elastic APM Lambda Extension as ARN. UI Improvements to show additional contextual information
- 25. Improved scalabilit y 拡張性と重要なデータの保持能⼒の向上 なぜそれが重要なのか ● 数百のサービスを監視する必要があるお客様に最適 です ● 1層⽬と2層⽬のアプリケーションで異なるデータ粒度 を可能にします 注意点 : ● APM サーバーのリソースをより多く必要とする ● APM インテグレーション（Fleet）のみで動作 注︓この機能は v1 GAです。製品チームと密接に連携し、ファースト アダプターとなるお客様を募集しています。 テールベースサンプリング すべてを監視する - 最も重要なデータを保存する GA OSS Platinum
- 30. OpenTelemetry Logs Elastic Observability が OpenTelemetry Log に対応 ● OpenTelemetry APM エージェントに、⼀般的な ロギングフレームワーク（Log4J、SLF4J...）の⾃動 インストルメントを追加 GA OSS Beta Platinum Enterprise Tech Preview Gold Standard/Basic
- 31. OpenTelemetry Logs なぜそれが重要なのか ● OpenTelemetry で log も取り込み、オープン スタンダードな OpenTelemetry でのデータ収集 全般を標準化 ● 詳細なコンテキスト属性を収集し、観測可能性を. 最⼤限に⾼める GA OSS Beta Platinum Enterprise Tech Preview Gold Standard/Basic
- 32. OpenTelemetry Logs アーキテクチャ ● ベストプラクティス : エッジでの OpenTelemetry Collector による信頼性とスケーラビリティの向上 ● 前提条件 ○ Elastic 8.1+ ○ Enable logs forwarding on OTel Collectors GA OSS Beta Platinum Enterprise Tech Preview Gold Standard/Basic
- 33. OpenTelemetry Logs アーキテクチャ ● ベストプラクティス : エッジでの OpenTelemetry Collectorによる信頼性とスケーラビリティの向上 ● 前提条件 ○ Elastic 8.1+ ○ Enable logs forwarding on OTel Collectors ○ Otel endpoint reachable from Jenkins Agents GA OSS Beta Platinum Enterprise Tech Preview Gold Standard/Basic
- 34. Jenkins Logs ソフトウェアサプライチェーンの トレーサビリティの向上 なぜそれが重要なのか ● トレースによるCI/CDパイプラインの観測性向上 ● ダッシュボードとメトリックスによるモニタリング Pre 8.1: キャプチャしたトレースとメトリクス (ログは未作成) https://plugins.jenkins.io/opentelemetry/ Theme GA OSS Beta Platinum Enterprise Gold Standard/Basic GA
- 35. Jenkins Logs Jenkinsの制限事項 ● 完全な Observability を得ることができない ● Jenkins でビルドログを⾒る場合、ソフトウェア デリバリーライフサイクル（SDLC）のトレーサビリティ と監査は困難 ● ストレージの問題で Jenkins の実⾏とスケーリングが 困難 Theme GA OSS Beta Platinum Enterprise Gold Standard/Basic GA
- 36. Jenkins Logs Elastic 8.1。Elasticにログを保存し、トレースやメト リックスと並べる なぜそれが重要なのか ● 完全な Observability ● ソフトウェアデリバリーライフサイクルの最⾼のトレーサ ビリティと監査 ● Jenkins の信頼性とスケーラビリティの向上 ● セキュリティへの開放︓認証情報漏洩の検出... Theme GA OSS Platinum Enterprise Gold Standard/Basic
- 37. Jenkins Logs アーキテクチャ ● Jenkins コントローラーとエージェントの両⽅が Otel シグナルを送信する ● ベストプラクティス︓信頼性とスケーラビリティのために エッジに OpenTelemetry Collector を設置する ● 前提条件 ○ Elastic 8.1+ ○ Enable logs forwarding on OTel Collectors ○ Otel endpoint reachable from Jenkins Agents Theme GA OSS Platinum Enterprise Gold Standard/Basic
- 38. Jenkins Logs デプロイメントモデル ● Jenkins パイプラインのログコンソールからハイパーリン クで Kibana に排他的に表⽰されるログ ● Pros ○ 簡単な設定 ● Cons ○ Jenkins の画⾯からログが表⽰されなくなった Theme GA OSS Platinum Enterprise Gold Standard/Basic
- 39. Jenkins Logs Deployment Model ● Kibana と Jenkins パイプラインのログコンソールの 両⽅で表⽰されるログ ● Pros ○ ユーザーの皆様にご迷惑をおかけすることはない ○ いくつかの前提条件（8.0以上）を確認すること ができる ● Cons ○ 読み取り権限を持つ Elasticsearch ユーザー が必要なため、より複雑な設定になる Theme GA OSS Platinum Enterprise Gold Standard/Basic
- 40. Agent and Fleet, Integrations
- 41. Fleet と Integrations の UI に スーパーユーザー権限が必要なくなる 詳細 なぜそれが重要なのか ● Integrations と Fleet UI の使⽤に必要な Elasticsearch の幅広い権限が不要になったため、 ES プラットフォームの管理者は Elastic Agent を より多くのユーザに導⼊することができる GA OSS Platinum Enterprise Gold Standard/Basic Unified O11y
- 44. 現代のセキュリティの基礎、Observability など エージェントによるホスト検査と応答 ● On-demand osquery inspection ● Remote host isolation ワークフローとの統合が可能 ● Security orchestration, automation, & response (SOAR) ● Security incident response tools ● Ticketing & case management ● Email, Slack, & custom tools Elastic Common Schema Elasticsearch あらゆる種類のデータを取り込み、何年も保存し、瞬時に検索・分析することが可能 Kibana ダッシュボードの監視、MLと相関による⼤規模な検出、 強⼒なワークフローと統合による調査の合理化 Beats オーバーヘッドを 発⽣させずにデータを出荷 Logstash サーバーサイドのパイプライン でデータを処理する Agent すべてのホストを保護し、 収集する Prevent. Detect. Respond. 継続的な監視、⾃動化された脅威防御、調査・対応、脅威ハンティングのために あらかじめ⽤意されたデータ連携 Cloud: platforms, applications, APM Network: logs, flows, traffic analysis Hosts: OS & security logs, state, FIM Users: activity, context IoT & OT: sensors, physical security Threat context: feeds & TIPs, CVEs ビルトインされた分析 ML jobs, detection rules, investigation guides, dashboards, searches Agent によるエンドポイントセキュリティ ● Ransomware & malware prevention ● Memory threat prevention ● Malicious behavior protection
- 45. Elastic Security 8.1 release highlights 新しいデータソースを取り込み、準備するため の統合機能があらかじめ⽤意される 拡張された検出内容 効率化されたディテクションエンジニアリング 悪意のある振る舞いに対する保護機能に より、多様な攻撃⼿法からホストを保護 Elastic Agent によるパケット解析 ポリシーに基づくホスト隔離例外処理とホスト イベントフィルタリング アナリストのワークフローを合理化 Automated Prevention Extended Detection Extended Response
- 46. Elastic Security の脅威に関する調査 - 厳選したブログ記事 ➔ Elastic protects against data wiper malware targeting Ukraine: HERMETICWIPER ➔ Exploring Windows UAC bypasses: Techniques and detection strategies ➔ Identifying exploits and adversary tradecraft of FORMBOOK information-stealing campaign ➔ Bringing home the bacon (from Cobalt Strike) ➔ Elastic Security verifies new destructive malware targeting Ukraine: Operation Bleeding Bear ➔ Analysis of Log4Shell vulnerability & CVE-2021- 45046 ➔ Detecting exploitation of CVE-2021-44228 (Log4j2) with Elastic Security 新⼿の攻撃を未然に防ぐ Elastic Security のリサーチエンジニアがお客様の⼤規模 な保護を⽀援 グローバルな脅威の状況を調査し、プロテクションコンテンツを 作成
- 47. Capability Windows macOS Linux Malicious behavior protection Enhanced ↗ Enhanced ↗ Enhanced ↗ Memory threat protection Existing ✓ Existing ✓ Existing ✓ Ransomware prevention via behaviors and MBR Existing ✓ Existing ✓ Existing ✓ Malware prevention via ML Enhanced ↗ Enhanced ↗ Enhanced ↗ Centralized osquery host inspection Existing ✓ Existing ✓ Existing ✓ Host response actions Existing ✓ Existing ✓ Existing ✓ Centralized threat and anomaly detection Enhanced ↗ Enhanced ↗ Enhanced ↗ Centralized administration and use case expansion Existing ✓ Existing ✓ Existing ✓ あらゆるエンドポイントでの脅威を 防⽌ 悪意のある⾏動の保護機能を拡張し、新たなベクトル による攻撃を阻⽌ マルウェア対策機能の継続的な強化 MLジョブを再構築し、より多くのデータソースをサポート ポリシーごとにイベントフィルタを適⽤し、収集・保存する イベントの制御を強化することが可能 ポリシーごとにホスト隔離の例外を適⽤し、隔離された ホストの可視性を維持することが可能 Automated Prevention
- 50. Detection engineering カスタムルールの⼀括編集 : ● インデックスパターンの追加と削除 ● タグの追加と削除 ルールのグループ化、ソート : ● ⼀括レビューと編集を合理化 ● 動作の遅いルールや失敗・警告の特定など、特定の ルール管理タスクを⾼速化 主要なワークフローを効率化 Extended Detection
- 52. Case Overview ケース状態の迅速な把握 アラート数、関連ホスト/ユーザー、主要なインターバルの 測定値を表⽰する新しい Case Overview 密集したケースで重要な詳細が⾒落とされるのを防ぐ アラートの数、影響を受けるユーザー/ホスト、測定可能 な間隔を把握することで、必要な対応策を評価すること ができる Extended Response
- 54. Platform 8.1 Release Highlights Workflows & Action Simplicity and Choice Analytics Data Management ❏ Painless scripting updates ❏ Doc-value only fields ❏ Geohexgrid aggregations ❏ Drag to combine fields ❏ Multiple new visualizations and updates in Lens ❏ Full vector tile support in Elastic Maps ❏ Shapefile import ❏ Anomaly Detection Layers in Maps
- 55. Data Management
- 56. Painless スクリプトの フィールド値に、よりシンプルな ⽅法でアクセス可能に フィールドや値の⽋落を⾃動的に処理できるようになった field(<name>).get(<default_value>) or $(<name>, <default_value) この機能により、複雑さを増し、可読性を低下させ、エラーを起 こしやすかった明⽰的なチェックが不要になった 旧⽅式も引き続きサポートされている doc[<field>].value GA OSS Beta Platinum Enterprise Gold Standard/Basic Data Managa ement Data Managemen t if (doc.containsKey('start') && doc.containsKey('end')) { if (doc['start'].size() > 0 && doc['end'].size() > 0) { ZonedDateTime start = doc['start'].value; ZonedDateTime end = doc['end'].value; return ChronoUnit.MILLIS.between(start, end); } else { return -1; } } else { return -1; } ZonedDateTime start = $('start', null); ZonedDateTime end = $('end', null); return start == null || end == null ? -1 : ChronoUnit.MILLIS.between(start, end); BEFORE AFTER https://www.elastic.co/guide/en/elasticsearch/reference/8.1/script-fields-api.html
- 57. Doc value only fields > ストレージサイズを20%以上削減 > インデックス作成のスループットを20%以上向上 インデックスとポイントを反転させない（インデックス︓ false） 集計に影響を与えない (doc_values: true) クエリパフォーマンスが5〜10倍遅くなる 下記の使⽤法に最適 : ● ほとんどが集計データ ● 別のフィールドにフィルタをかけて照会 ● 指標 GA OSS Platinum Enterprise Gold Standard/Basic Data Managa ement Data Managemen t >20% reduced storage size >20% Increased indexing throughput Relevant data- types: ● Numeric ● Date ● Keyword ● IP ● Geo_point ● Boolean
- 58. Analytics
- 59. Hex Tiles geo_pointsのH3グリッドシステムの実装 メリット: 隣接するタイルから中⼼までの距離が等しい Hex Tiles は、その外接円のほとんどをカバーする ~次のズームレベルのタイルの中に〜7タイル 視覚的にユーザーから好評 Analytics GA Cloud: Standard Self-managed: Platinum
- 60. Hex Tiles Analytics GA OSS Platinum Enterprise Gold Cloud: Standard Self-managed: Platinum
- 62. ドラッグでフィールドを結合する Visualizations ドラッグ＆ドロップで複数のフィールドを組み合わせ、組 み合わせ別の上位値を表⽰ フィールドの組み合わせが指標のパフォーマンスに寄与し ているかどうかを簡単に確認できる 1つのインタラクションでフィールドを組み合わせる（最⼤ 4つまで︕）。 インデックスされたフィールドと⽐較して、~25%の パフォーマンスペナルティ (常に共通の組み合わせを インデックスする!) Elasticsearch の multi_terms の集計はフードで ⾏われる Analytics GA OSS Platinum Enterprise Gold Standard/Basic
- 64. Lens に新しいゲージビジュアライゼーションが追加 Visualizations Horizontal / vertical gauges in Lens メトリクスにさらなるコンテクストを追加 静的な値、クイック関数、またはカスタム式で定義された 最⼩値/最⼤値に対応 フルカラーストップ対応 データから⽬標値を定義する タイトルとサブタイトルを設定し、コンテキストを追加 Analytics GA OSS Beta Platinum Enterprise Tech Preview Gold Standard/Basic
- 65. Lens の新しいモザイクビジュアリゼーション 多次元⽐較のためのモザイク可視化タイプ 複数のセグメントの内訳を⽐較 両ディメンジョンの左右⽐較の⾒やすさを改善 異なる値の数が少ないデータで⾮常に有効 サンバースト円グラフやマルチレベルツリーマップの代替と なる Visualizations Analytics GA OSS Beta Platinum Enterprise Tech Preview Gold Standard/Basic
- 66. Lens に新しいワッフルビジュアライゼーションが登場 全体に対する割合のワッフル可視化 プロポーション・トゥ・ホールのデータを表⽰するために、 よりコンパクトなスクエア・フォーム・ファクターを採⽤ 異なる値の数が少ない場合に効果的なビジュアル化 パネルが⾮常に⼩さくなっても読みやすさを維持できるため、 ダッシュボードのサブメトリクスに最適 100個の「ワッフル」マス - 1%以下の数値ではうまく機能 しない Visualizations Analytics GA OSS Beta Platinum Enterprise Tech Preview Gold Standard/Basic
- 68. フィードバックを取り⼊れ、常に改善する ドーナツの内周⾯積を設定可能 折りたたみ可能なサジェスト - サジェストが不要な場合 は編集UIを⼀部削除し、ビジュアライゼーション編集時の クエリ負荷を軽減 Dashboardビューでの Lens テーブルのソート カスタム式のための「Filter by」 - 計算式の各部分で 使⽤する⼿間を省くことができる ⼩さな⾒える化 Visualizations Analytics GA OSS Platinum Enterprise Gold Standard/Basic
- 71. 地図上の異常検出レイヤー Machine Learning & Maps マップにレイヤーを追加してGeo Anomaly Results を表⽰する Geo データをお持ちの⽅（Platinumライセンスをお持ち の⽅）は、Anomaly Detectionの結果をMapsで表⽰ することができる ● 交通機関利⽤者は、異常な緯度経度の結果を⽂脈 で視覚化することができる ● ⼊⼒データの実際の位置と典型的な位置を⽐較する ためのレイヤーを追加し、他の⽂脈的な地理データと ともに異常を表⽰することができる Analytics GA OSS Platinum
- 72. Thank you for your attention!