Submit Search
Upload
The future of stream processing
•
Download as PPTX, PDF
•
2 likes
•
1,752 views
Mitsuharu Hamba
Follow
The future of stream processing
Read less
Read more
Technology
Report
Share
Report
Share
1 of 44
Download now
Recommended
Stream processing on AWS
Stream processing on AWS
Stream processing on AWS
Mitsuharu Hamba
成長していくサービスとAWS
成長していくサービスとAWS
成長していくサービスとAWS
Mitsuharu Hamba
JAWS-UG東京で発表した資料です。
20160526 AWSサービスアップデート
20160526 AWSサービスアップデート
Genta Watanabe
AWS Black Belt Online Seminar 2017 AWS X-Ray
AWS Black Belt Online Seminar 2017 AWS X-Ray
AWS Black Belt Online Seminar 2017 AWS X-Ray
Amazon Web Services Japan
AWS Black Belt Online Seminar 2017 Amazon Kinesis
AWS Black Belt Online Seminar 2017 Amazon Kinesis
AWS Black Belt Online Seminar 2017 Amazon Kinesis
Amazon Web Services Japan
2016/5/27 Black Belt Online Seminar Amazon RDS 2016/8/30 Update
Black Belt Online Seminar AWS Amazon RDS
Black Belt Online Seminar AWS Amazon RDS
Amazon Web Services Japan
2016年2月20日に開催したdevelopers.io 2016の発表資料です。
頑張らないクラウド最適化 〜クラウドネイティブだけでないAWS活用〜
頑張らないクラウド最適化 〜クラウドネイティブだけでないAWS活用〜
宗 大栗
AWS serverless services for DMM meetup
Serverless services on_aws_dmm_meetup_20170801
Serverless services on_aws_dmm_meetup_20170801
Amazon Web Services Japan
Recommended
Stream processing on AWS
Stream processing on AWS
Stream processing on AWS
Mitsuharu Hamba
成長していくサービスとAWS
成長していくサービスとAWS
成長していくサービスとAWS
Mitsuharu Hamba
JAWS-UG東京で発表した資料です。
20160526 AWSサービスアップデート
20160526 AWSサービスアップデート
Genta Watanabe
AWS Black Belt Online Seminar 2017 AWS X-Ray
AWS Black Belt Online Seminar 2017 AWS X-Ray
AWS Black Belt Online Seminar 2017 AWS X-Ray
Amazon Web Services Japan
AWS Black Belt Online Seminar 2017 Amazon Kinesis
AWS Black Belt Online Seminar 2017 Amazon Kinesis
AWS Black Belt Online Seminar 2017 Amazon Kinesis
Amazon Web Services Japan
2016/5/27 Black Belt Online Seminar Amazon RDS 2016/8/30 Update
Black Belt Online Seminar AWS Amazon RDS
Black Belt Online Seminar AWS Amazon RDS
Amazon Web Services Japan
2016年2月20日に開催したdevelopers.io 2016の発表資料です。
頑張らないクラウド最適化 〜クラウドネイティブだけでないAWS活用〜
頑張らないクラウド最適化 〜クラウドネイティブだけでないAWS活用〜
宗 大栗
AWS serverless services for DMM meetup
Serverless services on_aws_dmm_meetup_20170801
Serverless services on_aws_dmm_meetup_20170801
Amazon Web Services Japan
【IVS CTO Night & Day】Serverless & Mobile Updates
【IVS CTO Night & Day】Serverless & Mobile Updates
【IVS CTO Night & Day】Serverless & Mobile Updates
Amazon Web Services Japan
AWS Black Belt Tech Webinar 2014 (旧マイスターシリーズ) AWS Data Pipeline
AWS Black Belt Techシリーズ AWS Data Pipeline
AWS Black Belt Techシリーズ AWS Data Pipeline
Amazon Web Services Japan
2018/07/23 に開催されたセミナーの資料です https://pages.awscloud.com/AdTechJapanSeminar20180723-jp.html
AWS ML Update
AWS ML Update
Amazon Web Services Japan
11/11 Developers Festa Sapporoで講演した際の資料です。
Serverless Revolution
Serverless Revolution
Keisuke Nishitani
2017/07/05 に開催された,AWS Solution Days 2017 DB Day の講演資料です. https://aws.amazon.com/jp/about-aws/events/2017/solutiondays20170705/
クラウド上のデータ活用デザインパターン
クラウド上のデータ活用デザインパターン
Amazon Web Services Japan
【IVS CTO Night & Day】AWS re:Invent 2017 振り返り
【IVS CTO Night & Day】AWS re:Invent 2017 振り返り
【IVS CTO Night & Day】AWS re:Invent 2017 振り返り
Amazon Web Services Japan
JAWS DAYS 2017の講演資料です。
AWSデータベースアップデート2017
AWSデータベースアップデート2017
Amazon Web Services Japan
AWS re:invent 2015 ReCap
20151207 AWS re:invent 2015 ReCap
20151207 AWS re:invent 2015 ReCap
Kiyonori Kitasako
2016年3月12日に開催されましたABC2016 Spring (Android Bazaar and Conference)で講演した際の資料になります。
Androidを中心に紐解くIoT
Androidを中心に紐解くIoT
Keisuke Nishitani
Amazon CloudSearch, Amazon Elasticsearch Serviceのご紹介
AWS Search Services
AWS Search Services
Eiji Shinohara
20170418 aws black-belt-architecture_pattern_of_serverless
20170418 aws black-belt-architecture_pattern_of_serverless
20170418 aws black-belt-architecture_pattern_of_serverless
Amazon Web Services Japan
AWS Black Belt Online Seminar 2017 AWS re:Invent 2017速報
AWS Black Belt Online Seminar 2017 AWS re:Invent 2017速報
AWS Black Belt Online Seminar 2017 AWS re:Invent 2017速報
Amazon Web Services Japan
2017/11/14 JAWS-UG アーキテクチャ専門支部で発表した内容です
CloudFormation Getting Started with YAML
CloudFormation Getting Started with YAML
Yukitaka Ohmura
AWS Black Belt Online Seminar 2017 AWS Lambda
20170705 blackbelt AWS Lambda
20170705 blackbelt AWS Lambda
Amazon Web Services Japan
デジタルマーケティング・広告テクノロジーの企業様に対してAWSがどのようにビジネスに貢献できるか事例を用いながらご紹介します。 2016年7月15日にVoyage Group様で開催させていただいたAWS主催の"アドテクノロジー業界セミナー"での登壇資料です。
Accelerating AdTech on AWS #AWSAdTechJP
Accelerating AdTech on AWS #AWSAdTechJP
Eiji Shinohara
2017/05/10 に実施された、RDSのBlackBelt資料です。
AWS Black Belt Online Seminar 2017 Amazon Relational Database Service (Amazon...
AWS Black Belt Online Seminar 2017 Amazon Relational Database Service (Amazon...
Amazon Web Services Japan
AWS公式オンラインセミナー: https://amzn.to/JPWebinar 過去資料: https://amzn.to/JPArchive
20190122 AWS Black Belt Online Seminar Amazon Redshift Update
20190122 AWS Black Belt Online Seminar Amazon Redshift Update
Amazon Web Services Japan
2016年5月に発表されたサービスアップデートをまとめた資料です
2016年5月のAWSサービスアップデートまとめ
2016年5月のAWSサービスアップデートまとめ
Amazon Web Services Japan
JAWS DAYS 2016 で発表した資料となります
Big DataとContainerとStream - AWSでのクラスタ構成とストリーム処理 -
Big DataとContainerとStream - AWSでのクラスタ構成とストリーム処理 -
Amazon Web Services Japan
2016年3月に公開されたWhitepaper『Building a Real-Time Bidding Platform on AWS』の要約です。 https://d0.awsstatic.com/whitepapers/Building_a_Real_Time_Bidding_Platform_on_AWS_v1_Final.pdf
[要約] Building a Real-Time Bidding Platform on AWS #AWSAdTechJP
[要約] Building a Real-Time Bidding Platform on AWS #AWSAdTechJP
Eiji Shinohara
AWS公式オンラインセミナー: https://amzn.to/JPWebinar 過去資料: https://amzn.to/JPArchive
20190326 AWS Black Belt Online Seminar Amazon CloudWatch
20190326 AWS Black Belt Online Seminar Amazon CloudWatch
Amazon Web Services Japan
2018/10/5 に開催された Analytics Architecture Night - Tokyo の発表資料です https://analyticsarchitecturenighttoky.splashthat.com/
Amazon Kinesis Familyを活用したストリームデータ処理
Amazon Kinesis Familyを活用したストリームデータ処理
Amazon Web Services Japan
More Related Content
What's hot
【IVS CTO Night & Day】Serverless & Mobile Updates
【IVS CTO Night & Day】Serverless & Mobile Updates
【IVS CTO Night & Day】Serverless & Mobile Updates
Amazon Web Services Japan
AWS Black Belt Tech Webinar 2014 (旧マイスターシリーズ) AWS Data Pipeline
AWS Black Belt Techシリーズ AWS Data Pipeline
AWS Black Belt Techシリーズ AWS Data Pipeline
Amazon Web Services Japan
2018/07/23 に開催されたセミナーの資料です https://pages.awscloud.com/AdTechJapanSeminar20180723-jp.html
AWS ML Update
AWS ML Update
Amazon Web Services Japan
11/11 Developers Festa Sapporoで講演した際の資料です。
Serverless Revolution
Serverless Revolution
Keisuke Nishitani
2017/07/05 に開催された,AWS Solution Days 2017 DB Day の講演資料です. https://aws.amazon.com/jp/about-aws/events/2017/solutiondays20170705/
クラウド上のデータ活用デザインパターン
クラウド上のデータ活用デザインパターン
Amazon Web Services Japan
【IVS CTO Night & Day】AWS re:Invent 2017 振り返り
【IVS CTO Night & Day】AWS re:Invent 2017 振り返り
【IVS CTO Night & Day】AWS re:Invent 2017 振り返り
Amazon Web Services Japan
JAWS DAYS 2017の講演資料です。
AWSデータベースアップデート2017
AWSデータベースアップデート2017
Amazon Web Services Japan
AWS re:invent 2015 ReCap
20151207 AWS re:invent 2015 ReCap
20151207 AWS re:invent 2015 ReCap
Kiyonori Kitasako
2016年3月12日に開催されましたABC2016 Spring (Android Bazaar and Conference)で講演した際の資料になります。
Androidを中心に紐解くIoT
Androidを中心に紐解くIoT
Keisuke Nishitani
Amazon CloudSearch, Amazon Elasticsearch Serviceのご紹介
AWS Search Services
AWS Search Services
Eiji Shinohara
20170418 aws black-belt-architecture_pattern_of_serverless
20170418 aws black-belt-architecture_pattern_of_serverless
20170418 aws black-belt-architecture_pattern_of_serverless
Amazon Web Services Japan
AWS Black Belt Online Seminar 2017 AWS re:Invent 2017速報
AWS Black Belt Online Seminar 2017 AWS re:Invent 2017速報
AWS Black Belt Online Seminar 2017 AWS re:Invent 2017速報
Amazon Web Services Japan
2017/11/14 JAWS-UG アーキテクチャ専門支部で発表した内容です
CloudFormation Getting Started with YAML
CloudFormation Getting Started with YAML
Yukitaka Ohmura
AWS Black Belt Online Seminar 2017 AWS Lambda
20170705 blackbelt AWS Lambda
20170705 blackbelt AWS Lambda
Amazon Web Services Japan
デジタルマーケティング・広告テクノロジーの企業様に対してAWSがどのようにビジネスに貢献できるか事例を用いながらご紹介します。 2016年7月15日にVoyage Group様で開催させていただいたAWS主催の"アドテクノロジー業界セミナー"での登壇資料です。
Accelerating AdTech on AWS #AWSAdTechJP
Accelerating AdTech on AWS #AWSAdTechJP
Eiji Shinohara
2017/05/10 に実施された、RDSのBlackBelt資料です。
AWS Black Belt Online Seminar 2017 Amazon Relational Database Service (Amazon...
AWS Black Belt Online Seminar 2017 Amazon Relational Database Service (Amazon...
Amazon Web Services Japan
AWS公式オンラインセミナー: https://amzn.to/JPWebinar 過去資料: https://amzn.to/JPArchive
20190122 AWS Black Belt Online Seminar Amazon Redshift Update
20190122 AWS Black Belt Online Seminar Amazon Redshift Update
Amazon Web Services Japan
2016年5月に発表されたサービスアップデートをまとめた資料です
2016年5月のAWSサービスアップデートまとめ
2016年5月のAWSサービスアップデートまとめ
Amazon Web Services Japan
JAWS DAYS 2016 で発表した資料となります
Big DataとContainerとStream - AWSでのクラスタ構成とストリーム処理 -
Big DataとContainerとStream - AWSでのクラスタ構成とストリーム処理 -
Amazon Web Services Japan
2016年3月に公開されたWhitepaper『Building a Real-Time Bidding Platform on AWS』の要約です。 https://d0.awsstatic.com/whitepapers/Building_a_Real_Time_Bidding_Platform_on_AWS_v1_Final.pdf
[要約] Building a Real-Time Bidding Platform on AWS #AWSAdTechJP
[要約] Building a Real-Time Bidding Platform on AWS #AWSAdTechJP
Eiji Shinohara
What's hot
(20)
【IVS CTO Night & Day】Serverless & Mobile Updates
【IVS CTO Night & Day】Serverless & Mobile Updates
AWS Black Belt Techシリーズ AWS Data Pipeline
AWS Black Belt Techシリーズ AWS Data Pipeline
AWS ML Update
AWS ML Update
Serverless Revolution
Serverless Revolution
クラウド上のデータ活用デザインパターン
クラウド上のデータ活用デザインパターン
【IVS CTO Night & Day】AWS re:Invent 2017 振り返り
【IVS CTO Night & Day】AWS re:Invent 2017 振り返り
AWSデータベースアップデート2017
AWSデータベースアップデート2017
20151207 AWS re:invent 2015 ReCap
20151207 AWS re:invent 2015 ReCap
Androidを中心に紐解くIoT
Androidを中心に紐解くIoT
AWS Search Services
AWS Search Services
20170418 aws black-belt-architecture_pattern_of_serverless
20170418 aws black-belt-architecture_pattern_of_serverless
AWS Black Belt Online Seminar 2017 AWS re:Invent 2017速報
AWS Black Belt Online Seminar 2017 AWS re:Invent 2017速報
CloudFormation Getting Started with YAML
CloudFormation Getting Started with YAML
20170705 blackbelt AWS Lambda
20170705 blackbelt AWS Lambda
Accelerating AdTech on AWS #AWSAdTechJP
Accelerating AdTech on AWS #AWSAdTechJP
AWS Black Belt Online Seminar 2017 Amazon Relational Database Service (Amazon...
AWS Black Belt Online Seminar 2017 Amazon Relational Database Service (Amazon...
20190122 AWS Black Belt Online Seminar Amazon Redshift Update
20190122 AWS Black Belt Online Seminar Amazon Redshift Update
2016年5月のAWSサービスアップデートまとめ
2016年5月のAWSサービスアップデートまとめ
Big DataとContainerとStream - AWSでのクラスタ構成とストリーム処理 -
Big DataとContainerとStream - AWSでのクラスタ構成とストリーム処理 -
[要約] Building a Real-Time Bidding Platform on AWS #AWSAdTechJP
[要約] Building a Real-Time Bidding Platform on AWS #AWSAdTechJP
Similar to The future of stream processing
AWS公式オンラインセミナー: https://amzn.to/JPWebinar 過去資料: https://amzn.to/JPArchive
20190326 AWS Black Belt Online Seminar Amazon CloudWatch
20190326 AWS Black Belt Online Seminar Amazon CloudWatch
Amazon Web Services Japan
2018/10/5 に開催された Analytics Architecture Night - Tokyo の発表資料です https://analyticsarchitecturenighttoky.splashthat.com/
Amazon Kinesis Familyを活用したストリームデータ処理
Amazon Kinesis Familyを活用したストリームデータ処理
Amazon Web Services Japan
2016年3月12日のJAWSDAYSでお話した資料です。
AWS Lambda / Amazon API Gateway Deep Dive
AWS Lambda / Amazon API Gateway Deep Dive
Keisuke Nishitani
AWS公式オンラインセミナー: https://amzn.to/JPWebinar 過去資料: https://amzn.to/JPArchive
20190410 AWS Black Belt Online Seminar Amazon Elastic Container Service for K...
20190410 AWS Black Belt Online Seminar Amazon Elastic Container Service for K...
Amazon Web Services Japan
2020/06/29 マイクロサービスアーキテクチャとアジャイル開発
Microservice and agile development
Microservice and agile development
Kameda Harunobu
2019年10月に京都で開催された CTO Night & Day 2019 Fall Day1 モーニングセッションでの講演資料です
[CTO Night & Day 2019] AWS で構築するデータレイク基盤と amazon.com での導入事例 #ctonight
[CTO Night & Day 2019] AWS で構築するデータレイク基盤と amazon.com での導入事例 #ctonight
Amazon Web Services Japan
2020年8月に利用可能となったCloudFrontのリアルタイムログ機能を使うと、Webにアクセスしているユーザ数やCloudFrontの状況を、リアルタイムにモニタリングすることが可能となります。このシステムを構築する際のポイントについてご紹介します。
CloudFrontのリアルタイムログをKibanaで可視化しよう
CloudFrontのリアルタイムログをKibanaで可視化しよう
Eiji KOMINAMI
毎月1度、AWS Startup Loft Tokyoで開催しているIoT@LoftのDeep Dive シリーズです。以下の内容をご紹介します。 • AWS の製造業に対する取り組み • AWS IoT SiteWise とSiteWise Edge のご紹介 • データの収集・モデル化 • データの保存・取得 • データの可視化・共有 • オンプレミスでのリアルタイム監視 • AWS IoT SiteWise ワークショップのご紹介
AWS IoT SiteWise のご紹介 (AWS IoT Deep Dive #5)
AWS IoT SiteWise のご紹介 (AWS IoT Deep Dive #5)
Amazon Web Services Japan
2020/10/05に開催されたAmazon Game Tech Night #22のセッション資料です。ゲーム業界向けにAWSのデータレイクとアナリティクス全般のソリューションをご紹介した資料になります。
Amazon Game Tech Night #22 AWSで実現するデータレイクとアナリティクス
Amazon Game Tech Night #22 AWSで実現するデータレイクとアナリティクス
Amazon Web Services Japan
2018/01/16 に実施された、re:Invent 2017 RecapのBlackBelt資料です。
AWS Black Belt Online Seminar 2018 re:Invent 2017 Recap Machine Learning / Da...
AWS Black Belt Online Seminar 2018 re:Invent 2017 Recap Machine Learning / Da...
Amazon Web Services Japan
2018/2/21 配信分:AWS Black Belt Online Seminar AWS Lambda@Edge
20180221 AWS Black Belt Online Seminar AWS Lambda@Edge
20180221 AWS Black Belt Online Seminar AWS Lambda@Edge
Amazon Web Services Japan
2018/12/17 JAWS-UG アーキテクチャ専門支部で発表した資料です Management Tools アップデートについてはこちらも参照のこと。 https://www.slideshare.net/yktko/opsjaws-ops-recap-aws-management-tools
JAWS-UG アーキテクチャ専門支部 re:Invent Management Tools ダイジェスト
JAWS-UG アーキテクチャ専門支部 re:Invent Management Tools ダイジェスト
Yukitaka Ohmura
AWS re:Invent 2019 Recap IoT アップデート
AWS re:Invent 2019 Recap IoT アップデート
AWS re:Invent 2019 Recap IoT アップデート
Amazon Web Services Japan
20180425 AWS Black Belt Online Seminar Amazon Relational Database Service (Amazon RDS)
20180425 AWS Black Belt Online Seminar Amazon Relational Database Service (Am...
20180425 AWS Black Belt Online Seminar Amazon Relational Database Service (Am...
Amazon Web Services Japan
2016.09.16 Premier Night #2 in Osakaでの登壇資料です。 「Amazon Elasticsearch Serviceのおもしろい使い方」
AWS Premier Night #2 in Osaka『Amazon Elasticsearch Serviceのおもしろい使い方』
AWS Premier Night #2 in Osaka『Amazon Elasticsearch Serviceのおもしろい使い方』
Takayoshi Kobayashi
2018/02/13 開催分 動画配信 on AWS
AWS Black Belt Online Seminar 2018 動画配信 on AWS
AWS Black Belt Online Seminar 2018 動画配信 on AWS
Amazon Web Services Japan
エッジコンピューティングとSORACOMで進化するIoTでの資料 https://pages.soracom.jp/20190521_aws_seminar_LP.html
エッジコンピューティングで実現できる活用シナリオ3選
エッジコンピューティングで実現できる活用シナリオ3選
Jun Ichikawa
2017/03/07開催のイベント「Amazon Aurora事例祭り」の表題セッションの資料です。
[Aurora事例祭り]毎日新聞ニュースサイトをクラウド化 ~Amazon Aurora 導入事例紹介~
[Aurora事例祭り]毎日新聞ニュースサイトをクラウド化 ~Amazon Aurora 導入事例紹介~
Amazon Web Services Japan
AWSが誕生するまでの秘話
AWSが誕生するまでの秘話
Yasuhiro Horiuchi
re:Invent 2017 Japan Exploring Night
AWS 主要なサービスアップデート 6/3-11/28
AWS 主要なサービスアップデート 6/3-11/28
崇之 清水
Similar to The future of stream processing
(20)
20190326 AWS Black Belt Online Seminar Amazon CloudWatch
20190326 AWS Black Belt Online Seminar Amazon CloudWatch
Amazon Kinesis Familyを活用したストリームデータ処理
Amazon Kinesis Familyを活用したストリームデータ処理
AWS Lambda / Amazon API Gateway Deep Dive
AWS Lambda / Amazon API Gateway Deep Dive
20190410 AWS Black Belt Online Seminar Amazon Elastic Container Service for K...
20190410 AWS Black Belt Online Seminar Amazon Elastic Container Service for K...
Microservice and agile development
Microservice and agile development
[CTO Night & Day 2019] AWS で構築するデータレイク基盤と amazon.com での導入事例 #ctonight
[CTO Night & Day 2019] AWS で構築するデータレイク基盤と amazon.com での導入事例 #ctonight
CloudFrontのリアルタイムログをKibanaで可視化しよう
CloudFrontのリアルタイムログをKibanaで可視化しよう
AWS IoT SiteWise のご紹介 (AWS IoT Deep Dive #5)
AWS IoT SiteWise のご紹介 (AWS IoT Deep Dive #5)
Amazon Game Tech Night #22 AWSで実現するデータレイクとアナリティクス
Amazon Game Tech Night #22 AWSで実現するデータレイクとアナリティクス
AWS Black Belt Online Seminar 2018 re:Invent 2017 Recap Machine Learning / Da...
AWS Black Belt Online Seminar 2018 re:Invent 2017 Recap Machine Learning / Da...
20180221 AWS Black Belt Online Seminar AWS Lambda@Edge
20180221 AWS Black Belt Online Seminar AWS Lambda@Edge
JAWS-UG アーキテクチャ専門支部 re:Invent Management Tools ダイジェスト
JAWS-UG アーキテクチャ専門支部 re:Invent Management Tools ダイジェスト
AWS re:Invent 2019 Recap IoT アップデート
AWS re:Invent 2019 Recap IoT アップデート
20180425 AWS Black Belt Online Seminar Amazon Relational Database Service (Am...
20180425 AWS Black Belt Online Seminar Amazon Relational Database Service (Am...
AWS Premier Night #2 in Osaka『Amazon Elasticsearch Serviceのおもしろい使い方』
AWS Premier Night #2 in Osaka『Amazon Elasticsearch Serviceのおもしろい使い方』
AWS Black Belt Online Seminar 2018 動画配信 on AWS
AWS Black Belt Online Seminar 2018 動画配信 on AWS
エッジコンピューティングで実現できる活用シナリオ3選
エッジコンピューティングで実現できる活用シナリオ3選
[Aurora事例祭り]毎日新聞ニュースサイトをクラウド化 ~Amazon Aurora 導入事例紹介~
[Aurora事例祭り]毎日新聞ニュースサイトをクラウド化 ~Amazon Aurora 導入事例紹介~
AWSが誕生するまでの秘話
AWSが誕生するまでの秘話
AWS 主要なサービスアップデート 6/3-11/28
AWS 主要なサービスアップデート 6/3-11/28
The future of stream processing
1.
#ctonight
2.
The Future of
Stream Processing アマゾンウェブサービスジャパン株式会社 半場光晴
3.
Stream processing してますか?
4.
Stream processing で何しましょう
5.
ニアリアルタイムな何か (Near Realtime)
6.
Stream processingで ニアリアルタイムを 体験してみましょう
7.
デモ Click stream http://goo.gl/xxxxxx
8.
http://goo.gl/xxxxxx
9.
デモのアーキテクチャ
10.
Amazon S3 Amazon API Gateway Amazon API Gateway Amazon Kinesis Amazon EMR Amazon DynamoDB AWS Lambda Amazon S3
11.
Amazon S3 Amazon API Gateway Amazon API Gateway Amazon Kinesis Amazon EMR Amazon DynamoDB AWS Lambda Amazon S3 ここが
Stream processing Data Source > Collection > Process > Store
12.
Amazon S3 Amazon API Gateway Amazon API Gateway Amazon Kinesis Amazon EMR Amazon DynamoDB AWS Lambda Amazon S3 Amazon
S3 Static Website Hosting Highly scalable Designed for 99.99% availability
13.
Amazon S3 Amazon API Gateway Amazon API Gateway Amazon Kinesis Amazon EMR Amazon DynamoDB AWS Lambda Amazon S3 Amazon
API Gateway Fully managed service Configured as an AWS proxy
14.
Amazon S3 Amazon API Gateway Amazon API Gateway Amazon Kinesis Amazon EMR Amazon DynamoDB AWS Lambda Amazon S3 Amazon
Kinesis Streams Manages the infrastructure, storage, networking, and configuration needed to stream your data at the level of your data throughput.
15.
Amazon S3 Amazon API Gateway Amazon API Gateway Amazon Kinesis Amazon EMR Amazon DynamoDB AWS Lambda Amazon S3 Amazon
Elastic MapReduce Enables you to instantly provision as much or as little capacity as you like to perform.
16.
Amazon S3 Amazon API Gateway Amazon API Gateway Amazon Kinesis Amazon EMR Amazon DynamoDB AWS Lambda Amazon S3 Amazon
DynamoDB Fully managed NoSQL database service Fast and predictable performance with seamless scalability
17.
Amazon S3 Amazon API Gateway Amazon API Gateway Amazon Kinesis Amazon EMR Amazon DynamoDB AWS Lambda Amazon S3 Amazon
Lambda Lets you run code without provisioning/managing servers Takes care of everything required to run and scale your code with high availability
18.
Amazon S3 Amazon API Gateway Amazon API Gateway Amazon Kinesis Amazon EMR Amazon DynamoDB AWS Lambda Amazon S3 http://spark.apache.org/docs/latest/streaming-programming-guide.html 例
Windowed computations 今回のデモの場合、 毎秒、クリック回数を算出して、 直近3秒間の合計を、 2秒ずつスライドしながら計算し続ける
19.
Amazon S3 Amazon API Gateway Amazon API Gateway Amazon Kinesis Amazon EMR Amazon DynamoDB AWS Lambda Amazon S3 これで完成形でしょうか?
20.
Amazon S3 Amazon API Gateway Amazon API Gateway Amazon Kinesis Amazon EMR Amazon DynamoDB AWS Lambda Amazon S3 完成形に向かって、 どこを目指すべきでしょうか?
21.
これ系のスゴイ方々の言動から学ぶ
22.
キーワード 「Reactive」 http://www.reactive-streams.org/ http://www.reactivemanifesto.org/
23.
Reactiveのマニフェスト http://www.reactive-streams.org/ http://www.reactivemanifesto.org/
24.
Responsive 可能な限り速やかに応答を返 し続ける システムに問題が発生しても、 速やかに検知して効率的に対 処する 早く一定した応答時間を保ち、 十分な上限を満たすことで、 一定のサービス品質を維持す る http://www.reactive-streams.org/ http://www.reactivemanifesto.org/
25.
Resilient 予期せぬ障害が発生しても Responsiveを維持する Replication Isolation Delegation (委譲) 障害の影響範囲をコンポーネ ントの中に閉じる http://www.reactive-streams.org/ http://www.reactivemanifesto.org/
26.
Elastic 多様な負荷状況でも Responsiveを維持する 競合やボトルネックがない ShardやReplicationで負荷を散 らすことができる 負荷状況に応じてスケールで きる http://www.reactive-streams.org/ http://www.reactivemanifesto.org/
27.
Message Driven 非同期である イベントキューではなくメッ セージを受け渡す ノンブロッキングである バックプレッシャーの仕組み を持つ http://www.reactive-streams.org/ http://www.reactivemanifesto.org/
28.
Reactiveのマニフェスト Replication Isolation Delegation Asynchronous Back-pressure Non-blocking Scalable Failure-handling http://www.reactive-streams.org/ http://www.reactivemanifesto.org/
29.
Amazon S3 Amazon API Gateway Amazon API Gateway Amazon Kinesis Amazon EMR Amazon DynamoDB AWS Lambda Amazon S3 このアーキテクチャは Reactiveでしょうか?
30.
Amazon S3 Amazon API Gateway Amazon API Gateway Amazon Kinesis Amazon EMR Amazon DynamoDB AWS Lambda Amazon S3 最大のボトルネックはここ
31.
Amazon S3 Amazon API Gateway Amazon API Gateway Amazon Kinesis Amazon EMR Amazon DynamoDB AWS Lambda Amazon S3 Click
streamの急伸で、 Kinesisへの書き込みが失敗すると、 データが失われる
32.
書き込みに失敗したら、別のコ ンポーネントに書き込みを委譲 する SQSに入れておき、Lambdaで定 期的に捌く Amazon S3 Amazon API Gateway Amazon API Gateway Amazon Kinesis Amazon EMR Amazon DynamoDB AWS Lambda AWS Lambda Amazon S3 Amazon SQS Amazon CloudWatch Amazon SNS AWS Lambda ① Scheduled
event AWS Lambda
33.
書き込みに失敗したら、別のコ ンポーネントに書き込みを委譲 する SQSに入れておき、SNSから Lambdaを実行して、再帰的に捌 く Amazon S3 Amazon API Gateway Amazon API Gateway Amazon Kinesis Amazon EMR Amazon DynamoDB AWS Lambda AWS Lambda AWS Lambda Amazon S3 Amazon SQS Amazon CloudWatch Amazon SNS AWS Lambda Amazon SNS ②
34.
Amazon S3 Amazon API Gateway Amazon API Gateway Amazon Kinesis Amazon EMR Amazon DynamoDB AWS Lambda AWS Lambda AWS Lambda Amazon S3 Amazon SQS Amazon CloudWatch Amazon SNS AWS Lambda Amazon SNS 負荷に連動して、適宜Kinesisの Reshardも実施する
35.
Amazon S3 Amazon API Gateway Amazon API Gateway Amazon Kinesis Amazon EMR Amazon DynamoDB AWS Lambda Amazon S3 他は問題ないでしょうか?
36.
Amazon S3 Amazon API Gateway Amazon API Gateway Amazon Kinesis Amazon EMR Amazon DynamoDB AWS Lambda Amazon S3 SparkでBack
pressureが働いても、 Kinesisに一定期間保持できる また、負荷に連動して、適宜EMRクラスターのResizeを実施する
37.
Amazon S3 Amazon API Gateway Amazon API Gateway Amazon Kinesis Amazon EMR Amazon DynamoDB AWS Lambda Amazon S3 EMRで適切に処理すれば、 Writeの負荷を軽減できる また、負荷に連動して、適宜DynamoDBのWriteスループットの変更を実施する
38.
Amazon S3 Amazon API Gateway Amazon API Gateway Amazon Kinesis Amazon EMR Amazon DynamoDB AWS Lambda Amazon S3 Lambdaでキャッシュすれば、 Readの負荷を軽減できる また、負荷に連動して、適宜DynamoDBのReadスループットの変更を実施する
39.
おさらい
40.
Amazon S3 Amazon API Gateway Amazon API Gateway Amazon Kinesis Amazon EMR Amazon DynamoDB AWS Lambda Amazon S3 AWSサービスを活用しよう
41.
Reactive Amazon S3 Amazon API Gateway Amazon API Gateway Amazon Kinesis Amazon EMR Amazon DynamoDB AWS Lambda AWS Lambda AWS Lambda Amazon S3 Amazon SQS Amazon CloudWatch Amazon SNS AWS Lambda Amazon SNS
42.
Amazon S3 Amazon API Gateway Amazon API Gateway Amazon Kinesis Amazon EMR Amazon DynamoDB AWS Lambda AWS Lambda AWS Lambda Amazon S3 Amazon SQS Amazon CloudWatch Amazon SNS AWS Lambda Amazon SNS 非同期 ノンブロッキング バックプレッシャー
43.
44.
#ctonight
Editor's Notes
The URL is masked
The URL is masked
Download now