ビッグデータエコシステムとデータサイエンスのススメ
•
2 likes•877 views
Bigdata, Data science, Hadoop, HBase, mongoDB, Hive, Drill, Impala, R, D3, Lambda Architecture, Data Stream Management System, CEP, fluentd, logstash, flume, Norikra, Esper, Strom, Spark, ElasticSearch, Kibana
Recommended
More Related Content
What's hot
Similar to ビッグデータエコシステムとデータサイエンスのススメ
Similar to ビッグデータエコシステムとデータサイエンスのススメ (20)
Recently uploaded
Recently uploaded (9)
ビッグデータエコシステムとデータサイエンスのススメ
- 1. Presented by Yuki Asano on June 25, 2014
- 3. “I keep saying that the sexy job in the next 10 years will be statisticians. And I’m not kidding.” Chief Economist Hal Varian（Google）
- 4. Harvard Business Review Magazine Data Scientist: The Sexiest Job of the 21st Century by Thomas H. Davenport and D.J. Patil.
- 6. SEXY で 最強
- 7. Data Science
- 10. まずはここから
- 12. ‣ Data Mining ‣ Analyze ‣ Optimize Data Science で、ビジネスにコミット!
- 13. ‣ Data Mining ‣ Analytics ‣ Marketing Data Science With Big Data
- 14. Big Data!! ‣ Data is King!! ‣ many OSS technologies ‣ Decision Making Support ‣ Peak of Inflated Expectation at Hype Cycle
- 17. State of Big Data ‣ 市場に技術者がまだまだ不足 ‣ 旧弊的な考え、文化的な問題 ‣ データ指向ソフトウェア管理の定着 の難しさ
- 18. DIKW Pyramid KNOWLEDGE INFORMATION DATA WISDOM 知識からある法則を見出したもの 情報が分析され体系化されたもの データが整理されたもの 個々に独立した要素
- 20. Big Data?? ‣ 母集団が多く多種特性のデータに対して効 果が認められている ‣ 有用な情報を見つけ出せる技術だが、見つ からないかもしれない ‣ 何ができるか明確でない、ビジネスにコミッ トする量を計ることが難しい ‣ 社内にあるデータがビッグじゃない
- 24. Objectives ‣ Real-time Activity Monitor ‣ Improve Application Quality ‣ Analytic Data Supply
- 25. Objectives Real-time Monitor Improve Application Analytic Data Supply ‣異常検知 ‣即時対応 ‣業務精度向上 ‣アドバンストログ ‣顧客動向統計データ ‣ステータス傾向認知 ‣ユーザーアクション傾 向認知
- 26. Big Data を支える技術
- 31. Hadoop Ecosystem Framework Data Storage Query / Data flow Realtime • MapRed v1 • YARN • Apache Spark • HDFS • HBase • Cassandra • Amazon S3 • mongoDB • Hive • Pig • Impala • Drill • Presto • Stinger • Apache Storm • Apache Spark • Esper • Norikra
- 32. Hadoop Ecosystem HDFS YARN HBase PigHive Monitoring / BI Tools / Data Analytics Spark Storm Map Reduce Script DataQuality
- 34. Hadoop is … ‣ OSS (Apache License 2.0) ‣ Map Reduce (v1/v2 on YARN) ‣ Hadoop Distributed File System (HDFS)
- 35. Hadoop Cluster Master Namenode Slave Slave Slave Slave JobTracker Datanode TaskTracker • Random mapping • Slave control HDFS MapReducePhysical • Storage manage • I/O stream • Task schedule manage • Task monitor • Execute task • Map and Reduce
- 36. Database
- 38. Database Analytic Big Tables (Columnar) Key-Value Document NewSQL RDBMS Non-Rel Relational Non-Rel Relational Hadoop HBase Redis mongoDB Amazon RDB MySQL DB2 HyperTable Couchbase MySQL Cluster Oracle Sybase Cassandra Lotus Notes SQL Azure PostgreSQL One size does not fit all
- 39. Database Analytic Big Tables (Columnar) Key-Value Document NewSQL RDBMS Non-Rel Relational Non-Rel Relational Hadoop HBase Redis mongoDB Amazon RDB MySQL DB2 HyperTable Couchbase MySQL Cluster Oracle Sybase Cassandra Lotus Notes SQL Azure PostgreSQL One size does not fit all
- 41. DBMS vs DSMS DBMS DSMS Query Ad Hoc Query Continuous Query Target Stored Data Stream Data App • Web Application • Batch Processing • Operation & Maintenance • Anomaly Event Detection • Click Stream • Sensor Data Software ISO SQL Lucene Esper S4 PL/SQL HiveQL Storm Oracle CQL Impala Pig Spark StreamBase
- 42. Continuous Query Ad Hoc Query SELECT avg_age FROM user WHERE SUBDATE( NOW(), INTERVAL 5 MINUTE ) >= datetime Continuous Query SELECT avg_age FROM user:time_batch(5 mins) Stored Data Result 5min window Complex Event Processing User Stream Data Result
- 43. Data Collect
- 44. ‣ データを産む ‣ 収集する ‣ 最適化・保存する ‣ 可視化する Data Collect
- 45. ‣ データを産む ‣ 収集する ‣ 最適化・保存する ‣ 可視化する Data Collect 統合ログ管理にお任せ！！ アプリのログ設計を強く推奨。 使えるものは何でもログに吐く！
- 46. fluentd ‣ 多様なデータインプット方法 ‣ 本体は設定のみ超シンプル設計 ‣ 有用なプラグイン多数 ‣ プラグイン開発可能
- 47. View Batch Layer Speed Layer Serving Layer Merge Collect Data ‣All raw data store ‣Pre-Compute ‣Transformed Data ‣Batch Transform ‣Ad-hoc search ‣Realtime Transform ‣Continuous Query ‣Real-time Increment Compute ‣DSMS, CEP ‣Query ‣Visualize‣Data From Apps Lambda Architecture
- 48. View Batch Layer Speed Layer Lambda Architecture Serving Layer Collect Data Merge
- 50. Demo
- 51. Question
- 52. Thank you