Watch full webinar here: https://bit.ly/3N5ufSC
In this session we will look at the key trends in data integration and in particular the role of the data fabric. We will discuss the physical v’s logical approaches and how data virtualization is a key technology to power the logical data fabric. The session will also cover how quick a return on investment may be achieved, examining the ke y findings of the Forrester total economic impact report and data virtualization.
GenAI y el futuro de la gestión de datos: mitos y realidades
A Modern Data Integration Approach to Transform and Amplify Your Business (데이터 버추얼라이제이션 ; 비즈니스 혁신 및강화를 위한 최신의 데이터 통합 접근법)
1. A Modern Data Integration
Approach to Transform and Amplify
Your Business
Myoungsun Namkung
Country Manager, Korea, Denodo
2. Agenda
1. Business Challenges and Needs in Data Management
2. Let’s take a look at different Data Architectures
3. A New Approach to Data Management
4. How does Denodo’s Logical Data Fabric work?
5. Data Virtualization: Essential Capabilities
6. Benefits – Why Should I Care?
7. Denodo Company Overview
4. 4
Business Challenges and Needs
• 보다 빠르고 정확한 의사 결정이 필요로 합니다
▪ 비즈니스 속도와 요구 사항의 복잡성이 현저한 증가함에 따라
→ IT는 적시에 제공하기 위해 고군분투 할 수 밖에 없습니다
• 기술 진화 속에서 비즈니스 연속성 보장되어야 하는데,
▪ 레거시 시스템을 클라우드로 마이그레이션, 데이터 및 애플리케이션
현대화하는 다양한 변화가 속출하고 있습니다.
• 규정, 규정 준수, 개인 정보 데이터 보호, 보안에 대한
위험은 계속 증가하고 있습니다.
▪ 지역, 부서 및 산업 전반에 걸쳐 데이터에 영향을 미치는 규정 보다 복잡하고
다양해지고 있습니다.
5. 5
IT Architecture 는 점점 복잡해지고, 관리하기 어렵고, 변화에 취약해지고 있습니다.
Business – IT Dilemma
IT는
서로 다른
데이터 소스를
연결하여
대응해야
하는데
작은
변경조차도
데이터의
흐름을
중단하고
비즈니스
연속성에
영향을
미칩니다.
현업에서는 모든 데이터를 “지금” 원하고 있지만
– IT 부서는 100~1000개의 테이블들을 연결하고, 생성하고, 대량의 데이터를
복제하고 있습니다.
Inventory System
(MS SQL Server)
Product Catalog
(Web Service -SOAP)
BI / Reporting
JDBC, ODBC,
ADO .NET
Web / Mobile
WS – REST JSON,
XML, HTML, RSS
Log files
(.txt/.log files)
CRM
(MySQL)
Billing System
(Web Service - Rest)
ETL
Portals
JSR168 / 286,
Ms Web Parts
SOA, Middleware,
Enterprise Apps
WS – SOAP
Java API
Customer Voice
(Internet, Unstruc)
6.
7. 7
Objectives for the Data-Driven Business
1. Single entry-point : explore and query ALL data
• 협업은 다양한 데이터 소스를 탐색하는데에 시간을 많이 소비하고 싶어 하지
않습니다.
• IT 는 사용자들이 모든 데이터 시스템에의 접근을 원하지 않습니다.
2. Create a self-service culture for data consumers
• 사용자는 코딩(SQL, Python, Java 등)을 배우고 싶어하지 않습니다.
• 그들은 가장 편안한 도구를 사용하기를 원합니다.
3. Implement security & governance across multiple systems
• 경영진은 조직 전체에 복제되는 데이터의 양을 줄이기를 원합니다.
• 그리고, 여러 버전의 데이터 복제가 일어나지 않으면서 데이터 유출의 위험을
최소화 하고 싶어 합니다.
8. Let’s take a look at different
Data Architectures
9. 9
Monolithic Architectures
▪ Centralized
거의 모든 데이터는 하나의 시스템 속에 있으면서
▪ 타겟 시스템별로 복제 되어야 하며
▪ 각각의 새로운 사용 사례(데이터 마트)에 맞게
데이터를 복제해서 사용해야 하며,
▪ 중앙 IT 데이터 팀에서 관리되는 상황
• Physical
데이터 소비자들은
▪ 데이터의 위치
▪ 개별 시스템 내에서 데이터가 표현되는 방식과
지원되는 접근 방법들에 대해서 알고 있어야 합니다
▪ Examples: Data Warehouse, Data Lake, Data LakeHouse
10. 10
Logical and Distributed Architectures
▪ Distributed
데이터가 다양한 장소 / 여러 시스템 내에 존재함
▪ 오늘날의 분석 요구사항은 매우 다양하기 때문에 하나의 시스템은 모든
목적에 적합하지 않을 수 있음.
▪ Hybrid and multi-cloud, GCC
▪ Logical
소비자는 데이터 위치 및 물리적 스키마에서 분리된 의미론적 (Semantic)
모델을 통해 데이터에 액세스합니다.
▪ 시맨틱 모델은 소비자 요구에 적합한 공통 정책을 가능하게 하고,
▪ 데이터 복제 최소화하며,
▪ 기술 진화 및 인프라 변경 허용합니다. (예: 클라우드 전환)
11. 11
Monolithic Architectures: One Size Never Fits All
"LDW 아키텍처에는 단일 데이터 계층과 그에
따른 처리 유형이 현대의 데이터 및 분석
요구를 충족하기에 부적절하다는 인식에서
출발했다."
The Practical Logical Data Warehouse (Dec 2020) by Henry Cook, Rick Greenwald and Adam Ronthal
12. 12
Monolithic Architectures: Slow and Rigid / Lock - in
▪ 새 시스템에서 모든 데이터를 수집해야 함
▪ 기존 분석 시스템은 재사용할 수 없습니다.
▪ 데이터는 모든 다른 목적/사용 사례에 대해 복제됩니다.
▪ 변경에는 여러 단계에서 파이프라인 및 데이터 세트를 수정해야 합니다.
▪ 애플리케이션 및 보고서는 중앙 시스템에 종속됨
▪ 워크로드를 다른 시스템으로 쉽게 이동할 수 없음
15. 15
The Logical Data Warehouse
“Adopt the Logical Data Warehouse Architecture to Meet Your Modern Analytical Needs”. Henry Cook, Gartner April 2018
DATA VIRTUALIZATION
16. 16
Logical Data Fabric
Logical Data Fabric
Consumers
Data
Science
Machine
Learning
Artificial
Intelligence
Mobile
Applications
Predictive
Analytics
Business
Intelligence
Relational NoSQL Unstructured Docs Cloud Sensors IoT
Sources
Unified Data Security
Abstraction Layer
Universal Access
Self-Service
Data Catalog
17. 17
Data Virtualization Connects the Users to the Data That They Need
데이터 가상화를 통해 (거의) 모든 데이터 소스에 연결할 수 있게 함
해당 데이터를 사용자가 필요로 하는 형식으로 결합하고 변환할 수 있음
데이터는 사용자가 사용할 수 있는 형식과 인터페이스로 소비자에게 보여지게 되며
• 일반적으로 소비자는 이미 사용하고 있는 도구를 사용하게 됨에 따라. 데이터에 액세스하기 위해 새로운
도구와 기술을 배울 필요가 없습니다.
이 모든 작업은 데이터를 복사하거나 이동하지 않고 수행됨.
• 데이터는 원래 소스(데이터베이스, 응용 프로그램, 파일 등)에 그대로 있으며 요청 시 실시간으로
검색됩니다.
18. 18
Data Virtualization – A Data Fabric Layer
“데이터
가상화/추상화된
레이어를
생성함으로써,
Silo된 데이터를
변형하여 실시간 및
준 실시간 통찰력을
얻을 수 있게
지원합니다”
– Forrester Research, Inc.,
“The Forrester Wave:
Enterprise Data Fabric, Q2
2020,”
Consume
in business applications
Enterprise Applications, Reporting, BI, Portals, ESB, Mobile, Web, Users
DATA CONSUMERS
Analytical Operational
Multiple Protocols,
Formats
Query, Search,
Browse
Request/Reply,
Event Driven
Secure
Delivery
Combine
related data into views
CONSUME
Share, Deliver,
Publish, Govern,
Collaborate
COMBINE
Discover, Transform, Prepare,
Improve Quality, Integrate
CONNECT
Normalized views
of disparate data
SQL,
MDX
Web
Services
Big Data
APIs
Web Automation
and Indexing
Connect
to disparate data sources
Databases & Warehouses, Cloud/Saas Applications, Big Data, NoSQL, Web, XML, Excel, PDF, Word...
DISPARATE DATA SOURCES
More Structured Less Structured
3
2
1
Stop collecting, Start connecting
20. 20
Data Virtualization: Essential Capabilities
Consistent, Flexible view of information across any consuming application
Data Abstraction:
데이터 소스 및 인프라에서 애플리케이션
과 데이터 분리
Zero Replication, Zero Relocation
물리적인 데이터는 데이터가 저장된
그곳에 그대로 있어야 합니다.
Real Time Information
대부분의 리포팅 및 분석 도구는 실시간
데이터에 쉽게 연결할 수 있어야 합니다.
Self Service Data Marketplace
셀프서비스 데이터 탐색을 위한 다이나믹한
데이타 카탈로그와 가상화 레이어에서의
데이터 서비스가 가능해야 합니다.
Centralized Metadata, Security &
Governance:
엔터프라이즈 데이터 보안을 위한 가상화
계층의 모든 데이터 자산에 대한 액세스 관리
및 동적 데이터 익명화를지원할 수 있어야
합니다.
Location-agnostic Architecture
하이브리드 아키텍처, 멀티클라우드
아키텍처 모두 가능해야 합니다.
21. 21
1. Data abstraction
이기종의 데이터 소스에 대한 데이터
접근 방법을 추상화 (Abstraction)
합니다.
하나의 가상 리포지토리로
작동합니다.
데이터의 위치, 형식, 포멧 등으로 인한
데이터의 복잡성을 추상화 합니다.
…비지니스 유저들이 쉽게 데이타에 접근할 수 있도록, 데이터의 복잡성을 제거합니다.
“엔터프라이즈 아키텍트는 빠른 데이터에 대한 수요를 충족하기
위해 데이터 아키텍처를 수정해야 합니다.”
– Create a Road Map For A Real-time, Agile, Self-Service Data
Platform, Forrester Research
22. 22
2. Zero replication, zero relocation
…배포 시간 및 전반적인 TCO를 줄여야 합니다.
Denodo 플랫폼을 사용하면 ETL로 1~2주가 소요되는 데이터
서비스를 구축하여 내부 및 외부 소비자에게하루 만에 제공할 수
있습니다.”
– Manager, Enervus
데이터를 원본에 그대로 둡니다. 꼭 필요한
경우에만 추출합니다.
많은 노력이 필요로 하는 ETL 프로세스를 줄입니다.
불필요로 한 데이터의 중복을 제거합니다.
23. 23
3. Real-time information
소비자에게 실시간으로 데이터 제공
많은 데이터 소스에서 데이터에 대한 실시간
논리적 뷰(view)를 생성합니다.
레거시 시스템에 접근 할 때에 어떠한 지연, 중복,
접근의 어려움이 없이 사용할 수 있어야 합니다.
…시기적절하게 의사 결정을 내릴 수 있게 하여야 합니다.
Denodo의 데이터 패브릭 설계는 데이터 가상화를 활용하여
비즈니스 사용자에게 통합 데이터를 신속하게 제공하여 더 빠른
결과를 볼 수 있도록 합니다.”
– Gartner Magic Quadrant for Data Integration Tools, 18 August’ 2020
24. 24
4. Self-service data services
내부 및 외부의 모든 데이터에 대한 액세스를
용이하게 합니다.
비즈니스 분류를 반영하는 보편적 의미(Semantic)
모델 생성 가능
사일로된 데이터를 연결하여 비즈니스 의사 결정을
추진하는 데 가장 유용한 정보 제공
…셀프 서비스로 정보를 탐색할 수 있게 합니다
추가적으로 있을 수 있는 사일로된 데이터 시스템 또는 레거시로부터 데이터를
확보하는 데 소요되는 시간이 빠름이 매우 인상적입니다.
– Business Analyst, Swiss Re
25. 25
5. Centralized metadata, security & governance
데이터 소스 보안 모델을 추상화하고싱글포인트보안 및
거버넌스를활성화합니다.
클라우드 및 온프레미스아키텍처 전반에 걸쳐 싱글포인트
제어가 가능하도록합니다.
데이터에 대한 이해를 돕기 위해 다양한 형태의 메타데이터
(기술적, 비즈니스적, 운영적 관점에서)를 제공합니다.
…데이터 보안, 프라이버시, 데이터 검열(audit) 등이 매우 단순해 집니다.
Denodo를 롤아웃 하는 것은 내가 본 중요한 엔터프라이즈 소프트웨어의
가장 쉽고 성공적인 롤아웃 중 하나였습니다. 초기, 보안, 사용 사례를 즉시
처리하는 데 성공했으며 이후 추가 사용 사례, 특히 웹 서비스 기능을 통해
데이터 추상화 계층 역할을 수행하는 강력한 능력을 보여주었습니다.”
– Enterprise Architect, Asurion
26. 26
6. Location-agnostic architecture for multi-cloud, hybrid acceleration
비즈니스에 영향을 주지 않고 데이터, 애플리케이션
및 분석 워크로드를 클라우드로 마이그레이션하여
비용 최적화
혼합 워크로드에서 데이터 통합을 지원하기 위해
허브 아키텍처를 생성할 수 있습니다.
마이그레이션/프로모션 및 지속적인 제공
프로세스의 엔드 투 엔드 관리.
…다양한 온프레미스, 클라우드 환경에서도 가능
추가적으로 있을 수 있는 사일로된 데이터 시스템 또는 레거시로부터 데이터를
확보하는 데 소요되는 시간이 빠름이 매우 인상적입니다.
– Business Analyst, Swiss Re
27. Benefits – Why Should I Care?
Why Data Virtualization, Denodo?
28. 28
Benefits of Using Data Virtualization
Easier & faster access to trusted data
• 비지니스 사용자들에게는
• 단순성 : 사용자는 아키텍처의 복잡성을 탐색할 필요가 없습니다. 데이터(온프레미스, 클라우드, 멀티
클라우드)는 어디에 있습니까? 액세스하는방법? 어디에 있는 데이터가 더 중요한가요?
• 민첩성 : 모든 데이터는 단일(가상) 시스템에서 안전하고 빠르게 전달됩니다.
• 접근성 : 데이터는 원본 형식 및 위치에 관계없이 다양한 형식(SQL, REST, OData, GraphQL) 및 웹
기반 데이터 카탈로그에서 액세스할 수 있습니다.
• 공통 의미 (Semantic) 계층 : 모든 사용자가 동일한 정의와 데이터를 보고 데이터 일관성을
제공합니다.
• 관리되는 셀프 서비스 : 사용자는 자체 도구(BYOT)를 사용하여 관리되고, 안전하며, 신뢰할 수 있는
데이터에 액세스하고 쿼리할 수 있습니다.
29. 29
Benefits of Using Data Virtualization
Faster, cheaper, simpler, easier to secure and govern
• IT 팀에게는
• 추상화 (Abstraction) : 데이터를 공급과 데이터 스토리지와 데이터 프로세스 엔진을 분리합니다.
• 유연성 : IT가 서비스 중단 없이 기술을 변경하고 데이터를 이동할 수 있습니다.
• 보안성 : 모든 데이터 자산에 대한 중앙 집중식 거버넌스 및 보안 제어
• 거버넌스 : 사용자가 액세스하는 데이터가 제어, 보안 및 관리할 수 있으므로 사용자는 알려져
있고 신뢰할 수 있으며 승인된 데이터 세트에 액세스할 수 있습니다.
• Accelerated Delivery : 데이터가 사용을 위해 스테이징 영역이나 데이터 마트에 복제되지 않기
때문에 사용자가 필요로 하는 데이터를 전달하는 것이 훨씬 더 빠릅니다(최대 90% 더 빠름).
30. 30
Using The Denodo Platform; Published – 1st
October 2021
Forrester Total Economic ImpactTM
of Data Virtualization
Forrester Total Economic ImpactTM
of Data Virtualization Using the Denodo Platform, October 1, 2021
“Denodo는 협업적이고
유연한 작업에 적합한
도구이며 비즈니스에
미래를 위한 유연한
애플리케이션을 만들 수
있는 더 많은 공간을
제공합니다. 이점은 분명
확인된 사실입니다.
— IT Manager, Manufacturing
31. 31
Data Virtualization Use Cases
From Data Storage & Management, to Data Consumers, going through Data Governance & Security
Decision
(Real time)
Single View
(Customer 360)
Agile BI
(Self-service)
Data Science
(ML & AI)
APPS
(Mobile & web)
Mergers &
Acquisitions
Data
Marketplace
Compliances
(IFRS17, GRC)
Data
Security
APIfication
(& SQLification)
Unified Data
Layer
Agility
& Simplicity
Real-time
Delivery
Data
Abstraction
Zero
Replication
Data
Governance
Sophisticated
Optimizations
Logical Data
Warehouse/Lake
Big Data
Fabric
Hybrid
Data Fabric
Data
Integration
Data
Migration
Refactoring &
Replatforming
Data Consumption
Data Storage & Management
Data Governance, Manipulation & Access
Sales
HR
Executive
Marketing
Apps/API
Data Science
AI/ML
33. 33
Denodo at a Glance
The Leader in Data Virtualization
DENODO OFFICES and EMPLOYEES
• 26 offices across 21 countries
(HQ in Palo Alto, CA. Global presence throughout
North America, EMEA, APAC, and Latin America)
• 30% growth in employees in 2021
LEADERSHIP
▪ Longest continuous focus on data virtualization – since 1999
▪ Leader – Gartner Data Integration MQ 2021
▪ Leader in Forrester 2020 Wave – Ent. Data Fabric
Leader in Forrester 2017 Wave – Data Virtualization
▪ Top scorer in Gartner Peer Insights for Data Integration Tools
▪ Gartner Customer Choice for 2nd
year in a row
CUSTOMERS and PARTNERS
• 1000+ customers; 100+ new in 2021
• 250+ active and engaged partners
FINANCIALS
• 50% annual growth in revenue and ARR
34. 34
“디노도는 데이터 카탈로그, AI, ML 등 핵심 구성
요소들이 모두 포함된, 복잡하고 분산된 데이터
생태계에서도 신속한 데이터 통합과 전달을 위한
논리적 데이터 패브릭을 구현할 수 있도록 하는
현대적인 데이터 플랫폼을 제공합니다.
Denodo는 2021년 Gartner Voice of the Customer:
Data Integration Tools에서 고객의 선택을 받은 두
공급업체 중 하나입니다. 대규모 글로벌 조직들이
Denodo 플랫폼을 사용하여 조직 내에
엔터프라이즈급 논리 데이터 패브릭을 만들고
있습니다.”
2021 Gartner Magic Quadrant™ for Data Integration Tools
Denodo Once Again a Leader
35. 35
Gartner and Forrester Research Evaluations
Industry Leading Data Integration
Forrester Wave: Enterprise Data Fabric, Q2 2020
2021 Gartner Magic Quadrant for Data Integration Tools
36. 36
Marquee Customers Across Multiple Verticals
800+ customers across 30+ industries
Public Sector
Financial Services
Telco
Healthcare
Technology
Manufacturing
Insurance
Retail
Pharma / Biotech
Energy
CONFIDENTIAL
37. 37
Technology Partners Ecosystem
BI & Reporting Tools Data Science Tools
Big Data/NoSQL Sources
Cloud Data Warehouses
SaaS/Cloud Applications
Data Governance Tools
Data Modeling Tools
Traditional Data Sources
Third-Party Connectors
MDM & Data Quality Tools
API Management / ESB
38. 38
Key Takeaways
▪ 논리적 데이터 아키텍처는 점점 증가하는 데이터 분석, 데이터
사이언스로부터의 요구에 대응할 수 있는 보다 유연하고 에자일한
아키텍쳐입니다.
▪ Data Virtualization은 조직이 데이터에 쉽게 접근/이해할 수 있게 함으로써
데이터 리터러시를 키워줍니다.
▪ 조직내의 사일로된 데이터 구조를 깨뜨리면서, 도메인 데이터의 확보 및
공유를 촉진합니다.
▪ 특정 비즈니스 요구 사항을 충족하기 위해 재사용 가능성이 높은 최적의
구성 요소로 ROI를 높이고 비용 절감을 보장합니다.
▪ Denodo는 데이터 탐색 및 분석 시간을 줄이기 위해 데이터 과학
생태계에서 핵심적인 역할을 할 수 있습니다.
▪ 노트북, Python, R 등의 기능을 확장 및 통합하여 데이터 사이언티스트들은
다양한 도구들을 더 잘 사용할 수 있게 합니다.
39. 39
Next Step
올해는 한국어를 비롯한 다양한 언어별 세션도 새롭게 마련되었습니다.
지금 등록하세요
제목: - 데이터 관리와 통합의 기술동향 및
진화방안: 논리적 데이터 패브릭으로 전환 -
오후 2:15 (한국 시간)
요약: - 이 세션에서는 데이터 통합의 주요
기술동향, 특히 데이터 패브릭의 역할에
주목합니다. 물리적 접근법과 논리적
접근법을 비교 평가하고, 데이터 가상화가
논리적 데이터 패브릭의 효용성을 높이는
핵심 기술인 이유를 제시합니다. 아울러
Forrester TEI 리포트의 주요 내용 및 데이터
가상화에 관한 사항을 검토하면서 얼마나
빨리 ROI를 달성할 수 있는지 알아봅니다.