Watch full webinar here: https://bit.ly/3oGxZmz
Reconnu en tant que leader dans le Gartner® Magic Quadrant™ for Data Integration Tools ainsi que Customers’ Choice 3 années consécutives, Denodo Platform, soutenue par la Data Virtualization, permet une approche moderne de l'intégration, de la gestion et de la livraison des données, en offrant des fonctionnalités clés telles que la couche d'abstraction des données, les requêtes optimisées par l'IA pour les charges de travail analytiques complexes, le data catalog basé sur l'IA/ML, et la gestion de l'infrastructure cloud.
Découvrez lors de cette session d'1h30 en quoi la Logical Data Fabric et la Data Virtualization révolutionnent l'approche métier & IT dans l’accès, la livraison, la consommation, la gouvernance et la sécurisation de vos données, quel que soit l'âge de votre technologie, le format de la donnée ou son emplacement. Cette technologie mature comble le fossé entre l’IT et les utilisateurs métier, et permet des économies considérables en termes de coûts et de temps.
Lunch and Learn ANZ: Shaping the Role of a Data Lake in a Modern Data Fabric ...
Session découverte de la Logical Data Fabric soutenue par la Data Virtualization
1. Session découverte de la Logical
Data Fabric soutenue par la Data
Virtualization
Tarik Zaakour
Consultant avant-ventes
Mardi 16 Mai 2023
2. AGENDA
1. Généralités
2. Introduction à la Data Virtualization
3. Une plateforme logique
4. Ce que disent les analystes
5. L’approche logique et le Data Mesh
6. Cas d’usage et études de cas clients
7. Gouvernance & sécurité
8. Les APIs
9. Comment Denodo optimise ses requêtes?
10. Exemples de déploiement
11. Questions/Réponses
12. Démonstration avec le Denodo Test Drive
13. Questions/Réponses
14. Prochaines étapes
4. 4
Quelques généralités
• La présentation sera enregistrée
• Les échanges et les questions/réponses
• Avant la démonstration
• A la fin de la présentation
• N’hésitez pas à poser vos questions dans le chat au
fil de l’eau
• Pour accéder aux test drives :
• Se connecter à www.denodo.com
• Rubrique “Try Denodo Platform” puis “Denodo Test
Drives”
• Le Test Drive sur Azure n’est qu’un début : cas
d’usage Data Science et Data Marketplace sur AWS
et GCP
5. Introduction à la Data
Virtualization
Pourquoi la Data Virtualization? Défis, Solutions et Avantages
6. 6
Acteurs et données de nos écosystèmes actuels
Situation actuelle simplifiée
Sales
HR
Apps/API
Executive
Marketing
Data Science
AI/ML
75% de la donnée stockée
jamais utilisée
90% des demandes nécessitent
du temps-réel
Problèmes les plus communs:
× Collaboration et partage limitées
× Vues métiers inconsistantes et limitées
× Gouvernance complexe
× Environnement fragmenté
× Beaucoup (trop) de réplication
× Synchronisations en cascade, longues et coûteuses
7. 7
Qu’est-ce la Data Virtualization?
Un logiciel permettant l’intégration et la gestion moderne des données d’entreprises
Point d’entrée unifié pour rechercher ,
explorer et consommer la donnée
Self-service pour tous les profils de
l’entreprise
Sécurité et gouvernance renforcées
Plateforme moderne
Sales
HR
Executive
Marketing Apps/API
Data Science
AI/ML
8. 8
Plateforme de données moderne souhaitée
Simplicité, rapidité/agilité, sécurité… à moindre coût
Connecter, introspecter & Gouverner vos
source, avec zéro réplication de la donnée
Combiner & intégrer vos données en vues
métiers
Consommer & Sécuriser les vues métiers
dans de multiples formats
Sales
HR
Executive
Marketing Apps/API
Data Science
AI/ML
9. 9
Le fonctionnement de la Data Virtualization?
Connecter, Combiner & Consommer
Sales
HR
Executive
Marketing Apps/API
Data Science
AI/ML
CONNECTER, INTROSPECTER & GOUVERNER VOS
SOURCES, AVEC ZERO REPLICATION DE LA DONNÉE
COMBINER & INTEGRER VOS DONNÉES EN VUES
MÉTIERS
CONSOMMER & SECURISER LES VUES MÉTIERS DANS
DE MULTIPLES FORMATS
COMBINE & INTEGRATE INTO BUSINESS DATA VIEWS
11. 11
La plateforme Denodo : UNE plateforme logique pour toutes vos données
Intégrez, gérez et fournissez logiquement des données
distribuées
TOUTE
SOURCE DE
DONNÉES
TOUT
CONSOMMA
TEUR DE
DONNÉES
TOUT ENVIRONNEMENT DE PLATEFORME
On-Premises | Cloud | Multi-Cloud | Conteneurisé
Data
Governance
Tools
BI Dashboard
Report and
Tools
Data Science &
Machine
Learning
Apps
Mobile &
Enterprise
Apps
Microservice
s
Apps
DB, DW &
Data
Lakes
Files
Cloud
DB
& SaaS
Streaming
Data &
IoT
Cube
Smart
Query
Acceleratio
n
AI/ML Recommendations
& Automation
Advanced
Semantics
& Active Data
Catalog
Unified Security
&
Governance
Logical
Data
Abstraction
Real-Time
Data
Integration
12. 12
INTÉGREZ
Des données
disparates dans
n'importe quel
emplacement,
format ou latence
Files
Cubes
Cloud
Stores
Traditional
DB & DW
Data Lake &
NoSQL
Hybrid/
Multi-Cloud
Security &
Governance
Al/ML
Recommendations
Advanced
Semantics
GEREZ
Des données connexes avec
un modèle sémantique
universel et une fonctionnalité
AI / ML permettant une
gouvernance des données
vitales
Query
Optimization &
Acceleration
Data Catalog
Discover / Explore /
Document
BI Tools
SQL / MDX
Data Science
Tools
Data as a Service
RESTful / Odata
GraphQL/ GeoJSON
LIVREZ
Et démocratisez les données à
l'aide d'outils de BI et de data
science, de catalogues de
données et d'API
La plateforme Denodo : la plateforme logique pour toutes vos données
13. 13
BI Tools Data Science Tools
Architecture de la plateforme Denodo
CATALOGUE DE DONNÉES
Découvrir - Explorer - Documenter
DATA AS A SERVICE
RESTful / OData
GraphQL / GeoJSON
SQL
CONSOMMATEURS
INTEGRER
des données disparates, quel que soit l'endroit,
le format ou la latence
GÉRER
des données connexes dans des vues avec un
modèle sémantique universel
LIVREZ
en utilisant des outils de BI et de science des
données, un catalogue de données et des API.
Self-Service
Hybrid/
Multi-Cloud
Optimisation de
Requêtes
AI//ML
Recommendations
Securité
PLATEFORME
D'INTÉGRATION,
DE
GESTION
ET
DE
DIFFUSION
DES
DONNÉES
SOURCES
150+
data
adapters
Apps Streaming
Gouvernance des
données
SaaS
Files
OLAP
Hadoop
& NoSQL
Cloud
Stores
Traditional
DB & DW
14. 14
Les couches dans Denodo
Couches de connectivité
Couche d’intégration
Couches des entités métiers
Couche applicative
Couches des services web
15. 15
Principaux différenciateurs
FACILITÉ D'UTILISATION
Une interface intuitive et facile à
utiliser pour favoriser la
démocratisation et la découverte
des données.
RÉPONSE RAPIDE AUX REQUÊTES
L'optimisation des requêtes permet
d'obtenir des résultats plus
rapidement, ce qui se traduit par un
meilleur calcul et une réduction des
coûts.
CATALOGUE DE DONNÉES ACTIF
INTÉGRÉ
Offre une expérience axée sur la
sémantique pour faciliter la
découverte et la gouvernance des
données.
CONNECTIVITÉ
UNIVERSELLE
Intégration à plus de 150
sources de données
COUCHE API DE SERVICES
DE DONNÉES MODERNES
Fournir des données par le
biais d'un schéma unique
accessible par une couche API
moderne.
MASQUAGE DYNAMIQUE DES
DONNÉES
Fournit des capacités améliorées
de gouvernance des données
GESTION AUTOMATISÉE DU
CLOUD
augmentez ou réduisez vos
dépenses pour mieux gérer les
coûts associés aux pics
d'utilisation.
Réduction de 83 %.
dans le délai de
recouvrement des recettes
67% de réduction
dans l'effort de préparation
des données
Diminution de 65%.
dans les délais de livraison
par rapport à l'ETL
Source: Forrester Total Economic ImpactTM of Data
Virtualization, 2021
17. 17
- Gartner Magic Quadrant for Data Integration Tools, August 2021
Denodo permet à ses clients de connecter des
données distribuées grâce à des modèles
sémantiques conviviaux qui découplent les données
de leur emplacement et des schémas physiques.
Cela reflète une concentration et une force de
longue date dans la virtualisation des données qui
permet une intégration et une livraison agiles des
données."
18. 18
Evaluations de Gartner et Forrester Research
A la pointe du secteur de l’Intégration de Données
Forrester Wave : Virtualisation des données d'entreprise,
quatrième trimestre 2017
Forrester Wave : Enterprise Data Fabric, Q2 2022
Quadrant magique Gartner 2022 pour les outils
d'intégration de données
19. 19
Denodo - Seul
vendeur à avoir
une note parfaite
de 5.0 !
Seul fournisseur avec un
score parfait de 5,0 en
virtualisation des
données et de toutes les
autres fonctionnalités
critiques
Meilleur score conjoint
de 4,0 dans les services
d'API de tous les autres
fournisseurs d’Intégration
de Données
Tableau 2 : Évaluation du produit/service sur les capacités critiques
Capacités critiques
de Gartner pour les
outils d'intégration
de données ;
Publication – Août
2022
20. 20
Gartner Peer Insights "La voix du client" : Outils d'intégration de données ; Publié - 28 janvier 2022
Denodo - Choix des clients 2022, pour la deuxième année consécutive
▪ Denodo est l'un des trois seuls leaders MQ à avoir été désigné comme le choix
des clients parmi les 18 fournisseurs figurant dans le rapport.
▪ Avec une note globale de 4,4 sur 5,0, Denodo est le troisième fournisseur
d'intégration de données le mieux noté de tous les temps.
Gartner Peer Insights "La voix du client" : Data Integration Tools, 28
janvier 2022
« Très bonne expérience. Le logiciel fournit les
fonctionnalités qui sont décrites sur la fiche produit
avec un très haut niveau de professionnalisme. Il
contribuera à la création d'une culture des données
plus forte en facilitant l'accès aux données pour les
utilisateurs métiers. »
- Directeur des données, industrie de l'énergie, 30 milliards de
dollars de revenus annuels
22. L'objectif principal de Data Mesh est d'accélérer la création de
données fiables, de haute qualité et conformes à partager dans
toute l'entreprise.
Cet objectif est atteint en formant les utilisateurs de l'entreprise à
produire ces données plutôt que de toujours compter sur des
équipes informatiques centralisées qui peuvent ne pas être en
mesure de suivre le rythme de la demande.
Architecture Data Mesh
23. 23
Les principes du Data Mesh
▪ Propriété et architecture des données
décentralisées orientées domaine.
▪ Les données en tant que produit.
▪ Ensembles de données réutilisables
▪ Peut être consommé par différents systèmes analytiques à partir de
différentes charges de travail analytiques
▪ Construire une fois, réutiliser partout
▪ Infrastructure de données en libre-service en tant
que plate-forme.
▪ Gouvernance fédérée des données informatiques.
24. 24
Implémentation du Data Mesh avec Denodo
SQL
Operational EDW
Data Lakes Files
SaaS APIs
REST GraphQL OData
Event
Product
Customer Location Employee
Domaine commun Gestion des événements Ressources humaines
Chaque domaine se voit attribuer un schéma virtuel distinct.
Un domaine commun peut être utile pour les produits de
données centralisés communs à tous les domaines.
1
1 Les domaines connectent leurs sources de données.
2
Les métadonnées sont mappées sur des vues relationnelles.
Aucune donnée n'est répliquée.
3
3
2
Les domaines peuvent modéliser leurs produits de données.
Les produits peuvent être utilisés pour définir d'autres produits.
4
4
Pour l'exécution, les produits peuvent être servis directement à partir
de leurs sources ou répliqués vers un emplacement central, comme
un lac.
5
5
Une équipe centrale peut définir des directives et
une gouvernance pour assurer l'interopérabilité.
6
6
Les produits peuvent être accessibles via SQL ou
exposés en tant qu'API. Aucun codage n'est requis.
7
7
L'infrastructure peut facilement évoluer dans un cluster.
8
8
25. 25
Architectures monolithiques
▪ Centralisée : toutes/la plupart des données dans un
seul système
▪ Toutes les données doivent être copiées sur le système
cible
▪ Les données doivent être répliquées pour les adapter à
chaque nouveau cas d'utilisation (data marts)
▪ Géré par une équipe de données informatiques centrale
▪ Physique : les consommateurs doivent savoir :
▪ Emplacement des données
▪ Comment les données sont représentées dans ce
système
▪ Quelles méthodes d'accès sont prises en charge dans
ce système
▪ Exemples : Entrepôt de données, Data Lake, Data
LakeHouse
26. 26
Les 6 piliers de Data Fabric s'alignent sur la vision de base de Denodo
1. Point d'accès unique à toutes
les données à n'importe quel
endroit
2. Des données exposées sous
une forme Business-Friendly,
adaptée aux besoins de
chaque consommateur
3. Faible coût et mise sur le
marché rapide : jusqu'à 80 %
de réduction des coûts
d'intégration de données
4. Référence pour les données
de confiance via la
sémantique : appliquez une
sémantique, une qualité, une
gouvernance et une sécurité
des données cohérentes
5. Découvrabilité : Le
Data Catalog actif crée un
marché de données pour
l'entreprise
6. ML et automatisation pour
accélérer toutes les étapes du
cycle de vie de la gestion des
données
27. 27
Les six piliers de la Data Fabric
Gartner envisage un système basé sur six
piliers pour fournir la base d'une Data Fabric :
1. Catalogue de données augmenté
2. Graphe de connaissances enrichi de
sémantique
3. Activation des métadonnées
4. Moteur de recommandation
5. Préparation et livraison des données
6. Orchestration et DataOps
28. 28
- The Forrester Wave™: Enterprise Data Fabric, Q2 2020
La solution data fabric de Denodo intègre les
composants clés de la gestion des données,
notamment l'intégration, l'ingestion, la
transformation, la gouvernance et la sécurité des
données, afin de prendre en charge les cas
d'utilisation nouveaux et émergents, notamment les
clients 360, l'analyse en temps réel et à la demande,
l'analyse IoT et l'analyse en libre-service."
30. 30
Virtualisation des données : fondement des architectures logiques et distribuées
« Les capacités de virtualisation des données offrent une couche d'accès et de livraison qui peut servir de base à la structure logique des données,
laquelle offre des fonctions d'automatisation importantes dans l'espace de gestion des données. Il s'agit notamment de l'automatisation des
recommandations de données, de la qualité des données, de la gouvernance des données et des politiques, en plus des fonctions d'intégration
de base de la virtualisation des données »
– Gartner: Assessing the Relevance of Data Virtualization in Modern Data Architectures, June 2021
6 Capacités clefs dans les architectures de données logiques et
distribuées Cas d'utilisation différenciés Personnes
Hybrid/Multi-
Cloud Data
Integration
Self-Service
BI
Lakehouse/
Analytics Query
Accelerator
3600 View
of Entities
Data
Replication
Data Science
Enterprise
Data Services
Data Fabric/
Data Mesh
Data/BI
Analysts
Data
Scientists
Architects
Data Engineers/
Developers
Data Ops
Admin
Temps réel
d'Intégration de
Données
Données
logiques
Abstraction
Requête
Intelligente et
Accélération
Sémantique
avancée
Automatisation et
recommandation
Sécurité unifiée et
gouvernance
Data Catalog
AI/ML
31. 31
Présentation
• Besoin d'une vue omnicanal en temps
réel à 360 degrés des données des
patients à travers les différentes
sources.
• Les processus ETL traditionnels
n'étaient pas assez rapides pour
répondre aux besoins en données des
équipes métiers.
• Réduire le temps de développement
pour transformer les données pour au
final un usage analytique.
• Faciliter l'accès aux données sur
plusieurs sources de données.
• De plus en plus d'applications migrent
vers le cloud, mais la nécessité
d'analyser les données de manière
croisée reste toujours présente
• Les scientifiques des données utilisent
la couche de virtualisation Denodo
pour explorer les données, écrire des
scripts et élaborer des
recommandations pour augmenter les
ventes et améliorer les traitements
• La plate-forme Denodo est établie
comme un élément essentiel de
l'architecture de l'entrepôt de données
logique au-dessus des diverses sources
de données d'UCB.
• La plate-forme Denodo se connecte,
au lieu de collecter des données
comme dans ETL, à chaque source et
présente des vues de données aux
utilisateurs professionnels sous la
forme d'une couche sémantique
virtuelle
• En un an de mise en œuvre de
Denodo, UCB a pu mettre en
production six cas d'utilisation
différents dans différents domaines
fonctionnels.
• La plate-forme Denodo a réduit de
moitié le temps de développement
par rapport au temps requis par les
processus ETL de l'entreprise.
• Denodo a fourni à UCB la vitesse,
l'efficacité et l'agilité dont
l'entreprise avait besoin, ce qui lui a
permis d'avancer avec ses produits
de données tout en rationalisant les
rapports réglementaires.
Les défis La solution Les résultats
Ucb est une société biopharmaceutique mondiale, fondée en 1928. Son ambition est de
transformer la vie des personnes atteintes de maladies neurologiques et immunologiques
sévères. En 2018, avec environ 7500 employés dans le monde, l'entreprise a réalisé un chiffre
d'affaires total de plus de 5 milliards de dollars
32. 32
Présentation
Ucb est une société biopharmaceutique mondiale, fondée en 1928. Son ambition est de
transformer la vie des personnes atteintes de maladies neurologiques et immunologiques
sévères. En 2018, avec environ 7500 employés dans le monde, l'entreprise a réalisé un chiffre
d'affaires total de plus de 5 milliards de dollars
Les applications
consommatrices
Les sources
Netezza
MyAccess
SQL Server
Gouvernée & Sécurisée
Plateforme de
Livraison de
Données
Coûts de dév.
Agilité
Avec le meilleur TTM
35. 35
Catalogue de données
La virtualisation des données avec Le
Data Catalog offre trois avantages
principaux :
1. Une compréhension et un accès à
toutes les données et
métadonnées de l'entreprise.
2. BI libre-service
3. Élimination du besoin de créer de
nouveaux magasins de données et
de déplacer physiquement les
données
SYNCHRONISATION DES MÉTADONNÉES
Denodo Platform prend en charge :
• La découverte et capture de métadonnées à partir de systèmes de
gestion de bases de données
• La synchronisation de modèles de données avec des outils de
modélisation de données.
• Pour la synchronisation des modèles de données, la plateforme
Denodo fournit des fonctions d'analyse des mises à jour et
modifications des sources et des modifications dans le schéma sous-
jacent, permettant de décider de propager ou non la modification dans
le schéma Denodo.
INTÉGRATION AVEC DES OUTILS TIERS DE GESTION DE MÉTADONNÉES
Denodo n'est pas en concurrence mais complète les solutions de catalogue de
données d'entreprise en les rendant opérationnelles.
36. 36
Principes de sécurité
Contrôle centralisé
▪ Autoriser l'accès en fonction des besoins de l'entreprise,
indépendamment de la localisation des données ou de la
méthode d'accès
▪ Définir un contrôle d'accès fin sur toutes les sources de
données (fichiers, services web, ...)
▪ Configuration centralisée
Intégré à votre environnement
▪ SSO, Kerberos
▪ Authentification locale ou LDAP
▪ Comptes de pass-though ou de service
nom pays téléphone SSN
John Smith USA 555-1212
Alain Durand France
Mary White USA 555-2212
Contrôler l'accès aux colonnes,
aux lignes ou même aux valeurs
individuelles
37. 37
Principes de sécurité
Contrôle centralisé
Denodo gère la sécurité comme sur une DB :
▪ S’intègre avec votre Active Directory & SSO
▪ Masquage dynamique, restrictions sur les colonnes
et les lignes selon les Roles & Privileges des
utilisateurs
Intégré à votre environnement
Centralise la sécurité - basée sur comment les
utilisateurs utilisent la donnée et non
comment elle est stockée
IT Semantic Layer
JOIN
GROUP
BY
GROUP
BY
1. Requête métier
2. Authentification avec
une corporate identity
3. Application des règles
d’autorisation .
Par exemple, masque SSN
et restriction locale
4. Requête envoyée à la
source avec les filtres de
conditions correspondants
5. Résultat sécurisé
est généré et envoyé
à l’utilisateur
DISPARATE DATA SOURCES
Less Structured
More Structured
DATA CONSUMERS
DATA CONSUMERS
Analytical Operational
39. 39
Architecture de référence de virtualisation des données
Metadata Management, Data Governance, Data Security
Data
Warehouse
Web,
Cloud,
Saas
Enterprise
Applications
Enterprise
Application
Web
Mobile
Data Sources Service Consumers
Data Search & Discovery
Federation
Transformation
Abstraction
Data
Services
Federation
Transformation
Abstraction
Optimization
Security
Governance
Data Caching
Enterpri
se
Service
Bus
SOA
Service Providers • Génération automatique de
documents Swagger
• Prise en charge de tous les
formats
• Réutilisations des
fondements de la sécurité
Denodo
• Héritage des aspects
sécurités
A
P
I
M
a
n
a
g
e
m
e
n
t
P
l
a
t
f
o
r
m
41. 41
La performance
Les données restent à la source
▪ Lorsqu’une requête est traitée par Denodo, les
données sont remontées depuis les sources
▪ Potentiellement un volume de données important
dans des sources disparates
Stratégie de Denodo : Maximiser le traitement à la
source
▪ Minimiser le trafic réseau
▪ Tirer parti des capacités de traitement des sources
▪ Compléter avec un cache intelligent
▪ Optimisations spécifiques pour les sources MPP
(Massively Parallel Processing)
42. 42
La performance
SELECT c.state, AVG(s.amount)
FROM customer c JOIN sales s
ON c.id = s.customer_id
GROUP BY c.state
Ventes Client
Table
temporaire
JOIN
GROUP BY
Option 1 Option 2
Option 3
Temp-Client
Les données « clients » et « ventes » sont stockées dans
différentes sources.
Quel est le meilleur plan d'exécution ?
Stratégie fédération simple
(outils BI)
Mouvement temporaire des données
(Si les sources le permettent)
2 M
50
Ventes Client
JOIN
GROUP BY
ID
GROUP BY
state
Délégation partielle d'agrégation
2 M
2 M
... juste un exemple parmi les
stratégies appliquées par
Denodo dans l'optimisation des
requêtes
300 M 2 M
Ventes Client
JOIN
GROUP BY
43. 43
La performance
Système
Temps
d'exécution
Données
transférées
Technique
d'optimisation
Denodo 9 sec. 4 M
La delegation de
l'agrégation
Autres 125 sec. 302 M Aucun : scan complet
300 M 2 M
Ventes Client
JOIN
GROUP BY
2 M
2 M
Ventes Client
JOIN
GROUP BY
ID
GROUP BY
state
Pour maximiser la délégation au
dataware, l'agrégation est
divisée en 2 étapes :
• 1ère par ID client
• 2ème par État
Cela a considérablement
réduit le trafic réseau et la
complexité de traitement dans
Denodo
SELECT c.state, AVG(s.amount)
FROM customer c JOIN sales s
ON c.id = s.customer_id
GROUP BY c.state
44. 44
« Summaries » et mise en cache dans votre stratégie de modélisation
Couche d’abstraction
Modèles sources originaux
Couche sémantique
Modèle logique DW
Couche métier (optionnel)
Vue dénormalisée pour les entreprises
Couche de Reporting (optionnel)
Rapports prédéfinis avec métriques calculées
Caching
Sources lentes et protégées
uniquement
Summaries
Summaries
Caching
45. 45
Nous ajoutons un moteur MPP à la plateforme Denodo
Logical Layer Logical Layer
Traditional
DB & DW
Cloud Excel
MPP Engine
Traditional
DB & DW Cloud
Data Lakes
Excel
Distributed FS Distributed FS
46. 46
De la fédération multi-sources naïve à l'accélération Denodo MPP
JOIN
GROUP
BY
Sales
300 M
2 M
Customer Item
200K
Temp tables
DATA
MOVEMENT
Sales Customer
300 M 100k
JOIN
GROUP
BY
Oracle
Item
20k
2 M
Customer
Oracle
Item
200K
MPP
ACCELERATION
SELECT i_category, c_last_name,
SUM(ss_net_paid_inc_tax) AS price
FROM tpcds_parquet.store_sales
INNER JOIN tpcds_oracle.customer ON ss_customer_sk = c_customer_sk
INNER JOIN tpcds_oracle.item ON i_item_sk = ss_item_sk
GROUP BY i_category, c_last_name
Autres fédérateurs : Stratégie naïve Denodo: Data Movement Denodo + Presto: MPP Acceleration
Denodo MPP Denodo MPP Oracle
Sales
300 M
Denodo MPP
JOIN
GROUP
BY
47. 47
De la fédération multi-sources naïve à l'accélération Denodo MPP
Denodo Presto
Naïve RBO RBO + CBO RBO + CBO + MPP Tout dans Presto
(reference)
Time ∞ 13,5 s 6,5s 1,9s 1.9s
Plan Federation Aggregation Push-
down
Data Movement MPP Acceleration n/a
SELECT i_category, c_last_name,
SUM(ss_net_paid_inc_tax) AS price
FROM tpcds_parquet.store_sales
INNER JOIN tpcds_oracle.customer ON ss_customer_sk = c_customer_sk
INNER JOIN tpcds_oracle.item ON i_item_sk = ss_item_sk
GROUP BY i_category, c_last_name
49. 49
Environnement Cloud Denodo
AWS Cloud Infrastructure
Azure Cloud Infrastructure
On-Prem Environment
Azure VM
Metro Transit Department
T-Bird
DCHS
Integrated Health
SQL Data Warehouse Azure Data Lake
Databricks Python/Azure ML
SQL Data Warehouse Azure Data Lake
Databricks Python/Azure ML
SQL Data Warehouse Azure Data Lake
KCSO
Analytics Platform
Azure
Commercial
Azure
Commercial
Azure
Government
Enterprise Tools
On-Prem
Host
On-Prem
Host
Data Catalog
(Future)
Data Governance
(Future)
Data Quality
(Informatica)
Client Machines
BI Insights Data Warehouse
Geo
(ArcGIS
Online)
Reports
(Tableau)
Reports
(Power BI)
Dashboards
(Power BI)
Open
Data
(Socrata)
Machine Learning
Predictive Models
Departments
Agencies Citizens Council
Denodo is Java
code that can be run on
Azure in:
• A VM
• A Docker Container
• A Kubernetes
Cluster
Informatica DI
Subnet
Business Resource Center
HUB VNet
Subnet
VNet
UDR
Peering
On-Prem VM
Subnet
50. 50
Entrepôt de données logique moderne
Consommation
DATA FLOW
• Join big data and analytical queries housed in ADLS
and other on-Prem Big Data platforms.
• Join Snowflake and secure data across snowflake
with corporate security model while also providing
graphical UI joining tool.
• Leverage azure analytical layer for silo’d data
across the azure services.
• Incorporate relational data from on-prem and cloud
sources.
• Optimize and translate queries across platforms to
increase speed and efficiency of queries.
• Parallel SQL across cloud and on-prem
environments for further optimization and speed
increases.
• Provide a single source for all consumption layer no
matter the query or request with complete
governance and audit trail.
1
2
3
4
5
6
7
Source
Oracle
Big Data
SQL Server
API
SQL
Azure Denodo
Virtualization
API
SQL
On-Prem Denodo
Virtualization
• 3rd Party
Data (IMS,
etc.)
• Internal
Apps
• Email
• External
Apps
• Social
Media
• Flat Files
• IOT
Streams
• Data Hubs
• Regulator
y
Authoritie
s
• Rest API’s
ADLS Gen 2
Big Data
Data Lake
Relational
Analytical
Relational
6
5
Data Lake
Relational
Relational
Bbig Data
7
1
2
3
4
2
4
4
1
5
55. 55
Depuis 1999, nous nous concentrons sur l'intégration, la gestion et la fourniture de données.
Denodo: Leader en Gestion de Data
BUREAUX DE DENODO, EMPLOYÉS
Présence mondiale - 25 bureaux dans
20 pays ; plus de 500 employés.
Nouveaux bureaux en 2021 - Pays-
Bas, Belgique, Suède, Corée du Sud.
CLIENTS et PARTENAIRES
+ 1000 clients, dont de nombreuses sociétés
F500 et G2000 dans tous les grands secteurs
d'activité.
+ 300 partenaires actifs et engagés, dans le
monde entier
.
FINANCES
~50% de croissance annuelle
108% de rétention nette ; 4% de
désabonnement
0 $ de dette ; rentable
Leader : Quadrant magique de Gartner
pour les outils d'intégration de données,
2021
Leader : Vague 2020 de Forrester -
Enterprise Data Fabric, Q2 2020
Leader : Forrester 2017 Wave - Data
Virtualization, quatrième trimestre
2017.
LEADERSHIP
Customers’ Choice: 2022 Gartner Peer
Insights for Data Integration Tools (2nd
year in a row)
56. 56
+1000 clients, dont de nombreuses entreprises du Fortune 500 et du Global 2000, +30 secteurs d'activité.
Sélection de clients de référence dans les principaux secteurs d'activité
Services Financiers
Santé
Production
Assurance
Detail
Pharma / Biotech
Technologie
Secteur Publique
Telecommunications
Energie
57. 57
Sélection de partenaires intégrateurs de systèmes et revendeurs 300+
Spécialistes & Partenaires de Solutions
Partenaires intégrateurs de systèmes mondiaux
Partenaires Intégrateurs de Systèmes Régionaux
58. 58
3rd Party
Connectors
Data Science / Prep Tools
Alliances Technologiques - Ecosystème
MDM & DQ Tools
Data Governance Tools
Cloud Service
Providers
Big Data/NoSQL Sources
HDInsight
BI & Reporting Tools
Data Modeling Tools
Security & Privacy
Traditional Data Sources
SaaS/Cloud Applications
Cloud Data Warehouses
API Management / ESB
59. 59
Denodo: Leader en Gestion de Data
Leader & Pionnier dans la Data Virtualization
AUTO ÉVALUATION
ÉVALUATION COLLABORATIVE
Téléchargez Denodo Express
Contactez-nous !
Évaluez (1h) avec le Test Drive:
Denodo Platform
for AWS, Azure ou GCP
BUREAUX DE DENODO, EMPLOYÉS
Présence mondiale - 25 bureaux dans
20 pays ; plus de 500 employés.
Nouveaux bureaux en 2021 - Pays-
Bas, Belgique, Suède, Corée du Sud.
CLIENTS et PARTENAIRES
+ 1000 clients, dont de nombreuses sociétés
F500 et G2000 dans tous les grands secteurs
d'activité.
+ 300 partenaires actifs et engagés, dans le
monde entier
.
FINANCES
~50% de croissance annuelle
108% de rétention nette ; 4% de
désabonnement
0 $ de dette ; rentable
60. 60
Denodo: Nos prochains événements
EN LIGNE :
- Webinar – Sujet Data Mesh : 1er Juin 2023
EN PERSONNE :
- Cours Architecture : 6-7 Juin 2023
- Matinée Conférence Denodo : 21 juin 2023