mercredi 24 juin 2020

De la gouvernance à la dataOps


Si les solutions de gouvernance de données garantissent la fiabilité de l’information et remettent au cœur de l’entreprise la gestion de cette dernière, ces solutions restent principalement déclaratives et nécessitent ainsi une organisation qui accompagne des tâches souvent redondantes et pas nécessairement à forte valeur ajoutée.


Comprendre, expliquer, communiquer le cheminement de l'information et son usage dans le temps - dans des architectures très hétérogènes - est un véritable défi.

Pourtant, il existe dorénavant des solutions très techniques non déclaratives comme openAudit qui permettent de combler les interstices des solutions de gouvernance du marché. L'idée est d’automatiser les tâches les plus chronophages et récurrentes pour libérer les énergies où l’intelligence, le discernement est indispensable.


Les nombreux atouts du parsing en continu

Une solution technique permet de libérer de l'énergie pour actualiser continuellement les flux, les liens entre données et l'inventaire exhaustif de l'information. Cela passe nécessairement par de multiples parseurs, sondes en tous genres indispensables pour constituer des référentiels homogènes qui font abstraction des multiples technologies de stockage et de transformation de données (ETL, langages procéduraux, scripts et outils de manipulation de données).

 

Qui utilise l’information stratégique, opérationnelle, à quelle fréquence ?

Une fois ces référentiels en place, il devient plus simple de casser la complexité en classifiant les grands domaines de transformations et de stockage, en les croisant avec de nouvelles sondes sur les bases d'audit et ainsi mettre en évidence les autoroutes de l'information et a contrario les multiples ramifications actives ou mortes. C’est la première étape pour pouvoir dissocier le canal prioritaire, stratégique de l’entreprise de l’information secondaire obsolète qui pourra être revalorisée sans contrainte forte de maintenance.

 

Quel lien avec la dataOps ?

Ces référentiels vivent au même rythme que les outils de production et d'analyse de l'information, ils en forment donc la mémoire (évolution de la donnée et de ses modes de transport) et l'intelligence de l'entreprise (règles de calcul dans les transformations unitaires, traduction des règles de gestion formulées par le métier).


Même s'il est bien-entendu difficile de concevoir autant de parsers et de sondes qu'il y a de technologies dans l'entreprise, il existe néanmoins de nombreuses méthodes pour rapprocher les informations stockées entre elles en s'appuyant sur leur structure, sur les schedulers ou les logs des bases de données et des différents outils de transport de l'information. Cette « intelligence » qui automatise les rapprochements redonne de la visibilité là où il y avait des ruptures : transfert de données par FTP avec changement de nom entre les sources et les cibles, SQL dynamique, scripts générés à la volée par des outils tiers, utilisation abusive de couche d'abstraction de l'information comme les vues SQL. Les exemples sont innombrables.


Enfin, il faut comprendre que la mise en place de ces référentiels, auto-alimentés quotidiennement, doit être considérée comme la première brique de la dataOps. Bien au-delà de la simple gouvernance de l'information de l'entreprise, ces référentiels constituent le socle pour accélérer les évolutions, permettre de revenir en arrière, d'organiser les « pulsions » du métier en toute transparence ou tout simplement booster une migration qu’elle soit technique ou fonctionnelle.

Ces référentiels peuvent également aider à automatiser la classification de l’information en s’appuyant sur la théorie des ensembles en rassemblant les définitions sémantiques des descriptions techniques.

 

Le but ultime est de partager l'ensemble de la complexité pour ensuite en partager la responsabilité. Peu importe la perspective dégagée, peu importe le point d'entrée, l'essentiel est de sortir du nuage, du brouillard pour avoir de la vraie visibilité sur les méandres des flux d'information.



vendredi 13 mars 2015

Accélérez !




Les entreprises récoltent de plus en plus d’informations sur leurs clients, fournisseurs, produits, employés, finances… Il devient naturellement plus complexe de les exploiter de manière efficace.

C’est pourtant précisément sur cette connaissance que doit reposer la stratégie d’entreprise et sa croissance.

La dissémination des données structurées ou informelles rendent les devoirs d’anticipation, de pilotage et éventuellement de correction du chef d’entreprise plus compliqués.

Il en résulte une menace permanente et réelle que la difficulté d’accès à une vue synthétique de ses activités mène à l’adoption de décisions stratégiques intuitives, non éclairées par un relevé factuel de mesures sur lequel bâtir ses choix.


Les enjeux existants et avenirs


Comprendre le cheminement de l’information dans les entreprises


A l’heure du Big Data et des bases de données non structurées (nosql, newsql), il devient de plus en plus complexe pour une entreprise de garantir la cohérence de ses données ou d’expliquer l’origine et le devenir de l’information. La multiplication des systèmes, des solutions et des technologies opacifie davantage les flux d’informations. 
Ce manque de transparence met en péril la confiance des utilisateurs dans leurs systèmes d’informations et paralyse l’IT à faire évoluer des projets existants ou à mener de nouveaux projets innovant.

Explorer, analyser et publier plus rapidement l’information stratégique et opérationnelle


Les architectures décisionnelles actuelles sont très rapidement saturées par le flux d’information produit quotidiennement, mais également par la demande croissante d’analyse de la part d’une population d’utilisateurs de plus en plus aguerrie dans la prise en main des systèmes d’information et donc plus exigeante.

L’inertie des systèmes existants est généralement due à un ensemble de facteurs :


Une évolution mal maîtrisée

La multiplication des intervenants dans l’alimentation d’un Data Warehouse par exemple engendre une diversité des procédures d’alimentation, la multiplication des modèles de données et par conséquent des tables, cubes, rapports. 

Cette profusion d’information rend la rationalisation et la mutualisation du système de jour en jour plus complexe: des rapports, des bases de données sont rapidement dupliquées par manque de connaissance du système existant. Le volume de données augmente très rapidement, à l’instar des temps d’alimentation et de consultation. La maintenance devient complexe et les services sont asphyxiés.


Une architecture inadaptée

Les grands acteurs du marché (IBM, Oracle-SUN, SAP, Microsoft) s’adaptent mal aux nouveaux besoins. Leur socle applicatif est historiquement construit sur la base d’architecture centralisée. Par ailleurs, ces mêmes fournisseurs de progiciels sont également les premiers revendeurs de matériels (serveurs, stations de travail, etc).

Quelle que soit la solution proposée - données montées en mémoires sur les serveurs, répartition de la charge dans des clusters ou data centres - elle reste tributaire de l’acquisition et/ou location d’un parc de serveurs lourd et onéreux en maintenance et en énergie.




C’est de ces deux grandes problématiques que sont nées les solutions Ellipsys openAudit & Introspection et Ellipsys Mosaïc. Elles sont le fruit d’expériences malheureusement de plus en plus généralisées sur l’inertie des systèmes d’information et évoluent simplement au fil des difficultés rencontrées par les entreprises.

Elles tendent à répondre très simplement à ces sources de paralysie des systèmes existants en évitant notamment des refontes hasardeuses. Elles permettent essentiellement de capitaliser sur l’existant :
  1. En expliquant l’origine et le devenir de l’information pour s’approprier et comprendre rapidement l’architecture fonctionnelle, applicative et technique du système. 
  2. En soulageant l’architecture applicative existante en profitant de la mémoire vive des PC des utilisateurs pour explorer, analyser et publier l’information avec des performances uniques de l’ordre de la dizaine de millisecondes quel que soit le nombre d’utilisateurs. 

L’objectif d’Ellipsys est donc de renforcer les architectures existantes pour favoriser la mutualisation des ressources et des connaissances, pousser les analyses vers de la très haute performance et ainsi permettre de factoriser et simplifier sensiblement la gestion des systèmes d’information.