Mise en œuvre de Microsoft Fabric : retour sur les leçons de 2024

Contactez-nous

2024 a été une année marquante pour Microsoft Fabric, avec pas moins des centaines mises à jour qui ont transformé l'écosystème !  

De l’intégration de l’IA à la gestion améliorée des données, Fabric a considérablement évolué. Curieux de savoir ce que ces changements signifient pour votre entreprise ? Consultez notre livre blanc sur la sécurité de Microsoft Fabric pour en savoir plus. En attendant, examinons rapidement les principaux changements opérés l’année dernière :

  • L’IA occupe une place de premier plan : de Copilot, l’assistant à tout faire (de la création à l’explication), à l’intégration d’AutoML et de compétences en IA, l’IA est profondément ancrée dans l’écosystème de Fabric. 2025 sera l’année où l’IA prouvera sa valeur par des résultats tangibles dans divers cas d’usage. L’équipe de données de BDO Digital a donné naissance à une spécialité « IA » pour guider les entreprises à travers la feuille de route de l’IA, de la stratégie à la mise en œuvre des cas d’usage.
  • OneLake fait d’énormes progrès : avec sa source unique de vérité intacte, OneLake offre maintenant plus de moyens que jamais pour accéder à vos données et les gérer. Vous pouvez vous connecter via des API, exploiter les raccourcis OneLake directement dans l’explorateur de fichiers de votre appareil, ou interroger et manipuler des données directement dans Fabric. 
  • L’analyse en temps réel devient du sérieux : la capacité de traiter et d’analyser des données en temps réel est passée du concept à la réalité. Parmi les éléments clés figurent la prise en charge améliorée des pipelines de données en continu, le traitement événementiel avec des déclencheurs, et l’exécution plus rapide des requêtes grâce au moteur de calcul optimisé de Fabric. 
  • L’identité de Fabric est en train de changer : s’agit-il toujours d’un simple outil d’analyse ou la plateforme a-t-elle évolué vers quelque chose de beaucoup plus grand ? Cette évolution est due à son intégration avec de nombreux systèmes opérationnels et à l’ajout de fonctionnalités SQL Server au sein de Fabric, ce qui en fait une plateforme polyvalente à la fois pour l’analyse et les opérations.

Chez BDO Digital, nous avons joué un rôle actif dans la communauté Fabric, en œuvrant avec Microsoft au partage de notre retour d’expérience sur les fonctionnalités d’aperçu privé et en partageant nos idées concernant de nouvelles fonctionnalités intéressantes. Nous avons aussi transféré entièrement la plateforme interne de données de BDO vers Fabric. En reconnaissance de nos contributions, nous avons été invités à prendre la parole lors de la European Microsoft Fabric Community Conference à Stockholm afin de partager nos expériences. Nous sommes également ravis d’annoncer que toute notre équipe de données a obtenu la certification Azure Data Engineer Associate (DP-600). Mais juste au moment où la situation devenait confortable pour nous, Microsoft a décidé de relever le niveau avec la certification Microsoft la plus avancée : Fabric Data Engineer Associate (DP-700). Nous nous sommes engagés à garder une longueur d’avance et, pour vous aider à gérer ces changements rapides, nous avons résumé les principales leçons que nous avons tirées cette année.

Leçon 1 : être prêt à s’adapter

Avec Fabric, la seule constante est le changement. Qu’il s’agisse de nouveaux outils, de nouvelles fonctionnalités ou de bonnes pratiques, il est essentiel de rester flexible. Développez vos solutions en gardant la capacité d’adaptation à l’esprit, en veillant à ce que les composants puissent être remplacés en cas de besoin. Il est essentiel de tenir à l’œil des ressources telles que le Fabric Update Blog pour rester informé. 

Fabric fonctionne avec une préversion privée, une préversion publique et une disponibilité générale pour les modifications. Cela signifie que vous disposez d’un certain délai de préparation. Vous pouvez, par exemple, utiliser vos environnements de développement et de test pour expérimenter les fonctionnalités de la préversion publique. En outre, grâce à l’accès aux fonctions de préversion privée, nous pouvons évaluer et fournir des conseils éclairés aux organisations sur la préparation des nouvelles fonctionnalités aux environnements de production.  

Leçon 2 : décisions stratégiques

Avant de vous lancer dans la mise en œuvre, consacrez du temps aux décisions stratégiques relatives au stockage, aux outils de transformation et à l’architecture.

Stockage

En matière de stockage, Fabric propose trois options clés : 

  • Lakehouse : préférable pour les données non structurées ou semi-structurées (par exemple, JSON, CSV, Parquet). L’idéal pour les ingénieurs en données et les scénarios d’apprentissage automatique nécessitant un traitement de données à grande échelle. 
  • Warehouse : axée sur les données structurées et pourvue de solides fonctionnalités d’interrogation. Idéale pour les équipes d’analyse qui travaillent avec de grands ensembles de données nécessitant une analyse basée sur SQL. 
  • KQL Warehouse : une solution optimisée pour les données de journal et de télémétrie. Parfaite pour la surveillance opérationnelle et les scénarios nécessitant des requêtes ultrarapides sur des données de séries chronologiques. 

Choisissez en fonction de votre charge de travail et de l’expertise de votre équipe : Lakehouse pour la flexibilité, Warehouse pour l’analyse et KQL Warehouse pour les informations opérationnelles en temps réel.

Outils de transformation

Fabric propose plusieurs outils de transformation pour répondre à différents besoins : 

  • Pipeline : idéal pour orchestrer des flux de travail complexes dans l’écosystème de Fabric. 
  • Dataflow : parfait pour les scénarios de transformation low-code, permettant le développement rapide de tâches de préparation de données réutilisables. 
  • Notebook : le meilleur choix pour les spécialistes et ingénieurs de données qui ont besoin de fonctionnalités de script personnalisé pour des transformations avancées. 
  • Eventstream : conçu pour le traitement et l’analyse de données en temps réel, il prend en charge les charges de travail en continu. 

Pour obtenir des résultats optimaux, il est important d’adapter le bon outil au profil de l’utilisateur.

Architecture

L’architecture de médaillon - un cadre permettant d’organiser les données en couches « Bronze », « Silver » et « Gold » - demeure une base solide pour la plupart des cas d’utilisation. Chaque couche sert un but spécifique et s’aligne étroitement sur les options de stockage et les outils de transformation de Fabric : 

  • Bronze : stocke les données brutes. 
  • Silver : retranscrit les données sous des formats propres et consultables. 
  • Gold : représente des données prêtes à l’emploi pour l’analyse et la production de rapports. 

Cette approche stratifiée garantit la qualité des données, l’évolutivité et l’efficacité du traitement. 

Leçon 3 : tirer parti de l’intégration de Git et des pipelines CI/CD

Fabric prend désormais en charge l’intégration avec des systèmes de contrôle de version tels que Git et dispose de pipelines CI/CD natifs, ce qui facilite la gestion des déploiements. L’intégration de Git s’avère particulièrement utile pour s’aligner sur des systèmes de contrôle de version existants et assurer une collaboration fluide entre les équipes. En outre, presque tous les artefacts Fabric sont accessibles via l’API, ce qui ouvre la voie à un large éventail de possibilités d’automatisation. Ces outils permettent de rationaliser la collaboration, de réduire le nombre d’erreurs, et d’accélérer et de fiabiliser les déploiements. Si vous ne les utilisez pas encore, le moment est venu d’y songer. 

Leçon 4 : comprendre et optimiser la capacité 

La gestion de capacité de Fabric repose sur un système à plusieurs niveaux conçu pour faire face à des niveaux de charge de travail variables. Chaque niveau offre une quantité prédéfinie de ressources - mesurée en unités de capacité - pour prendre en charge des cas d’utilisation spécifiques. Ces unités déterminent la quantité de données qui peuvent être traitées, stockées ou recherchées à un niveau donné. L’évolutivité est atteinte grâce à ces niveaux en sélectionnant le niveau le plus approprié à vos besoins actuels et en l’augmentant à mesure que la demande augmente. Cette approche garantit la rentabilité en adaptant les ressources aux exigences de la charge de travail. 

La gestion de l’utilisation de la capacité Fabric est automatique, grâce à des fonctionnalités telles que le bursting, le lissage et l’étranglement. Le bursting permet l’exécution optimale des travaux en autorisant une utilisation temporaire au-delà de la capacité allouée. Le lissage (ou smoothing), quant à lui, réduit l’impact des pics de demande de calcul en empruntant sur la capacité future. L’étranglement (ou throttling) sert de mesure de protection et ne s’active qu’en cas de surutilisation prolongée, garantissant ainsi que les limites de capacité mensuelles ne sont pas dépassées. Ce système dynamique garantit des performances constantes tout en évitant la surallocation des ressources. 

L’application Metrics fournit des informations en temps réel et des aperçus historiques sur l’utilisation des capacités, aidant les administrateurs à surveiller et à optimiser l’allocation des ressources. En outre, le futur Capacity Calculator permettra de prévoir et d’adapter les besoins en capacité en fonction des charges de travail prévues.

Conseil : pour ceux qui souhaitent prendre en main la gestion de la capacité, la suspension de votre capacité peut être un moyen stratégique de « forcer le lissage ». Cette technique vous permet d’équilibrer la demande de calcul future et de réduire la probabilité d’un étranglement, tout en maintenant des performances globales plus fluides. En outre, la réservation de capacité peut permettre de réaliser d’importantes économies - jusqu’à environ 40 %. En combinant la réservation de capacité et une politique intelligente et automatisée de paiement à l’utilisation (« pay-as-you-go »), vous pouvez interrompre et redémarrer les instances de manière dynamique, en optimisant à la fois les coûts et les performances. Pour ceux qui souhaitent aller encore plus loin, Fabric propose des commandes qui permettent d’optimiser les paramètres de pool Spark. En procédant à des ajustements judicieux, il est possible d’éviter dans une large mesure la surallocation et l’étranglement.

La gestion de la capacité est essentielle car l’expérience globale de l’utilisateur et les fonctions avancées telles que Copilot dépendent fortement d’une capacité optimisée. En exploitant efficacement des outils tels que la mise en miroir et les raccourcis, vous pouvez maximiser l’utilisation des ressources, minimiser les problèmes d’engorgement et maintenir des opérations transparentes au sein de votre environnement Fabric. L’ensemble de ces fonctionnalités garantit que votre système répond non seulement aux demandes actuelles, mais aussi qu’il évolue efficacement afin de répondre aux besoins futurs.

Leçon 5 : une plateforme pour tous

Microsoft Fabric s’adresse à trois profils types : les analystes de données, les administrateurs et les ingénieurs/spécialistes des données. La feuille de route du développement de Fabric se concentre sur la fourniture de fonctionnalités qui améliorent réellement l’expérience de chaque profil. Voici quelques exemples des mises à jour opérées en 2024 : 

Pour les ingénieurs en données/spécialistes des données : 
  • Intégration améliorée de Git, permettant une meilleure collaboration avec les systèmes de contrôle de version existants. 
  • Des API qui rendent la quasi-totalité de la plateforme accessible par programmation, ce qui élargit l’éventail des possibilités d’automatisation. 
  • Améliorations permettant de développer des artefacts sous forme de code, tels que les modèles utilisant le code TMDL, ce qui simplifie le processus de développement. 
  • Compétences en AutoML et en IA pour commencer dès maintenant à bien utiliser l’IA.  
Pour les analystes de données : 
  • Une interface plus intuitive, de sorte que si vous êtes quelque peu familier avec Power BI, vous pouvez vous y retrouver facilement dans Fabric.  
  • Explorateur de données pour un aperçu instantané de vos ensembles de données.  
  • Dossiers et améliorations visuelles au niveau des espaces de travail, rationalisant l’organisation du contenu. 
Pour les administrateurs : 
  • Contrôles de gouvernance avancés, incluant les liens privés et les points finaux, pour une meilleure sécurité et gestion des données. 
  • Metrics App pour le suivi et la gestion en temps réel de la capacité. 

Ce n’est qu’un petit exemple des nouvelles fonctionnalités disponibles. Cependant, la liste des caractéristiques serait incomplète si l’on ne mettait pas en évidence la fonctionnalité préférée de chaque profil... Power BI prend désormais en charge le mode sombre !

Leçon 6 : expérimenter et jouer

La faible barrière à l’entrée de Fabric en fait une plateforme idéale pour l’expérimentation. Avec autant de fonctionnalités et d’options, il y a toujours quelque chose de nouveau à apprendre. Encouragez votre équipe à explorer, à tester et à innover. 

Leçon 7 : travailler avec des experts 

L’étendue des capacités de Fabric peut être déroutante. En vous associant à des experts, vous vous assurez d’exploiter efficacement votre plateforme de données. Qu’il s’agisse de l’optimisation des coûts, de la création d’environnements prêts à la production ou de la mise en œuvre de cas d’utilisation de vos données par l’IA, un bon accompagnement peut faire toute la différence. 

Conclusion

L’année 2024 a révélé que Microsoft Fabric est une plateforme en mouvement, qui évolue rapidement afin de répondre aux exigences des environnements de données modernes. En restant informé, flexible et ouvert à l’innovation, vous pouvez libérer tout son potentiel. En tant que partenaire de confiance, BDO Digital est là pour vous aider à franchir le pas. Que vous commenciez à peine, que vous cherchiez à optimiser votre installation existante ou que vous vous intéressiez aux cas d’utilisation de l’IA, notre équipe dispose de l’expertise nécessaire pour vous aider à atteindre vos objectifs. 

Contactez-nous dès aujourd’hui pour découvrir comment nous pouvons transformer votre stratégie en matière de données.