Microsoft Fabric implementatie: conclusies en aandachtspunten uit 2024

Neem contact met ons op

2024 was een productief jaar voor Microsoft Fabric, vooral door de honderden updates die het ecosysteem volledig transformeerden!  
Fabric is aanzienlijk geëvolueerd, onder andere door AI-integratie en een verbeterd gegevensbeheer.  

Benieuwd wat deze veranderingen betekenen voor jouw organisatie? Lees onze whitepaper over Microsoft Fabric voor meer info. Laten we nu eerst even kijken naar de meest ingrijpende veranderingen van vorig jaar: 

  • AI staat centraal: van Copilot die helpt met alles van creatie tot uitleg, tot de integratie van AutoML en AI-vaardigheden...  AI is diepgeworteld in het Fabric-ecosysteem. 2025 wordt het jaar waarin AI zijn waarde kan bewijzen met tastbare resultaten in verschillende use cases. Uit ons datateam bij BDO Digital is een AI-specialisatie voortgekomen om organisaties te begeleiden bij de AI-roadmap, van AI-strategie tot implementatie van AI-use cases. 
  • OneLake gaat er heel wat op vooruit: met behoud van de single source of truth biedt OneLake nu meer manieren dan ooit om je gegevens te benaderen en te beheren. Je kan verbinding maken via API's, OneLake-snelkoppelingen rechtstreeks in de bestandsverkenner op je apparaat gebruiken of gegevens onmiddellijk in Fabric opvragen en verwerken.  
  • Real-time analytics worden werkelijkheid: de mogelijkheid om live gegevens te verwerken en te analyseren is van concept naar realiteit gegaan. Belangrijke enablers zijn onder andere verbeterde ondersteuning voor streaming data pipelines, event-driven verwerking met triggers en snellere query-uitvoering met behulp van de geoptimaliseerde Compute Engine van Fabric.  
  • De identiteit van Fabric verschuift: Is het platform nog steeds gewoon een analysetool, of is het uitgegroeid tot iets veel groters? Deze verschuiving wordt gedreven door de integratie met talrijke operationele systemen en de toevoeging van SQL Server-mogelijkheden binnen Fabric, waardoor het een veelzijdig platform wordt voor zowel analyse als verwerkingen. 
BDO Digital speelt een actieve rol in de Fabric-community. We werken samen met Microsoft om onze feedback over private preview-functies en onze ideeën voor interessante nieuwe functies te delen. We hebben ook het interne dataplatform van BDO volledig gemigreerd naar Fabric. Als erkenning voor onze bijdragen werden we uitgenodigd als gastspreker op de Europese Microsoft Fabric Community Conferentie in Stockholm om onze ervaringen te delen. We zijn ook erg trots te kunnen melden dat ons hele datateam de Azure Data Engineer Associate certificering (DP-600) heeft behaald. Maar net toen we alles onder de knie hadden, besloot Microsoft de lat hoger te leggen met de geavanceerdere Microsoft-certificering: Fabric Data Engineer Associate (DP-700). We doen er alles aan om de ontwikkelingen voor te blijven en om je te helpen bij deze snelle veranderingen. Daarom hebben we de belangrijkste lessen die we dit jaar hebben geleerd op een rijtje gezet.

Les 1:  Wees bereid om je aan te passen 

De enige constante bij Fabric is verandering. Of het nu gaat om nieuwe tools, functies of best practices, flexibel blijven is de boodschap. Bouw je oplossingen met aanpasbaarheid in gedachten, zodat de componenten indien nodig kunnen worden vervangen. Om op de hoogte te blijven is het cruciaal dat je bronnen zoals de Fabric Update Blog in de gaten houdt. 

Fabric werkt met een private preview, public preview en general availability voor wijzigingen. Dit betekent dat je altijd wat voorbereidingstijd hebt. Je kan bijvoorbeeld je ontwikkel- en testomgevingen gebruiken om te experimenteren met functies uit de public preview. Bovendien kunnen we, dankzij onze toegang tot de private preview-functies, evalueren en organisaties goed informeren over de mate waarin nieuwe functionaliteiten klaar zijn voor productieomgevingen.   

Les 2: Strategische beslissingen

Investeer tijd in strategische beslissingen over opslag, transformatietools en architectuur voordat je begint met implementeren. 

Opslag

Fabric biedt drie belangrijke opslagopties: 

  • Lakehouse: het beste voor ongestructureerde of semigestructureerde gegevens (bijv. JSON, CSV, Parquet). Ideaal voor data engineers en machine learning-scenario's die grootschalige dataverwerking vereisen. 
  • Warehouse: gericht op gestructureerde gegevens met robuuste querymogelijkheden. Perfect voor analyseteams die werken met grote datasets die SQL-gebaseerde analyse vereisen. 
  • KQL Warehouse: geoptimaliseerd voor log- en telemetriegegevens. Ideaal voor operationele monitoring en scenario's die snelle query's op tijdreeksgegevens vereisen. 

Kies op basis van je hoeveelheid werk en de expertise van je team: Lakehouse voor flexibiliteit, Warehouse voor analyses en KQL Warehouse voor realtime operationele inzichten.

Transformatietools

Fabric biedt verschillende transformatietools voor verschillende behoeften: 

  • Pipeline: ideaal voor het uitstippelen van complexe workflows in het ecosysteem van Fabric.  
  • Dataflow: perfect voor low-code transformatiescenario's, waarmee snel herbruikbare taken voor datavoorbereiding kunnen worden ontwikkeld. 
  • Notebook: de beste keuze voor data scientists die aangepaste scriptingmogelijkheden nodig hebben voor geavanceerde transformaties. 
  • Eventstream: op maat gemaakt voor real-time gegevensverwerking en -analyse, met ondersteuning voor streaming workloads. 

Voor optimale resultaten is het belangrijk om de juiste tool af te stemmen op de persona van de gebruiker. 

Architectuur

De medallion-architectuur - een raamwerk voor het organiseren van gegevens in Bronze-, Silver en Gold-lagen - blijft een robuuste basis voor de meeste use cases. Elke laag dient een specifiek doel en sluit nauw aan bij de opslagopties en transformatietools van Fabric:  

  • Bronze: slaat ruwe gegevens op. 
  • Silver: verfijnt gegevens tot zuivere, doorzoekbare formaten. 
  • Gold: maakt gegevens geschikt voor analyse en rapportage. 

Deze gelaagde aanpak zorgt voor gegevenskwaliteit, schaalbaarheid en efficiënte verwerking. 

Les 3: Git-integratie en CI/CD-pijplijnen benutten 

Fabric ondersteunt nu integratie met versiebeheersystemen zoals Git en heeft native CI/CD-pijplijnen, waardoor het eenvoudiger wordt om implementaties te beheren. Git-integratie is vooral handig voor het afstemmen op bestaande versiebeheersystemen, zodat de samenwerking tussen de teams soepel verloopt. Bovendien zijn bijna alle Fabric artefacten toegankelijk via de API, wat een scala aan automatiseringsmogelijkheden biedt. Deze tools helpen de samenwerking te stroomlijnen, fouten te verminderen en implementaties sneller en betrouwbaarder te maken. Als je deze nog niet gebruikt, is nu het moment om hiermee te beginnen.

Les 4: Capaciteit begrijpen en optimaliseren 

Het capaciteitsbeheer van Fabric is gestructureerd rond een gelaagd systeem dat is ontworpen om verschillende werkbelastingsniveaus aan te kunnen. Elke laag biedt een vooraf gedefinieerde hoeveelheid resources - gemeten in capaciteitseenheden - om specifieke use cases te ondersteunen. Deze eenheden bepalen hoeveel gegevens kunnen worden verwerkt, opgeslagen of opgevraagd binnen een gegeven laag. Schaalbaarheid wordt bereikt via deze lagen door het meest geschikte niveau te kiezen voor je huidige behoeften en op te schalen naarmate de vraag groeit. Deze aanpak zorgt voor kostenefficiëntie door resources af te stemmen op de eisen van de werklast.  

Het capaciteitsgebruik van Fabric is zelfsturend, dankzij functies als bursting, smoothing en throttling. Bursting zorgt ervoor dat jobs op piekvermogen kunnen draaien door tijdelijk gebruik toe te staan bovenop de toegewezen capaciteit. Smoothing daarentegen, vermindert de impact van pieken in de vraag naar rekenresources door te lenen van toekomstige capaciteit. Throttling dient als beschermingsmaatregel en wordt alleen geactiveerd wanneer er sprake is van aanhoudend overgebruik, zodat de maandelijkse capaciteitslimieten niet worden overschreden. Dit dynamische systeem zorgt voor consistente prestaties en voorkomt dat er te veel resources worden toegewezen.

De Metrics App biedt realtime en historische inzichten in het capaciteitsgebruik, zodat beheerders de toewijzing van resources kunnen controleren en optimaliseren. Daarnaast helpt de aankomende Capacity Calculator bij het voorspellen en aanpassen van je capaciteitsbehoeften op basis van de verwachte werkbelasting.  

Tip: als je het capaciteitsbeheer in eigen handen wilt nemen, kan het pauzeren van je capaciteit een strategische manier zijn om 'smoothing te forceren'. Met deze techniek kan je de toekomstige vraag naar rekenresources balanceren en de kans op throttling verminderen, waardoor de algehele prestaties soepeler blijven. Bovendien kan het reserveren van capaciteit aanzienlijke kostenbesparingen opleveren, tot ongeveer 40%. Door gereserveerde capaciteit te combineren met een slim, geautomatiseerd pay-as-you-go (paygo) beleid kan je instanties dynamisch pauzeren en herstarten, waardoor je zowel de kosten als de prestaties optimaliseert. Als je nog verder wilt gaan, biedt Fabric de mogelijkheid om de instellingen van je Spark-pool te verfijnen. Door hier slimme aanpassingen te doen, kan je overmatige toewijzing en throttling voorkomen.  

Capaciteitsbeheer is cruciaal omdat de volledige gebruikerservaring en geavanceerde functies zoals Copilot sterk afhankelijk zijn van geoptimaliseerde capaciteit. Door effectief gebruik te maken van tools zoals spiegeling en snelkoppelingen, kan je het resourcegebruik maximaliseren, knelpunten minimaliseren en naadloze transacties binnen je Fabric-omgeving behouden. Deze mogelijkheden zorgen er samen voor dat je systeem niet alleen voldoet aan de huidige eisen, maar ook efficiënt schaalbaar is voor toekomstige behoeftes. 

Les 5: Een platform voor iedereen 

Microsoft Fabric richt zich op drie belangrijke persona's: data-analysts, data scientists en administrators. Het ontwikkelingsplan van Fabric focust zich op het leveren van functies die de ervaring voor elke persona echt verbeteren. Enkele voorbeelden van de updates van 2024 zijn:  

Voor data scientists:
  • Verbeterde Git-integratie, voor een betere samenwerking met bestaande versiebeheersystemen. 
  • API's die bijna het hele platform programmatisch toegankelijk maken, waardoor meer automatiseringsmogelijkheden worden geboden. 
  • Verbeteringen om artefacten als code te ontwikkelen, zoals het bouwen van modellen met TMDL-code, waardoor het ontwikkelingsproces wordt vereenvoudigd. 
  • AutoML en AI-vaardigheden om meteen aan de slag te gaan met AI.  
Voor data-analysts:
  • Een meer intuïtieve interface. Als je al wat bekend bent met Power BI kan je gemakkelijk je weg vinden in Fabric.   
  • Data explorer voor onmiddellijk inzicht in je datasets.   
  • Mappen en visuele verbeteringen in workspaces om de organisatie van inhoud te stroomlijnen.  
Voor administrators:
  • Geavanceerde governance tools, inclusief private links en endpoints, voor een betere beveiliging en een beter gegevensbeheer. 
  • Metrics App voor realtime bewaking en capaciteitsbeheer. 

Dit is maar een kleine greep uit de nieuwe functies. Maar een lijst van functies is niet volledig zonder de favoriet voor elke persona te vermelden ... Power BI ondersteunt nu dark mode! 

Les 6: Experimenteren en spelen

De lage instapdrempel van Fabric maakt het platform perfect om te experimenten. Met zoveel functies en opties is er altijd wel iets nieuws te leren. Moedig je team aan om te verkennen, te testen en te innoveren. 

Les 7: Werk met experts 

De mogelijkheden van Fabric kunnen overweldigend zijn. Samenwerken met experts zorgt ervoor dat je je dataplatform effectief gebruikt. Van het optimaliseren van de kosten en het bouwen van productieklare omgevingen tot het implementeren van AI-use cases op je gegevens... de juiste begeleiding kan het verschil maken.  

Conclusie

2024 toonde ons dat Microsoft Fabric een platform in beweging is, dat zich snel ontwikkelt om te voldoen aan de eisen van moderne dataomgevingen. Door op de hoogte te blijven, je aan te passen en open te staan voor innovatie, kan je het volledige potentieel ervan benutten. Als je vertrouwde partner staat BDO Digital klaar om je hierbij te helpen. Of je nu net begint, je bestaande set-up wilt optimaliseren of je wilt verdiepen in AI-use cases: ons team heeft de expertise om dit voor jou te realiseren.  

Neem vandaag nog contact met ons op om te ontdekken hoe we jouw datastrategie kunnen transformeren.