Vanderlande wil meer en meer data gedreven worden en een belangrijke conditie daarvoor is het makkelijk ontsluiten van data. Pipple hielp hen met het fundament: een passende manier voor het ontwikkelen van dataproducten op het dataplatform. Dit stelt Vanderlande in staat data gemakkelijk en bedrijfsbreed te ontsluiten.
Decentraal Data Platform
Data mesh is een manier om data decentraal te organiseren en te beheren waardoor samenwerking versterkt wordt, wat weer extra meerwaarde creëert voor organisaties. Een van de speerpunten van data mesh is dus dat het een gedecentraliseerd model is, wat betekent dat er geen centrale autoriteit is die de data beheert. Dit zorgt voor het voordeel dat verschillende teams en afdelingen eenvoudiger toegang hebben tot de data en dat er minder beperkingen zijn voor het delen en gebruiken van data.
Een ander voordeel van data mesh is dat het een holistische benadering biedt voor het beheren van data. In plaats van data te beheren als een afzonderlijke entiteit, richt data mesh zich op het inbedden van data in de processen en werkwijzen van een organisatie. Dit kan helpen om data effectiever te integreren in het dagelijkse werk van een organisatie en om de waarde van data te maximaliseren.
Figuur 1: De standaard opbouw van een data product binnen Vanderlande, van links naar rechts stijgt de kwaliteit en de waarde van de data
Waarom data mesh binnen Vanderlande?
De aanleiding voor onze implementatie van data mesh was de behoefte aan een flexibelere en samenwerkingsgerichte manier om data te beheren en te gebruiken. We merkten dat onze huidige manier van databeheer beperkingen had wat betreft het delen en gebruiken van data tussen verschillende teams en afdelingen. Bovendien was het moeilijk om data effectief te integreren in onze dagelijkse werkprocessen en om de waarde van data voor onze organisatie te maximaliseren. Data mesh is een goede manier om deze uitdagingen aan te pakken en om onze data-infrastructuur te versterken.
Vanderlande had behoefte aan kennis over het ontwikkelen van dataproducten in een data mesh. Daarom schakelden ze Pipple in. Consultant Geert Jongen wist wat er nodig is om goede kwalitatieve dataproducten te ontwikkelen. Hij hielp ons keuzes te maken in tooling en infrastructuur. Uiteindelijk werd er gekozen voor een combinatie van Databricks, Azure Data Factory en Azure Data Lake Storage Gen 2. Een team van drie Pippelaars schaafden ondertussen de vaardigheden en technieken bij van de teams die de dataproducten zullen bouwen en onderhouden. De bestaande collega’s vanuit Vanderlande hadden vooral ervaring in BI & Analyst tooling. Middels peer programming werden ze snel on-the-job opgeleid tot volwaardige data-product ontwikkelaars.
Figuur 2: In het Datamesh transformeert men de data van domein agnostisch naar domein specifieke data producten. De eindgebruiker kan zelf kiezen welke datasets nodig zijn voor het behalen van het doel.
Samenwerking met Pipple
Wat Vanderlande prettig vindt aan de samenwerking met Pipple, is flexibiliteit. “Typisch zie je dat bureaus een aantal oplossingen op de plank hebben liggen, waar ze het probleem van de klant idealiter naartoe vertalen. Daar was in het geval van Pipple gelukkig geen sprake van.” Ook over de manier waarop Pipple zich in de organisatie mengde, is Kerstens te spreken. “Het voelde nooit als een apart clubje binnen Vanderlande. Dat kwam omdat ze ons nooit vertelden hoe het moest, maar naast ons stonden. Met hun technische voorsprong en de organisatiekennis van onze medewerkers hadden we de beschikking over the best of both worlds.”
Het resultaat
Op het moment van schrijven zijn er binnen Vanderlande al meer dan 100 data producten gedefinieerd en is een groot deel ervan ontwikkeld. De producten worden al gebruikt in verschillende domeinen, die daarmee analyses hebben kunnen uitvoeren die tot voorheen onmogelijk waren. Zo heeft het voor Supply al geleid tot cruciale inzichten in hun goederenstromen, voor Tax tot een samenwerking met de Nederlandse Belastingdienst en binnen Technology tot een zeer gedetailleerde Bill of Materials dataset, waarmee complexe analyses mogelijk gemaakt zijn.
