Situatie en Uitdaging
De Nederlandse hypotheekbank stond voor de uitdaging om haar bestaande kredietrisicomodellen,
gebouwd in SAS, te migreren naar een modernere en flexibelere oplossing. SAS is een krachtig, maar
kostbaar platform met beperkte technische ondersteuning. Binnen de financiële sector is er een
duidelijke trend naar Databricks en PySpark, vanwege de schaalbaarheid, flexibiliteit en naadloze
cloud-integratie.
Waarom de overstap naar Databricks?
Databricks biedt een flexibel en schaalbaar Platform-as-a-Service (PaaS) dat meegroeit met het
gebruik, wat efficiëntere kostenbeheersing mogelijk maakt. Dankzij de integratie met
cloudgebaseerde tools zoals Azure DevOps, MLflow en Artifactory wordt samenwerking en
modelbeheer vereenvoudigd.
In tegenstelling tot SAS ondersteunt Databricks meerdere programmeertalen, waaronder Python,
SQL, R en Scala, waardoor teams flexibeler en efficiënter kunnen werken. Apache Spark zorgt voor
snelle verwerking van grote datasets, terwijl de geavanceerde AI- en machine learning- functionaliteiten bijdragen aan snellere modelontwikkeling en beheer.
Doelstelling en Eisen
De belangrijkste doelstellingen van het project waren betere performance, eenvoudiger onderhoud
en verbeterde schaalbaarheid. De ambitie was om de snelheid van de kredietrisicomodellen
aanzienlijk te verbeteren. Daarnaast moest het onderhoud efficiënter worden door Git en MLflow
voor versiebeheer te integreren, wat het platform ook gebruiksvriendelijker maakte voor nieuwe
medewerkers.
Specifieke eisen waren onder andere dat gebruikers met één druk op de knop de volledige
modellenketen konden draaien. Daarnaast moesten strikte privacy- en dataveiligheidseisen worden
gevolgd, waardoor data binnen het platform moest blijven.
Migratieproces
De migratie werd uitgevoerd in zeven fasen:
1. Refactoren van bestaande modellen naar een schaalbare Databricks-omgeving.
2. Testen van de nieuwe implementatie om correcte werking te garanderen.
3. Modelvalidatie door een extern team om nauwkeurigheid en betrouwbaarheid te
controleren.
4. Release aanmaken voor goedgekeurde modellen.
5. Overhandiging aan het platformteam voor deployment.
6. Schaduwrun, waarbij het nieuwe model parallel draaide met de oude om verschillen te
analyseren.
7. Productiegang, waarna de modellen operationeel werden ingezet
Oplossing
Pipple heeft de kredietrisicomodellen van de bank succesvol gemigreerd van SAS naar een moderne,
schaalbare Databricks-omgeving in PySpark. Dit resulteerde in snellere verwerking, efficiënter
modelbeheer en een toekomstbestendige data-infrastructuur.
Dankzij onze aanpak zijn de volgende verbeteringen gerealiseerd:
- One-click deployment verhoogde het gebruiksgemak en maakte het eenvoudiger om
modellen snel uit te rollen. - Schaalbaarheid en flexibiliteit zijn verbeterd door de overstap naar een robuuste
Databricks-omgeving met cloudintegratie in Azure. - Efficiënter onderhoud en gebruiksvriendelijkheid: de integratie van MLflow en Git is
versiebeheer verbeterd, wat onderhoud eenvoudiger maakt en het platform toegankelijker
voor nieuwe medewerkers. - Ondersteuning in modeloptimalisatie: Pipple hielp bij het identificeren en oplossen van
bottlenecks, wat een snellere en stabielere uitvoering van modellen mogelijk maakt. - Technische kennisoverdracht en samenwerking: we ondersteunden het team met expertise
in Python en PySpark, code-optimalisatie en technische coaching. Door actief mee te werken
aan de refactoring en dagelijks met het team samen te werken, is het migratieproces
versneld en de implementatie verbeterd.
Pipple speelde een sleutelrol in zowel de technische transitie als de teamontwikkeling. Dankzij onze
nauwe samenwerking met de bank is een solide basis gelegd voor verdere optimalisatie en toekomstige innovaties in kredietrisicomodellering.
Met deze moderne Databricks-omgeving is de bank klaar voor de toekomst: een flexibele, efficiënte
en schaalbare kredietrisicomodellering.
Over Pipple
Waar Pipple in 2016 begon als een ambitieuze start-up, zijn we inmiddels uitgegroeid tot een
bloeiend bedrijf met 40 gedreven medewerkers.Bij Pipple geloven we in de kracht van data en AI om complexe uitdagingen op te lossen en impact te
maken. Onze aanpak is innovatief, creatief en mensgericht, waarbij we streven naar de beste
oplossing voor onze klanten.
We werken volgens een gestructureerd proces: van het helder definiëren van de vraag tot het
bouwen van slimme, schaalbare oplossingen die écht werken. Samen met onze klanten maken we
data waardevol en toegankelijk, met een scherpe focus op zowel technologie als gebruikerservaring.
Ons team bestaat uit gepassioneerde data scientists, engineers en strategen die grenzen verleggen
en bedrijven helpen groeien. Bij Pipple draait het niet alleen om cijfers, maar vooral om mensen – en
dát maakt ons uniek.
Contact
Ontketen de kracht van jouw data met een geavanceerd data-platform dat als kloppend hart van
jouw organisatie fungeert. Door alle gegevensbronnen samen te brengen, creëer je waardevolle
inzichten die direct beschikbaar zijn en bijdragen aan strategische groei.
Klaar om jouw data te transformeren in een concurrentievoordeel? Plan vandaag nog een gratis
inspiratiesessie met onze experts en ontdek hoe data en ai jouw organisatie naar een hoger niveau
kunnen tillen.
