Bron van de afbeelding: https://nos.nl/artikel/2286848-overheid-gebruikt-op-grote-schaal-voorspellende-algoritmes-risico-op-discriminatie.html
“Algoritmes en de overheid” De (digitale) krantenkoppen stonden er vol van de afgelopen tijd. Deze relatief nieuwe fenomenen in de publieke sector zijn in andere sectoren al een stuk volwassener. Wat kunnen we daarvan leren?
De financiële wereld
Banken en verzekeraars zijn al jaren afhankelijk van allerlei soorten modellen. Dit komt omdat de werkelijkheid veel te complex is om goed te begrijpen. Modellen zijn per definitie een vereenvoudiging van de werkelijkheid. De Britse statisticus George Box zei al in 1976: “In wezen zijn alle modellen fout, maar sommige zijn nuttig.”
In wezen zijn alle modellen fout, maar sommige zijn nuttig. – George Box
Omdat banken en verzekeraars al een lange historie hebben in het gebruik van voorspelmodellen is het interessant wat de overheid en andere sectoren daarvan kunnen leren. In Financial Risk Management kun je bijvoorbeeld drie verdedigingslinies herkennen:
- Eerste verdedigingslinie: modelbouwers die hun eigen testen uitvoeren.
- Tweede verdedigingslinie: onafhankelijke validatie van het model door bijvoorbeeld een afdeling Model Validation
- Derde verdedigingslinie: audit van het algehele modelontwikkelings-, test- en validatieproces.
Toen ik zelf ruim 15 jaar geleden mijn carrière als startende actuaris begon voerde ik ook al vergelijkbare discussies in het grijze gebied van differentiatie en discriminatie. Wil je onderscheid maken in je premiestelling op basis van factoren als bijvoorbeeld geslacht en leeftijd? Daar is geen eenvoudig antwoord op te geven. Het begint wel met het inzichtelijk maken van het vraagstuk. Andere sectoren kunnen dus veel leren van de ervaring vanuit de financiële wereld dat al jaren met dit bijltje hakt.
Technische ontwikkelingen
De techniek heeft de afgelopen jaren ook niet stilgestaan en aan dit front zijn er allerlei nieuwe hulpmiddelen beschikbaar waarvan ik er één in het bijzonder wil noemen: LIME (Local Interpretable Model-agnostic Explanations). Dit stuk is dan ook wat technischer van aard. Het probleem met de uitlegbaarheid van modellen is dat het erg moeilijk is om de beslissingsgrens van een model op een begrijpelijke manier vast te stellen. LIME is een methode die probeert de transparantie van het model te verbeteren.
Om het vertrouwen in ons model te vergroten gebruiken we onder andere cross-validation. Door telkens een ander deel van de dataset te gebruiken voor het model en deze te testen op de resterende data kunnen we vertrouwen krijgen in de stabiliteit van de model parameters. Daarnaast laat men een aparte validatie dataset liggen welke alleen gebruikt wordt om het model nogmaals, onafhankelijk, te testen. Deze methodiek geeft een beeld van de modelprestaties over onbekende gegevens.
Dit helpt echter niet om te begrijpen waarom sommige specifieke voorspellingen kloppen en anderen niet. Zeker in het geval van “black box” modellen is dit niet eenvoudig te verklaren. Hier komt LIME om de hoek kijken, waarbij een verklaring wordt gedestilleerd waarom deze specifieke observatie resulteerde in de voorspelling. Welke factoren waren doorslaggevend en hoe gevoelig is het model voor kleine afwijkingen? LIME dus. Voor de liefhebbers: https://arxiv.org/abs/1602.04938
Data science with purpose
Data science is een middel, geen doel op zich. Vraag je dan ook altijd af waarom we iets doen? Wat de effecten ergens van zijn en kijk of je deze inzichtelijk kunt krijgen. Zijn deze effecten ook gewenst? Wat kun je doen om negatieve effecten te voorkomen? Verder kijken dan het model, dat is voor ons “data science with purpose” .
