Verbeter uw vaardigheden op het gebied van personeelsmanagement met onze deskundige training in Amsterdam in juni!
Het geluk van de voorspeller

Het geluk van de voorspeller

Ik heb het geluk dat ik geen voorspeller ben... want die hebben echt een moeilijke baan. Ze moeten onderscheid maken tussen de effecten van vele factoren, zoals dag van de week, week van het jaar, langetermijntrend, marketingevenementen - zonder precies te kunnen zeggen wat het effect van elke factor is. De reden hiervoor is tweeledig: factoren veranderen in de loop van de tijd, afhankelijk van de tijd van het jaar, veranderingen in het callcenter of de activiteiten van het bedrijf, enz. Maar ook omdat alles wordt vertroebeld door een laag ruis. Denk er eens over na: als je 30 telefoontjes in een half uur voorspelt, dan zullen 30 klanten niet samen afspreken om de een na de ander te bellen met een interval van precies 1 minuut. In plaats daarvan zullen er langere en kortere intervaltijden zijn en perioden die eruit zien als clusters, zoals in de grafiek hieronder. Wiskundigen noemen dit een Poisson proces.

Deze ruis heeft drie belangrijke gevolgen. Een voorspeller kan het nooit helemaal goed doen: een perfecte voorspelling is puur geluk, de ruis zal meestal voorkomen dat de werkelijkheid precies gelijk is aan de voorspellingen. Om voorspellingsfouten te meten, gebruiken we de WAPE, de gewogen absolute procentuele fout. Het is de som van de absolute intervalfouten gedeeld door het totale volume. Bijvoorbeeld: u voorspelt een volume van 100 voor 4 opeenvolgende kwartalen. De actuals zijn 90, 105, 100, 110. Dan is de WAPE:

Wat geavanceerde wiskunde geeft een prachtige eenvoudige formule voor de minimale WAPE:

In de onderstaande figuur hebben we de minimale WAPE voor verschillende volumes uitgezet. Om een voorbeeld te geven: voor een voorspelling van 250 is de minimale WAPE √ 2 / (π 250) = 5%. Aangezien de minimale WAPE dus afneemt met het volume, kan voor een volume van minder dan 250 de nauwkeurigheid van de voorspelling nooit lager zijn dan 5%!

Ruis maakt voorspellen ook moeilijker. Ruis verdoezelt het signaal dat achter de ruis schuilgaat. Om gezien de ruis een zo hoog mogelijke nauwkeurigheid te bereiken, zijn veel gegevens nodig en een grondig begrip van enerzijds de aard van callcenters en anderzijds geavanceerde statistiek en machine learning.

Maar de ruis kan ook in het voordeel van de voorspeller werken: de voorspellingsfouten worden, in ieder geval tot op zekere hoogte, verborgen door de ruis. Als het volume laag is, zie je een kleine voorspellingsfout niet omdat de ruis veel groter is. Natuurlijk kun je je niet achter de ruis verschuilen als deze kleiner is dan de fout die je in de andere componenten hebt gemaakt.

Dit roept de vraag op: wanneer zie je de fout door de ruis heen? En kunnen we de fout simpelweg vinden door de minimale WAPE af te trekken van de waargenomen WAPE? Als de FC 250 was en de WAPE 12%, was de voorspellingsfout dan 12 - 5 = 7%? Helaas is de werkelijkheid niet zo eenvoudig. Kijk naar de onderstaande figuur om enig inzicht te krijgen. Het toont volume op de horizontale as en WAPE op de verticale, voor verschillende voorspellingsfouten uitgezet op de rechteras. De onderste rode lijn is de minimale WAPE: de WAPE met een voorspellingsfout van 0%. Als het volume bijvoorbeeld 20 is, dan is de fout door de Poisson-ruis ook ongeveer 20%.

Laten we nu eens kijken naar de andere lijnen. Deze geven de WAPE weer voor verschillende FC-fouten - de percentages staan op de rechteras. Als, nogmaals, het volume 20 is, maar je hebt een FC-fout van 20% gemaakt, d.w.z. je hebt 16 of 24 voorspeld, dan is de WAPE ongeveer 25%. Je kunt dus niet eenvoudigweg de fout optellen en de WAPE minimaliseren: in dit geval wordt 15% van de fout geabsorbeerd door de ruis. Aan de andere kant, als de volumes en/of fouten hoog zijn, is de WAPE gelijk aan de fout: je ziet de ruis niet, die verdwijnt in de fout.

Je kunt deze redenering ook omdraaien: als het volume 100 was en de WAPE ongeveer 10%, dan kan de fout alles zijn tot zeg de minimale WAPE dus 10%, de lijnen liggen dicht bij elkaar. Maar als de fout significant hoger is dan de minimale WAPE, dan ligt de fout dicht bij de WAPE en kun je de ruis niet de schuld geven.

Concluderend: ondanks de ruis kunnen voldoende gegevens plus geavanceerde methoden en inzicht betrouwbare voorspellingen opleveren - maar tot een bepaald niveau, gegeven door de minimale WAPE. Voor lage volumes worden voorspellingsfouten verborgen door de ruis, maar voor hogere volumes moet de WAPE volledig bijdragen aan de voorspellingsfouten, de ruis is te klein om zich achter te verschuilen.

Ger is fulltime hoogleraar aan de Vrije Universiteit Amsterdam en oprichter en chief scientist bij CCmath.
Voor meer informatie over CCmath en haar producten, zie www.CCmath.com.
Voor meer informatie over de achtergrond en praktijk van WFM, zie WFMacademy.CCmath.com
De auteur dankt Giuseppe Catanese voor zijn feedback.

Laat een reactie achter