De invloeden en valkuilen van cijfers

Data speelt een steeds grotere rol in de wereld. Meer processen worden geautomatiseerd, (potentiële) klanten laten bewust en onbewust hun digitale sporen achter, en organisaties opereren meer en meer in de Cloud. Alles wordt vastgelegd of gemeten met het doel om zoveel mogelijk belangrijke stuurinformatie te bezitten, zodat organisaties sneller kunnen reageren op interne en externe veranderingen. Cijfers weerspiegelen tenslotte de waarheid en “liegen immers niet”. Daarmee is de analyse van de betreffende cijfers ook altijd juist. Maar klopt dat wel?

Veel valt en staat met het waarnemen, interpreteren en begrijpen van cijfers. Wat betekent een cijfer? Is het goed, is het slecht? Vreemd of conform verwachting? Wat is de relatie met andere cijfers? Wat is de boodschap van het cijfer? Welk gevoel roept een cijfer op bij een lezer? Al deze vragen zijn niet eenduidig te beantwoorden. Daarnaast is het altijd nog de vraag of een cijfer het volledige beeld geeft van de, vaak zeer complexe, werkelijkheid. Wat zegt bijvoorbeeld een score van 4.2/5 nou echt over een hotel of een webwinkel? Wat is er gemeten en hoe is de meting tot stand gekomen? Logischerwijs resulteert dit in nieuwe uitdagingen voor alle professionals en voor controllers in hun rol als business partner in het bijzonder.

 

Cijfers zijn subjectief

Wat je meet, en hoe, is per definitie een subjectieve beslissing. Denk bijvoorbeeld aan de vele, en vooral zeer diverse, Corona-dashboards over de gehele wereld. Waar de één het sterftecijfer uitdrukt in absolute aantallen, berekent de ander het ten opzichte van het totale aantal besmettingen in de regio of land en weer een ander berekent het ten opzichte van de totale populatie van een regio of land.

Een exemplarisch voorbeeld is de discussie tussen Donald Trump en journalist Jonathan Swan in 2020. Trump stelt dat de Verenigde Staten (VS) er in meerdere categorieën, waaronder het sterftecijfer, veel beter voor staan dan de rest van de wereld. Sterker nog: hij geeft de journalist cijfers om zijn claim te onderschrijven. Wat Swan vervolgens, volledig terecht, opmerkt is dat het sterftecijfer wordt uitgedrukt ten opzichte van het aantal besmettingen. Op moment dat Trump het aantal coronadoden ten opzichte van de gehele populatie zou uitdrukken, wordt het beeld veel negatiever. Ondanks dat de claim van Trump niet onjuist is, gaat het hier om de context. Wat meet je? Meet je de kans dat iemand die besmet is met het coronavirus komt te overlijden? Of meet je de kans dat een willekeurig persoon komt te overlijden aan het coronavirus? Het kan best zijn dat de sterftekans van een met corona besmette persoon in de VS significant lager ligt dan in de rest van de wereld, maar op het moment dat besmettingen significant toenemen zal het aantal doden logischerwijs ook toenemen.

 

Cijfers zijn interpretatiegevoelig

Nu zal je wellicht denken dat een dergelijke manipulatie van cijfers in het bedrijfsleven niet zo snel voor komt. Echter liggen interpretatieverschillen altijd op de loer. Stel bijvoorbeeld dat je het succes van twee marketingcampagnes met elkaar wilt vergelijken. Hiermee is de vraag wat wordt gemeten beantwoord, namelijk; het succes van de marketingcampagne. Dan luidt vervolgens de vraag: Hoe meet je succes? In dit voorbeeld wordt het succes uitgedrukt in het percentage mensen dat een aankoop doet nadat zij in aanraking zijn geweest met de campagne. Zoals reeds beschreven is deze keuze uiterst subjectief; het succes had namelijk net zo goed uitgedrukt kunnen worden door de opbrengsten van de betreffende campagne ten opzichte van de kosten. Op basis van onderstaand overzicht lijkt Campagne A succesvoller dan Campagne B. Wanneer je ook de onderliggende regio’s, in dit geval Overijssel en Utrecht, bekijkt, ontstaat er een ander beeld. Hetzelfde voorbeeld is te maken met zaken als medewerkers- en klanttevredenheidsonderzoeken of investeringsbeslissingen. Het totaliseren van waarden is een veel voorkomend probleem in dashboards. Hierdoor bestaat de kans dat een organisatie niet de optimale beslissing neemt.

Blog Tom Dokter - cijfers  - tabel

Cijfers hebben invloed

Cijfers zijn dus duidelijk afhankelijk van interpretatie en ze lenen zich uitstekend voor manipulatie. Daarnaast hebben cijfers ook een onmiskenbare wisselwerking met de wereld om ons heen. Denk aan de diverse vormen van prestatiemetingen, zoals klanttevredenheid, klantloyaliteit, klantwinstgevendheid, merkwaarde, personeelstevredenheid, leveranciersprestaties, veiligheid & gezondheid, efficiëntie, productiviteit en innovatie. Dergelijke calculaties en kengetallen geven niet slechts een representatie van de betreffende situatie, maar zij hebben ook (onbedoeld) een effect op de lezer en daarmee een actieve rol in het economische landschap. Het cijfer is daarmee verbonden aan een oordeel. Is iets (of iemand) een succes of juist niet? Waarmee de meting dus mede bepaalt wie of wat goed is en wie of wat minder goed is.

Het resultaat is dat er vaak direct wordt gefocust op de manier waarop vooruitgang wordt geboekt, in plaats van te kijken wat het betreffende cijfer nou eigenlijk betekent. Belangrijk om daarbij te onthouden is dat cijfers per definitie geen perfecte reflectie van de werkelijkheid zijn. Ze geven hooguit een referentie. Cijfers zijn geen eindpunt, maar de basis voor interactie en discussie en kunnen binnen dit relationele netwerk ook (onverwacht) invloed uitoefenen.

 

Correlatie vs Causaliteit

Tot slot wordt ook de onderlinge relatie tussen cijfers lang niet altijd juist geïnterpreteerd. Hierbij wordt correlatie vaak (foutief) gezien als causaliteit. Soms gaat dit onbewust, maar soms ook bewust. Denk bijvoorbeeld eens aan twee mogelijke krantenkoppen;

  • “Het eten van ijsjes verhoogt de kans op een kwallenbeet.”
  • “Mensen die ijsjes eten zijn in de zomer gemiddeld vaker op het strand waardoor deze mensen meer risico lopen op een kwallenbeet.”

Logischerwijs komt de tweede krantenkop nagenoeg nooit voor, terwijl de eerste zo op een nieuwswebsite had kunnen staan. Nu is bovenstaand voorbeeld onschuldig, echter komen dit soort misleidende titels vaak voor, omdat dit meer clicks oplevert.

Correlatie houdt grofweg in dat er een verband is tussen twee factoren, bijvoorbeeld het aantal verkochte ijsjes en het aantal kwallenbeten. Echter betekent dit niet automatisch dat er daadwerkelijk een oorzaak-gevolg relatie (causaliteit) tussen de twee factoren is. Je zou haast kunnen spreken van toeval. Of er is net als in bovenstaand voorbeeld sprake van een andere factor, welke de eigenlijke relatie beschrijft. In dit geval de aanwezigheid op strand in de zomer.

Nu is bovenstaand voorbeeld snel te doorgronden, echter bevinden we ons nu in een tijdperk waarin voorschrijvende data-analyses in toenemende mate gebruikt gaan worden om strategische beslissingen te nemen binnen organisaties. Dit betreffen doorgaans zeer complexe en geavanceerde statistische modellen, waarmee het verleidelijk wordt om causaliteit af te leiden. In veel gevallen is het namelijk niet meer eenvoudig te herleiden wat er “onder de motorkap gebeurt”. Dit vraagt om gezond boerenverstand en een kritische blik van professionals ten aanzien van mogelijke verbanden.

 

Voorspellende gave van cijfers

Dit brengt mij gelijk op de volgende valkuil. Namelijk dat wij als professionals er nagenoeg standaard vanuit gaat dat we (in de toekomst) iedere gebeurtenis kunnen voorspellen op basis van complexe modellen. Mits we voldoende en bovenal goede data hebben. Daarbij hebben we een ‘fantasie van totale beheersing’. Helaas kunnen we nooit alle eventualiteiten voorzien, waarmee het onverwachte per definitie onverwacht is. En belangrijker nog, altijd zal blijven. Denk voor het gemak aan de huidige Corona-pandemie. Betekent deze situatie dat data-analyse geen toegevoegde waarde heeft? Uiteraard kan data-analyse van grote waarde zijn. Echter is het wel van belang om bewust te blijven van de bijbehorende beperkingen en valkuilen.

 

Conclusie

Voor Controllers (en eigenlijk iedere professional) is het derhalve van belang om te begrijpen dat cijfers zeker geen objectief beeld geven, hooguit een referentie. Er is altijd interpretatie in het spel, waarmee cijfers zich uitstekend lenen voor manipulatie. Tevens is het verband tussen cijfers lang niet altijd causaal. Daarnaast is de toekomst nooit met 100% zekerheid te voorspellen, en zullen er altijd onverwachte gebeurtenissen plaatsvinden.

Onthoud daarom altijd het volgende:

  • Cijfers zijn geen reflectie, hooguit een referentie.
  • Cijfers geven dus zeker geen objectief beeld; er is altijd interpretatie in het spel.
  • Cijfers lenen zich voor manipulatie.
  • Correlatie tussen factoren hoeft niet te betekenen dat er ook een causaal verband is.
  • Cijfers kunnen nooit met 100% zekerheid de toekomst voorspellen.
Tom Dokter
Tom Dokter (30) is Finance Consultant bij Verhoeve en richt zich onder andere op het effectief toepassen van data bij diverse organisatievraagstukken. Daarbij heeft hij diverse projectteams succesvol geleid en ondersteund. Zijn motivatie om zichzelf continu te verbeteren heeft er toe geleid dat hij in September 2020 is begonnen met de Executive Master of Finance & Control / Register controller aan de Rijksuniversiteit Groningen.
Meer van deze auteur

Wellicht is dit ook interessant