Survivorship bias

admin-ajax

“Wat je ziet is alles dat er is”

Onlangs wilde ik weer een anti-vlooien kuur voor mijn kat bestellen. Het beestje heeft nog nooit vlooien gehad. “En dat komt door die vlooienkuren die ik blijf toedienen.” Alleen bedacht ik me dat ik het al een jaar vergeten was. Terwijl een aantal keer per jaar toedienen toch wordt aangeraden. Op dit moment sloeg de twijfel toe… had de vlooienkuur eigenlijk wel effect gehad in het verleden? Of was het gewoon ‘geluk’ dat de kat ondanks de vlooienkuur nooit vlooien heeft gehad?

Mijn rationele oplossing is om dan op onderzoek uit te gaan. Even checken bij een aantal e-winkels wat andere klanten voor ervaringen hebben. Bij het zien van twee reviews onder elkaar sloeg mijn twijfel door naar scepsis. Het bestellen van een vlooienkuur voelde nu als ‘stuivertje wisselen’. Dit keer besloot ik het anders aan te pakken: nooit meer vlooienkuur totdat ik mijn hele huisraad en linnengoed grondig moet wassen om alle vlooieneitjes te elimineren. Want ik kreeg de indruk dat ik al 10 jaar onder invloed was van de survivorship bias.

Het bekendste voorbeeld van de werking van deze bias komt waarschijnlijk uit de Tweede Wereldoorlog. Statisticus Abraham Wald werd belast met de taak om voor de Amerikaanse Luchtmacht te bepalen hoe er minder bommenwerpers verloren konden worden aan luchtafweergeschut. Hij adviseerde na onderzoek om tegen de intuïtie in juist die plekken extra te bepantseren die overwegend ongeschonden waren op de teruggekeerde vliegtuigen; dit waren immers de plekken die je als onderzoeker nooit voor ogen kreeg, omdat een voltreffer op die plekken betekende dat het vliegtuig was neergestort1.

Het punt van dit voorbeeld en de survivorship bias is dat wij vaak (grote) besluiten nemen op basis van informatie die we al hebben, of voor ons neus verschijnt. Soms leidt dit in ons intuïtieve denkproces (de tegenhanger is het trage en rationele proces) tot ogenschijnlijk onweerlegbare conclusies. Helaas blijken we dan soms juist de verkeerde informatie mee te laten wegen, of de benodigde informatie juist niet. 

Hoe is dit relevant? Daniel Kahneman slaat dit op basis van veel onderzoek naar selectie biases plat met de zin “What you see is all there is”, ofwel “Wat je ziet is alles dat er is”. Ons brein bouwt continu complexe modellen van de echte wereld op basis van data en prikkels die beschikbaar zijn. Kortom, we realiseren ons meestal gewoonweg niet dat er meer informatie beschikbaar, en nodig, is om tot een rationele keuze te komen. 

In de dagelijkse praktijk zie je dit bijvoorbeeld terug in personeelswerving. Het is een logisch en valide uitgangspunt om nieuwe mensen aan te nemen door te analyseren wat de succesvolle mensen in dienst nou succesvol maakt. Helaas missen we hiermee belangrijke informatie: namelijk alle informatie van mensen die het nooit gehaald hebben tot die bureaustoel, fabriekshal of autodealergarage. Doordat ze de selectieprocedure niet hebben ‘overleefd’ (dan weet je ook gelijk waar de naam van de bias vandaan komt). 

Om dit tastbaarder te maken nemen we het theoretische voorbeeld van de wervingsconsulent die op zoek gaat naar een nieuwe logistiek planner. Er zijn al 25 collega’s met een vergelijkbare functie in dienst. Op basis van deze groep bepaalt de wervingsconsulent dat het onderscheidend vermogen van deze groep is, dat ze heel handig zijn met cijfers. Uiteindelijk wordt een nieuwe collega binnengehaald die goed is met cijfers. En die blijkt jammerlijk tekort te schieten. “Maar hij was toch zo goed met cijfers?”

De tip hier is om ook de data en informatie over de eigenschappen van de ‘afvallers’ tijdens het selectieproces mee te nemen in de analyse. Op die manier kun je erachter komen of de afvallers niet toevallig ook allemaal goed zijn met cijfers. En dat wat hen juist onderscheid van de wel geselecteerden iets anders blijkt te zijn. In het bovenstaande hypothetische voorbeeld bleek het inderdaad toch de communicatieve vaardigheden te zijn die het verschil maken in falen en succes. In de toekomst is dit dus een (extra) eigenschap waar de wervingsconsulent op kan toetsen!

Een andere tip is om af en toe gewoon eens een ‘wild hire’ te doen. Iemand die compleet mismatcht met het voorgenomen profiel. En deze een serieuze kans te geven. Want op basis van deze vreemde eend in de bijt kun je wel nieuwe informatie verzamelen over wat mensen succesvol maakt in een functie. En zo vergroot je weer je beeld van “What you see is all there is”.

Dit is eigenlijk het experiment dat ik nu aan ga met het niet  geven van de anti-vlooienkuur aan mijn kat. Als ik dan toch vlooien vind en een weekend aan de linnen was moet, dan kan ik me in ieder geval troosten in de gedachte dat ik de 10 jaar hiervoor niet onterecht een vlooienkuur heb gekocht…

Referenties
 
1 https://en.wikipedia.org/wiki/Survivorship_bias
2 Kahneman, Daniel, 2013. Thinking, Fast and Slow. Farrar, Straus & Giroux Inc, 1e druk.