Techgiganten als Google en Amazon draaien tienduizenden tests per jaar. Bij Google wordt zowat alles op potentiële gebruikers uitgeprobeerd – van algoritmes tot nieuwe producten – voordat het echt op de markt wordt gebracht.
Uitgebreide experimenteerfase
Ook in andere sectoren besluiten steeds meer bedrijven pas dat ze iets gaan doen, als daar een uitgebreide experimenteerfase aan vooraf is gegaan. Klinkt als een prima ontwikkeling toch?
Zo simpel ligt het niet, zegt Harvard-professor Michael Luca. Hij is gespecialiseerd in data-research bij bedrijven en bestudeert hoe raden van bestuur met de uitkomsten van dat soort onderzoek omgaan. Samen met zijn collega-hoogleraar Max Bezerman schreef hij er een boek over: The Power of Experiments: Decison-Making in a Data Driven World.
Blunders en blinde vlekken bij experimenten
De twee experts willen ceo’s met hun boek behoeden voor blunders en blinde vlekken. Want die kwamen ze in hun onderzoek voor het boek opvallend veel tegen bij al die bedrijven die zo experimenteerderig zijn.
Zelfs bij de grote techbedrijven, waarvan je toch zou denken dat die goed zijn in het omgaan met data. Bovendien bleken organisaties ook vaak dezelfde fouten te maken. Dit zijn de vijf meest gemaakte fouten bij experimenten:
#1. De bedrijfstop bemoeit zich niet met het experiment
Sommige organisaties besteden het experimenteren uit aan gespecialiseerde teams, zonder dat de top van het bedrijf zich er verder mee bemoeit. Daarmee creeëren ze silo’s. Kennis die daarbinnen wordt opgedaan sijpelt niet door naar de rest van de organisatie.
Een bedrijf als Booking.com laat volgens Luca zien dat het ook anders kan. Daar bepaalde de voormalige Nederlandse topvrouw Gillian Tans dat 1500 mensen, uit allerlei geledingen van het bedrijf, proeven mochten doen op elk gebied dat ze nodig achtten.
Tans ging ervan uit dat de lenigheid van geest die een testcultuur met zich meebrengt goed zou zijn voor de betrokkenheid van werknemers. En dat dat vervolgens ook weer zou leiden tot de ontwikkeling van betere producten.
#2. De test wordt te smal opgezet
Managers kunnen grote blinde vlekken in een experiment veroorzaken als ze de opzet van tevoren te smal maken. Dat gebeurde bijvoorbeeld bij Airbnb, dat testen deed om erachter te komen waarom mensen de accommodatie boekten die ze boekten. Het risico op discriminatie werd genegeerd. Pas toen onderzoek van Luca en zijn collega’s aantoonde dat het platform discriminatie door verhuurders mogelijk maakte, paste Airbnb zijn boekingsprocedure aan. Vanaf dat moment ging Airbnb ook onderzoek naar vooroordelen onder verhuurders doen.
Volgens professor Luca werd de top van het concern door de onverwachte en pijnlijke uitkomsten verrast. Dat had de board kunnen voorkomen door diverse gebruikersgroepen naar hun ervaringen te vragen en niet alleen op data over de boekingen af te gaan.
#3. Het experiment duurt te kort
Sommige tests moeten weken of zelfs maanden duren, voordat je er echt conclusies uit kunt trekken. Dat bleek bijvoorbeeld bij de Amerikaanse sportschoolketen 24 Hour Fitness. Die schakelde de Universiteit van Pennsylvania in om erachter te komen hoe ze hun leden konden motiveren om vaker te komen sporten. De onderzoekers ontdekten dat de verschillende methoden allemaal effect hadden op de korte termijn. Maar na die eerste weken haakten veel leden toch weer af. Alleen door de sporters langdurig te volgen kwamen ze erachter welke aanpak het beste was.
#4. De test is te weinig gericht op de waaromvraag
Veel bedrijven doen onderzoek onder hun klanten om erachter te komen wat het beste werkt. Ze leggen hen bijvoorbeeld verschillende varianten van een product voor en vragen dan aan welke variant ze de voorkeur geven. Vaak stopt het daar. Zo testte de Chinese webwinkelgigant Alibaba een paar jaar geleden of het werkte als ze klanten een waardecoupon zouden geven als die producten in hun digitale winkelwagentje lieten liggen. Het onderzoek wees uit dat die coupons niet tot extra omzet zouden lijden. Een gemiste kans, zegt Luca. Want als ze hadden doorgevraagd hadden ze er misschien achter kunnen komen waarom mensen die spullen niet kochten.
#5. Het is onduidelijk wat het bedrijf met het experiment wil
Wat ga je met de uitkomsten van een test doen? Wil je een product misschien aan investeerders laten zien? Of wil je als bedrijf uitvinden of het voor de productiviteit zou helpen als je je werknemers een bonus in het vooruitzicht stelt? Pas als dat duidelijk is kun je bepalen wanneer je iets gaat uitproberen en op welke manier. Stel voor je aan een experiment begint een duidelijk omlijnde vraag. Alleen dan kun je ook iets met de uitkomsten doen.
Veel CEO’s missen de skills
De Harvard-hoogleraren constateren dat veel bedrijven nog aan het uitvogelen zijn hoe ze een goede experimenteer-cultuur kunnen creeëren. Ook weten veel topbestuurders niet wanneer ze een test moeten doen en op welke manier. Ze nemen nog te vaak beslissingen op basis van intuïtie, of ze gaan af op veronderstellingen die niet kloppen of hun ervaring. Zonder dat ze de beschikbare data in overweging nemen.
‘Het is absoluut waar dat data belangrijker zijn geworden bij veel bedrijven. Maar het is uiteindelijk aan de top van de organisatie om te bepalen wat ze ermee doen’, zegt Michael Luca. ‘Zolang daar de deskundigheid ontbreekt zullen experimenten soms tot verkeerde beslissingen leiden.’ En tot gemiste kansen, voegt hij daaraan toe. ‘Uiteindelijk zijn de belangrijkste besluiten die je als leider neemt gebaseerd op een kennis en op gezond verstand.’
