Wat is Agile werken? Traditioneel projectmanagement betekent dat u een groot en gedetailleerd doel ver weg stelt. Zo wil het team van Henk bijvoorbeeld een nieuw koekje op de markt brengen. Ze stellen als doel dat ze over een jaar 500.000 koekjes hebben verkocht en 150.000 euro winst hebben gemaakt.
Anna’s team gaat Agile koekjes bakken. In een filmpje van de Scrum Company hoort u hoe dat werkt.
‘Ze maken geen uitgebreide plannen, maar gaan ontdekken wat het beste product kan worden’. Anders gesteld: Anna’s team stelt geen grote en gedetailleerde doelen ver weg zoals bij Henk, maar gaat aan de slag en kijkt wat er gaat gebeuren.
Het kan dus gebeuren dat Anna en haar team na een jaar 75.000 koekjes hebben verkocht en 5.000 euro hebben verdiend. Het kan ook zijn dat er geen koekje op de markt is gekomen. Of misschien zijn er miljoenen koekjes verkocht en liggen Anna en haar teamleden piña colada’s te drinken op een tropisch eiland. Wat de uitkomst ook is, volgens de Agile-filosofie is het een succes. Immers, we stellen vooraf geen groot doel, maar gaan (met prachtige termen als sprints, feedbackloops en natuurlijk veel staand scrummen) aan de slag en kijken wat er gebeurt.
Succes meten
De claim dat Agile werken meer succes geeft dan traditioneel projectmanagement is in mijn ogen uiterst ingewikkeld. Hoe meten we succes? Meten we het aantal verkochte koekjes? De gemaakte kosten? De winst? En hoe weten we dan zeker dat er geen verschillen zaten tussen het team van Anna en het team van Henk? Als er verschillende mensen met verschillende talenten en ervaringen tussen zitten, kunnen de verschillen in uitkomsten ook daardoor verklaard worden.
We zitten, kortom, met het probleem dat we appels met peren vergelijken: bij Agile werken stel je geen groot gedetailleerd doel vast op de lange termijn, maar werk je met korte sprints. Dat maakt het heel lastig om die vorm van succes te vergelijken met de aanpak van traditioneel projectmanagement. Het is alsof een tennisser claimt dat tennissers succesvollere sporters zijn dan voetballers, omdat je bij tennis met 1 goed geslagen bal 15 punten wint. Dat lukt een voetballer nooit!
Boterzacht onderzoek
Wat we natuurlijk ook kunnen doen, is boterzacht onderzoek uitvoeren. In plaats van objectief te meten, kunnen we ook even bellen met Henk en Anna en vragen ze blij zijn met het resultaat. Ik zal u een voorspelling doen: Anna is altijd blij, want die had op voorhand toch geen groot doel gesteld.
Daarnaast kunnen we ook wat vage en inconsistente definities gebruiken om het onderzoek precies in de juiste hoek te krijgen. En daarnaast weigeren we simpelweg netjes uit te leggen hoe we aan die resultaten komen.
Klinkt bizar? Ik heb uitgezocht hoe de Standish Group hun beroemde ‘Chaos Report’ schrijft. Het Chaos Report is een rapport dat veel fans van Agile aanhalen om te bewijzen dat Agile beter werkt dan traditioneel projectmanagement. U leest bijvoorbeeld dat in 2015 de overall-succes-rate van Agile projecten 39% is, terwijl de ouderwetse methode slechts 11% succes oplevert.
Inconsistent
Wetenschappers Magne Jørgensen en Kjetil Moløkken hebben getracht te achterhalen hoe de Standish Group tot hun resultaten zijn gekomen. Ze vonden inconsistente definities en hadden veel vragen over de samenstelling van de onderzoekspopulatie. De Nederlandse wetenschappers Eveleens en Verhoef hebben ook gekeken naar de onderzoeken van de Standish Group en kwamen tot de conclusie dat ‘Standish’s successful and challenged project results are indeed meaningless for benchmarking’.
Natuurlijk ben ik ook keurig op zoek gegaan naar wederhoor bij de hoogste baas van de Standish Group. Ik had verwacht dat hij een diepgravende analyse zou geven van de redenen waarom zijn onderzoeksmethode zou deugen. Helaas vond ik een hele andere reactie van directeur Jim Johnson: ‘All data and information in the CHAOS reports and all Standish reports should be considered Standish opinion and the reader bears all risk in the use of this opinion’. Het onderzoek van de Standish Group is dus geen onderzoek, maar een mening.
Is een bewijs?
Een ander veelgenoemd onderzoek om het succes van Agile werken te claimen, is van de heren Serrador & Pinto. Hun onderzoek uit 2015, “Does Agile work? — A quantitative analysis of agile project success” is echter even boterzacht als dat van de Standish Group. Dit onderzoek is niets meer dan een flinke enquete onder managers, vrij willekeurig geworven via een discussiegroepje op LinkedIn.
Een vorm van religie
Ik heb niets tegen Agile werken. Als Agile werken een geloof is waar u of uw organisatie meer geluk uit haalt, is daar niets mis mee. Waar wel iets mis mee is, is de claim dat Agile werken meer succes oplevert. Die claim is tot op heden nog altijd niet hard gemaakt. Niet voor projectmanagement, en niet voor welke andere toepassing ook.
Mocht u die claim toch willen doen, vermeld dan alstublieft duidelijk de gebruikte methodologie en wees volledig over de onderzoekspopulatie. En voor alle Scrumdamentalisten: dat mag u uiteraard staand doen.
