Een computer services bedrijf startte een rigoureus en duur trainingsprogramma voor service en installatietechnici. Op een gegeven moment vroeg het management zich van alles af over dit programma: Wie hebben de training nou precies gevolgd en wie niet? Heeft het beoogde effect? Is deze investering wel te verantwoorden?

Managers hebben veel te maken met veranderinitiatieven
Als manager heeft u in uw organisatie waarschijnlijk regelmatig te maken met ingrijpende of minder ingrijpende organisatieveranderingen en met de invoering van nieuwe managementsystemen en technologieën. Denk bijvoorbeeld aan de invoering van een Enterprise Resource Planning (ERP) systeem, de invoering van een kwaliteitssysteem, de invoering van competentiemanagement, het trainen van een categorie medewerkers in klantgerichtheid, enzovoorts.

Evalueren is belangrijk
Dergelijke veranderinitiatieven kosten vaak veel geld en beïnvloeden het werk van velen in de organisatie. Ze zijn echter nooit volledig succesvol voor iedereen en in alle opzichten. Soms is er zelfs sprake van veel problemen en veel kritiek: 'Waarom doen we dit eigenlijk? Denken ze dat we niets te doen hebben of zo?' Dit soort reacties mag onprettig zijn, vaak zijn ze wel begrijpelijk. Mensen moeten eerst dingen anders gaan doen en het is voor hen vaak niet direct zichtbaar wat het allemaal oplevert.

Het is voor u als manager belangrijk om te weten hoe het staat met de invoering: Is het systeem effectief? Hoeveel mensen gebruiken het al? Wat gaat er goed? Tot welke voordelen leidt dit? Valt de investering te rechtvaardigen? Wat gaat er fout? Wat hieraan te doen? Moeten we het initiatief verder uitbreiden? Of moeten we het juist stop zetten? Hoe kunnen we mensen enthousiast betrokken houden of krijgen?

Evaluatie is vaak problematisch
In de praktijk verlopen evaluaties van veranderinitiatieven vaak problematisch. Grote veranderprojecten worden vaak of niet of slechts slordig en anekdotisch geëvalueerd of op een heel precieze maar weinig bruikbare manier geëvalueerd. Het probleem bij deze benadering is dat de geloofwaardigheid en overtuigingskracht van de verzamelde informatie bij per definitie gering is. Sceptici zullen dus voldoende grond kunnen vinden om skeptisch te blijven.

Soms vinden rigoureus opgezette studies plaats. Deze leveren vaak een gedetailleerd plaatje op van hoe de systematiek gebruikt wordt en wat er goed en fout gaat. Toch zijn ook deze studies vaak problematisch omdat ze vaak weinig bruikbaar zijn. De presentatie van het materiaal is vaak droog en overwegend cijfermatig en biedt vaak weinig aanknopingspunten voor verdere besluitvorming.

De Succes Case Methode
De Amerikaanse hoogleraar Robert Brinkerhoff presenteert in zijn laatste boek The Success Case Method (Berrett Koehler 2003) een evaluatiemethode die bovengenoemde problemen ondervangt. Deze methode bestaat grofweg uit de volgende stappen:

1. Voorbereiding en planning: wat willen we precies evalueren, wat is het doel van de evaluatie, op wie richten we de studie, wanneer beginnen we en welke aanpak volgen we?
   

2. Een impact model maken: dit model definieert hoe succes eruit ziet. Met andere woorden: als het veranderinitiatief succesvol is ingevoerd wat voor opbrengsten zijn er dan? Dit impact model wordt weergegeven in een tabel met vier kolommen: 1) Capaciteiten, 2) Kritieke toepassingen, 3) sleutel resultaten, 4) organisatiedoelen
   

3. Enquête ontwerpen en afnemen: Deze vragenlijst richt zich in hoofdzaak op de vragen: hoe wordt het systeem nu gebruik? Wat gebruikt men wel en wat niet? Wat gaat er goed? En wat gaat er fout? Op basis van de vragenlijst worden Best of the Best cases (BOB´s) en Worst of the Worst Cases (WOW´s) geïdentificeerd.
   

4. Ontwerpen en afnemen van interviews: De interviews zijn er primair op gericht op succes cases te identificeren en analyseren. Wat is er gebruikt? Welke resultaten zijn bereikt? Wat voor goeds kwam hier uit voort? Wat heeft goed geholpen? Belangrijk is dat de interviewer zeer goed doorvraagt op de succescases zodat men zeker kan zijn dat ze overtuigend en bewijsbaar zijn. Daarnaast kunnen enkele interviews worden gehouden gericht op ´faalcases´. Deze zijn erop gericht op zich te krijgen op barrières en het verkrijgen van suggesties om deze barrières weg te nemen.
   

5. Communiceren van bevindingen, conclusies en aanbevelingen: In deze laatste fase van de studie worden het gebruik en de resultaten beschreven van het systeem. Er wordt geschetst welke onderdelen goed lopen en welke niet. Er wordt beschreven welke factoren stimulerend werken en welke belemmerend en hoe verder implementatie ondersteund kan worden. In sommige gevallen kan een schatting van de financiële utiliteit gegeven worden.

Het management van het eerder genoemde computer services bedrijf kwam er tot haar verbazing achter dat 40 procent van de technici uit de doelgroep de training nog niet gevolgd hadden. Maar de 60 procent die de training wel gevolgd hadden, bleken er groot profijt van te hebben. De nieuwe vaardigheden bleken aantoonbaar te leiden tot het versnellen van het installatieproces en het sneller oplossen van beginnende problemen die anders tot ergere problemen zouden hebben geleid. Dit was aantoonbaar tot tevredenheid van klanten en leidde tot meer klantloyaliteit en hogere omzetten. Maar tevens werd duidelijk dat er veel verspilling in het trainingsprogramma zat omdat er veel mensen bleken mee te doen voor wie de training niet nuttig was en niet bedoeld was. Dit, terwijl sommige technici voor wie de training wel nuttig geweest zou zijn op een wachtlijst stonden en niet mee hadden kunnen doen. De studie zorgde ervoor dat het commitment voor het trainingsprogramma toenam maar tevens dat er veel scherper gelet kon worden op wie eraan deelnam zodat het rendement beduidend toenam.

Een praktische en nuttige evaluatiemethode
Deze evaluatiemethode is een verademing. In de eerste plaats vanwege de eenvoud, praktische bruikbaarheid en de snelheid waarmee hij kan worden toegepast. In de tweede plaats vanwege de bruikbaarheid van de methode. Doordat de methode expliciet doelgericht is (zie het impact model) en succesgericht (de nadruk ligt op het analyseren van wat er goed gaat) levert de methode veel bruikbaar inzicht op in de vraag: wat veroorzaakt succes? Hierdoor wordt het mogelijk te leren van de successtory´s van anderen. In de derde plaats worden de succes cases zo helder in kaart gebracht en gecommuniceerd dat de overtuigingskracht en de bruikbaarheid van de studie maximaal is.

Coert Visser (coert.visser@planet.nl) is een coach, consultant en trainer die werkt met de positieve veranderaanpak oplossingsgericht werken. Deze aanpak richt zich er eenvoudigweg op om individuen, teams en organisaties te helpen om vooruitgang te boeken in de richting van hun eigen keuze. Coert heeft veel artikelen geschreven en enkele boeken, waaronder het boek Doen wat werkt, dat de GIDSprijs 2006 won. Ook interviewde hij baanbrekende denkers zoals Insoo Kim Berg, Jeffrey Pfeffer en David Maister. Meer informatie vindt u hier: Trainings- en adviesbureau Oplossinggericht Veranderen, website NOAM, website Solution-focused Change, website Oplossingsgerichtmanagement, http://solutionfocusedchange.blogspot.com

Dit artikel verscheen op managersonline.nl