Aandacht voor wat werkt

• Inleiding

  Als het gaat om de effecten van het toezicht, hebben inspecteurs zelf ook vragen. Wat werkt, waarom en voor wie en in welke situatie?
  In het project ‘Aandacht voor wat werkt’ verkenden onderzoekers van het Inzichtenlab samen met inspecteurs van drie verschillende rijksinspecties hoe je dit soort vragen op een lerende manier onderzoekt. Het project werd mogelijk gemaakt door bureau Inspectieraad.
  De bedoeling van het project was om te beginnen vanuit inspecteurs, hun nieuwsgierigheid aan te wakkeren en te zien wat er gebeurt als inspecteurs die nieuwsgierigheid volgen. Geen groots en meeslepend effectonderzoek, maar onderzoekend leren als onderdeel van het alledaagse werk.
  Voor het verbeteren van de kwaliteit van het toezicht is het nodig dat inspecteurs onderzoekend ernaar kijken hoe wat zij doen, uitwerkt in de praktijk. Zij moeten de effecten immers bewerkstelligen. Zij kunnen signaleren wat in een bepaalde context wel of niet lijkt te werken en zij kunnen passende verbetervoorstellen ontwikkelen en direct toepassen.
  Hieronder presenteren we vijf verhalen. Met deze verhalen hopen wij (onderzoekers, enkele van de deelnemende inspecteurs en opdrachtgever) het gesprek over ‘effecten’ binnen inspecties verder te stimuleren. De verhalen zijn waarheidsgetrouw. Ze hebben betrekking op vijf onderwerpen die steeds als belangrijk naar voren werden gebracht in gesprekken met zo’n dertig inspecteurs. De uitspraken van verschillende inspecteurs rondom een onderwerp zijn samengevoegd tot een verhaal per onderwerp. De waarde van deze verhalen zit hem, zoals bij meer narratieve onderzoeks- en verantwoordingsmethoden, in de herkenbaarheid van de verhalen en in de rijkdom aan inzichten en vragen die ze oproepen.
  De deelnemende inspecteurs waren afkomstig van drie rijksinspecties. Het werk van de inspecteurs en hun organisatie verschilt. Wat voor inspecteurs van de ene organisatie een vraag is, speelt bij andere inspecties minder. Tegelijkertijd zijn er veel overeenkomsten in wat voor inspecteurs belangrijk is en wat ze willen weten over hoe hun toezicht uitpakt. Daarom is het niet nodig om te weten wie wat waarover heeft gezegd, dat leidt af van het belangrijkere gesprek over hoe er naar effecten op de werkvloer wordt gekeken. Om zo dicht mogelijk bij de vragen en ervaringen van de deelnemende inspecteurs te blijven, delen we de verhalen in de ‘ik’-vorm.

• Verhaal 1: Over welke effecten hebben we het?

  In onze inspectie gaat het vaak over het werken aan effect. Maar over welke effecten hebben we het dan eigenlijk? Bij collega’s proef ik vooral onbegrip als het over ‘effecten’ gaat. ‘Onduidelijk gepraat van bovenaf’ hoor je zeggen, of: ‘daar kunnen we niks mee’. Inspecteurs zien niet wat praten over ‘effecten’ uitmaakt voor hoe zij hun werk uitvoeren. Is het alleen een mooie nieuwe term, of willen we met elkaar écht zorgen dat we het verschil maken?
  Bovendien merk je dat collega’s het irritant kunnen vinden dat er aan de ene kant wordt gepraat over ‘effect’ maar dat er aan de andere kant dingen van ons worden gevraagd waarvan je het nut kunt betwijfelen. Het lijkt wel alsof we niet hardop mogen praten over het feit dat politieke en maatschappelijke vragen ons werk constant beïnvloeden. Dan moet alles weer soepeler, dan weer strenger, dan ontspoort het weer. Dat werkt steeds door in hoe er over effecten wordt gesproken en wat er wordt gemeten. Dat maakt ons werk, vind ik, ook wel eens wat ingewikkeld.
  Ik was nieuwsgierig naar wat er nou precies achter zit. Ergens was ik bang dat wij het gewoon niet goed genoeg begrepen. Waarom wordt er zo over effecten gesproken? Wat bedoelen ze er nou toch precies mee en wat moeten wij in ons eigen toezichtwerk met die ongrijpbare term? Met deze vragen zijn we langsgegaan bij de mensen die het over effecten hebben. Zo hadden we een paar goede gesprekken, met de IG, met methodologen.
  Na de gesprekken en het lezen erover, ben ik effecten anders gaan zien. Nu weet ik dat de leiding het net zo goed niet allemaal precies weet. Dat het ze meer gaat om een manier van kijken, dan een heel precies doel. De ene keer wordt met ‘effecten’ eigenlijk de meetbare output bedoeld, de andere keer gaat het om de lastig meetbare ‘outcome’ of juist de impact op de langere termijn. Het praten over effect is, zoals ik het nu begrijp, meer bedoeld als stimulans dan als een gedetailleerde routekaart.
  Als je het praten over effecten gaat zien als een oproep, is het volgens mij nog belangrijker dat inspecteurs betrokken worden bij het gesprek. Je moet hun vragen stellen en luisteren naar wat ze te zeggen hebben. Inspecteurs zien wat er in de praktijk gebeurt en hoe er op het toezicht wordt gereageerd. Zij moeten het werk uitvoeren. Bovendien, je raakt de betrokkenheid van collega’s kwijt als je het over de effecten van hun werk hebt, zonder dat zij zijn aangehaakt.

• Verhaal 2: Je bent er nooit bij als er over de inspectie wordt gepraat

  Als inspecteur kom je wel bij al die organisaties, maar bent je er nooit bij als er over de inspectie wordt gepraat. Wij zien maar een klein deel van wat bij de organisaties gebeurt. Sommige inspecteurs komen überhaupt zelden bij de organisaties waar ze toezicht op houden, of maar bij een heel klein percentage. Ik ben daarom wel nieuwsgierig naar hoe er wordt gesproken over veiligheid en risico’s als we weer weg zijn. Wat zou een bestuurder of manager nou echt vinden van de effectiviteit van ons toezicht en helpt het hem om stappen te zetten? Die kennis is vitaal, willen we onze impact kunnen vergroten.
  Het is helemaal niet zo evident om dit soort vragen te stellen aan de mensen bij wie we op toezichtbezoek komen. We zijn snel bang dat we verwachtingen wekken die we niet waar kunnen maken en willen vaak graag onze eigen deskundigheid benadrukken. Als medewerker van een gezaghebbend instituut als een inspectie dat ook met autoriteit moet kunnen optreden kan het moeilijk zijn om je kwetsbaar op te stellen of je eigen onzekerheden over effectiviteit te bespreken. Terwijl het zo belangrijk is om in gesprek te blijven om te zien of de effecten wel zijn zoals bedoeld.
  Wij weten goed hoe je vragen kunt stellen in het kader van het toezicht, maar hoe je vragen kunt stellen om te leren over het toezicht is ons minder bekend. En als we zulke vragen al stellen, dan gaat het vaak via anderen of in een feedbackformulier. Dat is zonde. Ik kan het vragen stellen wel uitbesteden aan een onderzoeksbureau maar dan ben ik er zelf niet bij.
  In het gesprek dat ik voerde met een bestuurder heb ik maar één vraag gesteld, de openingsvraag. Daarna luisterde ik en ging ik reageren op zijn verhaal. Tijdens inspectiegesprekken ben ik waakzaam dat ik de leiding houd in een gesprek, nu deed ik dat niet. Het was voor mij heel leerzaam om te ervaren hoe anders het gesprek daardoor werd. Ook omdat de bestuurder aangaf het ergerlijk te vinden als hij een inspecteur treft die stomweg zijn lijstje wil afwerken zonder oog te hebben voor het verhaal van de organisatie.
  De inhoud van dit onderzoekende gesprek met die bestuurder bracht me op een paar nieuwe gedachten, maar ik leerde vooral van de vorm van dit gesprek. Je merkt dat het de relatie verstevigt als je jezelf lerend kan opstellen. Bovendien merk je dat je heel andere dingen te horen krijgt.
  We kunnen veel meer van onze ‘ondertoezichtstaanden’ leren dan we nu doen. Zij weten als geen ander wat de effecten zijn van een toezichtbezoek bij henzelf. Ze zien wat er om hen heen gebeurt in de sector, in goede en in slechte zin. Ze hebben zicht op wat je kunt doen om regels te omzeilen of hoe je kunt werken aan schijnveiligheid. We kunnen profiteren van die ervaringskennis als we ons nieuwsgierig en lerend opstellen en er actief naar vragen.

• Verhaal 3: Laten we meer experimenteren

  Het kan allemaal zo lang duren, voordat we eens iets nieuws proberen. Dat kan me echt frustreren.
  Neem bijvoorbeeld een nieuw rapportformat of een aangepaste toezichtleidraad. Stel, we zijn erachter gekomen dat iets niet helemaal goed werkt en dat we het anders willen. In plaats van dat we dan direct aan de slag gaan, wordt er eerst een heel onderzoek gedaan naar wat er volgens de literatuur, of op andere plekken, het beste werkt. Dat levert dan na een tijd een onderzoeksrapport op waarin vier conclusies worden getrokken die zo algemeen zijn dat je het er niet mee oneens kán zijn. Op basis van die conclusies gaat een clubje mensen aan de slag. Die gaan nog eens uitgebreid nadenken en die komen dan tot een nieuw protocol, een nieuw rapportformat of een nieuwe training. Vervolgens moet dat dan in één keer over de hele inspectie worden uitgerold. Alle inspecteurs op dezelfde training. Of gelijk alle rapporten anders. Dat zijn zulke ingrijpende, opgelegde, veranderingen die de mensen in de organisatie zoveel energie kosten. Bovendien is het allemaal in theorie bedacht maar weten we dan nog helemaal niet hoe dat in de toezichtpraktijk uitwerkt.
  Waarom proberen we niet uit? Eerst op kleine schaal experimenteren met verschillende werkwijzen? Zodat we kunnen zien wat er wel of niet werkt in de praktijk. Je kunt zoveel meer, zoveel sneller doen. Als we onszelf maar zouden toestaan om meer lerend te werken en als we niet zo bang zouden zijn voor variatie.
  Die angst om te experimenteren werkt door op de werkvloer. We hadden pas in een nieuwe leidraad expres iets opengelaten zodat inspecteurs het invullen ervan van de context konden laten afhangen. Dan zijn er collega’s die dat bevrijdend vinden, maar er zijn ook collega’s voor wie dat heel spannend voelt. Die vragen dan toch weer om heel precieze instructies, uit angst om fouten te maken.
  Juist van de diversiteit, de verschillende manieren waarop inspecteurs iets aanpakken kun je leren. Daarin zou ik graag meer nadruk willen kunnen leggen op wat er goed gaat. We weten vaak heel goed wat er niet werkt, maar begrijpen veel minder goed waarom iets wél werkt. Bovendien is het veel inspirerender om te kijken in welke situaties het wel lukt. We proberen deze focusverandering door te voeren in het veld. Laten we het dan zelf in onze eigen inspectie ook doen.

• Verhaal 4: Waar leidt zo’n boete eigenlijk toe?

  Als we een boete opleggen, gaan we ervan uit dat dit bijdraagt aan de naleving. Dat het zorgt voor verbetering van de kwaliteit. Ik noem het wel eens gekscherend ‘leergeld’.
  Ik leg dagelijks boetes op bij de bedrijven waar ik kom. Maar ik weet eigenlijk niet wat het effect daarvan is, positief of negatief. Waar leidt zo’n boete eigenlijk toe? Ik wil graag een positieve bijdrage leveren aan de naleving en kwaliteit. Dat is waarom ik inspecteur ben geworden. Ik zou wel willen weten wat het bedrijf heeft ervaren één tot twee jaar nadat hem een boete is opgelegd. Zijn er binnen de onderneming zaken verbeterd, en heeft de boete daaraan bijgedragen?
  Het is spannend om te vragen wat een boete met een organisatie heeft gedaan. Ik had het nog nooit nagevraagd. Maar ik ben nieuwsgierig aangelegd en kan vaak goed met mensen door één deur, ook als ik streng ben geweest. Ik wilde het weleens proberen en benaderde een aantal bedrijven. Ik was positief verrast dat ze allemaal mee wilden werken aan mijn onderzoekje. Natuurlijk heb ik eerst duidelijk uitgelegd dat ik deze vragen niet stelde als inspecteur, maar als zelfonderzoek. Ze vonden het juist allemaal heel waardevol.
  Het mooie is dus dat je ziet dat bedrijven best bereid zijn om hun eigen ervaringen te delen. Als je maar de juiste, oprecht geïnteresseerde toon aanslaat. De beboete ondernemers beantwoordden mijn vragen heel serieus. Ik was onder de indruk van de kwaliteit van hun antwoorden. In de reacties zag je dat ze vonden dat de boete hun niets had opgeleverd. Maar in de ondertoon merk je: wij hebben wel ideeën over wat wél iets zou kunnen opleveren. Dat is interessant. Daar zouden we wel meer mee kunnen doen.
  Wat ik interessant vond: een van de ondernemers vond zijn boete te hoog, terwijl die toch gematigd was. Die erkenning, die wij menen te geven met een matiging, die hebben ze niet gevoeld. De vraag is dus of zo’n matiging wel doet wat we ermee bedoelen en of we dat wel duidelijk genoeg maken. En juist omdat ik de uitvraag zelf heb gedaan, kreeg ik dit nieuwe inzicht.

• Verhaal 5: Discussies blijven oppervlakkig als iedereen verwijst naar het vastgestelde beleid

  Wij letten altijd op wat er niet voldoet. Zou het niet veel beter werken, en meer effect sorteren, als je organisaties die hun zaken goed op orde hebben als ‘goed’ zou bestempelen? Die zou je dan bijvoorbeeld minder vaak bezoeken. Of die zou je bij een mogelijk incident met meer vertrouwen tegemoet kunnen treden dan een organisatie waarvan je weet dat die het niet zo nauw met de veiligheid van haar medewerkers neemt.
  Ik was benieuwd naar hoe mijn collega’s hierover denken. Discussies hierover worden niet vaak gevoerd. Het wordt al snel als vaststaand feit gezien dat we ons richten op de risico’s. Terwijl ik het interessant vond om te horen wat collega’s denken, op basis van hun eigen ervaringen en ideeën. Je kunt ervan leren en de inspectie kan ervan profiteren.
  Mijn collega’s reageerden allemaal op de vragenlijst die ik ze toestuurde en ik leerde zoveel van hun antwoorden. Sommige dingen had ik kunnen voorspellen: een collega die altijd het kortste inspectieverslag schrijft, gaf ook minder criteria aan op basis waarvan hij de kwalificatie ‘goed’ zou geven. Maar sommige antwoorden verrasten me: hoe verschillend we bijvoorbeeld bleken te denken over of we organisaties als ‘goed’ willen bestempelen en wat de consequenties daarvan kunnen zijn. Ik heb veel meer geleerd over de denkbeelden van mijn collega’s dan ik hoor tijdens overleggen.

• Lerend onderzoeken in het toezicht

  In de gesprekken luisterden we naar hoe inspecteurs spreken over de effecten van hun werk. We zagen waar ze nieuwsgierig naar zijn en wat ze graag lerend willen onderzoeken, maar hoorden ook wat ze daarbij tegen kan houden.
  We hebben gemerkt dat inspecteurs lang niet altijd de vraag krijgen over waar zij denken dat hun werk effectiever kan. Inspecteurs conformeren zich dan aan de gebruikelijke werkwijze. Tegelijkertijd hebben we ook gemerkt dat inspecteurs vanuit hun praktische kennis van de toezichtpraktijk wel nieuwsgierig zijn naar hoe hun werk uitpakt en daarover ook ideeën hebben. Omdat het niet zo gebruikelijk is met inspecteurs te kijken naar wat werkt, hebben we tips opgesteld voor inspecties die het lerend onderzoeken verder willen stimuleren.

  Op het niveau van inspecties:
  1. Profiteer van de nieuwsgierige vragen van inspecteurs
  Vragen, twijfels en ideeën kun je maar beter openlijk in je organisatie bespreken. Ruimte voor verschil van inzicht verhoogt de kwaliteit van de beslissingen. Als werkwijzen mogelijk ineffectief zijn, dan wil je daar bovendien zo snel mogelijk op gewezen worden, anders is het zonde van tijd en middelen.
  2. Stimuleer onderzoekend leren door inspecteurs
  Toezicht is gebaat bij inspecteurs die nieuwsgierig zijn. Professionaliteit groeit wanneer inspecteurs zich betrokken voelen en merken dat zij mogen blijven leren. Als inspecteurs zien dat zij kritisch naar het eigen werk mogen kijken en nieuwe ideeën mogen uitproberen en toetsen, zullen ze de verantwoordelijkheden die bij het werk horen beter kunnen dragen.
  3. Betrek inspecteurs bij het gesprek over effecten
  Evaluatieonderzoek naar impact, verantwoording over effecten of het meten van resultaten mag niet te ver van de werkvloer af komen te staan, anders verliest het waarde voor de praktijk. Zorg dat er met een conceptuele of een methodologische focus ook ruimte blijft voor kritische reflectie vanuit de toezichtpraktijk.
  4. Geef signalen van buiten de organisatie analytische aandacht
  Voor een responsieve overheid is het oppikken van signalen van groot belang. Het is niet zo dat ieder signaal dat inspecteurs oppikken dé nieuwe waarheid is, maar die signalen verdienen wel analytische aandacht en daarbij moet naar meer dan de kwantitatieve waarde worden gekeken. Zo werken inspecties mee aan een responsievere overheid.
  5. Maak ruimte voor andersoortige vragen en andersoortige onderzoekende blikken
  Er zijn meer onderzoekende blikken dan die welke vaak dominant zijn in inspecties. We ontwikkelden onderstaande praatplaat om de veelheid aan mogelijkheden te benadrukken. In veel inspecties zijn de blikken van de detective, de rechter en de laborant dominant, terwijl ook andere blikken zoals die van de ontdekkingsreiziger, de barman of de filosoof van waarde kunnen zijn.

  Op het niveau van inspecteurs:
  1. Laat van je horen als je nieuwsgierig bent naar de effecten van je eigen werk
  Als professional ben je dagelijks in de praktijk werkzaam en weet je als geen ander welke thema’s spelen, welke discussies er leven en welke vertaalslagen gemaakt moeten worden tussen beleid en praktijk. Jouw eigen ervaring en perspectief als professional is je grootste kracht. Gebruik je unieke positie en alle ervaring en kennis die je hebt opgedaan. Gooi dat niet weg om onderzoeker te worden, maar wordt een onderzoekende professional.
  2. Begin bij wat jij belangrijk vindt
  Die dingen die je verbazen, irriteren, of waarvan je denkt dat anderen ze zouden moeten zien, kunnen de perfecte basis vormen voor een goede onderzoeksvraag naar iets wat er écht toe doet. Probeer expliciet en eerlijk na te denken over je eigen verwachtingen, waarden, aannames en belangen en die van je organisatie. Als dit lastig is, benut hiervoor bijvoorbeeld gesprekken met collega’s om dit scherp te krijgen.
  3. Benader je vraag vanuit onbevangenheid en oprechte nieuwsgierigheid
  Inspecteurs zijn gewend te oordelen. Dat kan leren en luisteren in de weg zitten. Kijk hoe je je vraag zo kunt onderzoeken dat je hem vanuit oprechte nieuwsgierigheid kunt onderzoeken. Merk je dat je zelf te betrokken bent, of dat je overtuigingen het luisteren in de weg zitten? Vraag jezelf af wat je nodig hebt om die oprechte nieuwsgierigheid (weer) mogelijk te maken.

  

  4. Ga uit van de expertise van anderen
  Er zijn verschillende vormen van deskundigheid of kennis: ervaringsdeskundigheid, theoretische deskundigheid, getuige van een beleidsontwikkeling. Vraag mensen naar waar zij kennis van hebben. En probeer ruimte te maken voor wat zij zelf (binnen het onderwerp) belangrijk vinden. Als antwoorden niet interessant zijn dan ligt dat meestal aan de kwaliteit van de vragen. Luister aandachtig en voorbij de woorden en vraag door. Neem de ander serieus en onderdruk de neiging (als professional) om uit te leggen
  5. Kijk analytisch maar ga wel voor impact
  Ga actief op zoek naar andere perspectieven, denkwijzen, ervaringen en wees niet bang voor de meest kritische stem. Jouw onderzoek hoeft geen uitsluitsel te geven, sterker nog, de waarde zit in het zoeken van waardevolle inzichten. Goede vragen stellen kan beter zijn dan antwoorden geven. Ga wel voor impact: zie je mogelijkheden voor verbetering: deel ze; vang je zorgwekkende signalen op: deel ze; heb je het idee dat er onwenselijke effecten zijn: deel dat; en heb je het gevoel dat er niet naar je geluisterd is maar blijf je noodzaak voor verbetering zien: probeer te achterhalen waar het stokt en blijf creatief zoeken naar mogelijkheden.

• Achtergrond

  ‘Aandacht voor wat werkt’ was een vervolg op het project ‘Inspecteurs over hun vak’, dat leidde tot de gelijknamige publicatie. Op de website van het Inzichtenlab vind je een omschrijving van het ‘Aandacht voor wat werkt’-project waaruit deze bijdrage is ontstaan.
  In de zoektocht naar manieren om het gesprek over effecten op de werkvloer van inspecties te stimuleren heeft het Inzichtenlab ook verschillende producten ontwikkeld. Met deze tools kun je zelf aan de slag: een vragenwaaier met vragen voor in je toezichtveld; een spel om met collega’s in gesprek te gaan over impact en een perspectievenkaartenset die je naar eigen inzicht kunt gebruiken om verschillende perspectieven letterlijk in kaart te krijgen. Het project heeft ook geleid tot een praatplaat over StimuLERENd rapporteren, waarover is geschreven in dit artikel in Toezine.¹x ‘Weet jij al hoe je stimulerend rapporteert?’, Toezine 27 juli 2021. Voor wie meer wil lezen over de noodzaak om te zoeken naar andere manieren van evalueren, verwijzen we naar twee studies die ons inspireerden: Blijk van vertrouwen. Anders verantwoorden voor goede zorg en Evalueerkunst. Een praktische toepassing van het publieke waarde perspectief op het evalueren van beleid.²x Raad Volksgezondheid & Samenleving, Blijk van vertrouwen. Anders veranwoorden voor goede zorg, Advies 14 mei 2019; Nederlandse School voor Openbaar Bestuur, Een praktische toepassing van het publieke waarde perspectief op het evalueren van beleid, Den Haag 2021.

Noten

• * We willen alle inspecteurs (Inspectie Gezondheidszorg en Jeugd, Inspectie Leefomgeving en Transport en Nederlandse Arbeidsinspectie) die bij dit project betrokken waren heel hartelijk bedanken voor hun openheid, hun geduld en hun betrokkenheid. Ook bedanken we alle medewerkers van bureau Inspectieraad voor hun inzet, input en begeleiding tijdens dit project.

• 1 ‘Weet jij al hoe je stimulerend rapporteert?’, Toezine 27 juli 2021.

• 2 Raad Volksgezondheid & Samenleving, Blijk van vertrouwen. Anders veranwoorden voor goede zorg, Advies 14 mei 2019; Nederlandse School voor Openbaar Bestuur, Een praktische toepassing van het publieke waarde perspectief op het evalueren van beleid, Den Haag 2021.