Tijdschrift voor Toezicht, Aflevering 1 2022

Zicht op de effecten van toezicht

Marieke Gorrée en Pieter Welp

In de kern is de raison d’être van toezicht het voorkómen van maatschappelijk ongewenste situaties en/of het bevorderen van maatschappelijk gewenste situaties. Daartoe zetten toezichthouders dagelijks verschillende interventies in. In die dagelijkse praktijk van het toezicht houden en handhaven is de kans echter groot dat deze centrale missie van toezicht uit zicht raakt of op zijn best als een soort onderhuids Leitmotiv aanwezig is. En dat geldt ook voor de vraag wat de maatschappelijke effecten van het toezicht zijn: wat levert al dat toezicht de maatschappij nu op?
Dat is overigens geen nieuwe vraag. Het afgelopen decennium is veelvuldig gewezen op het belang van het in kaart brengen van de maatschappelijke opbrengsten van toezicht.¹x Zie o.m. WRR, Toezien op publieke belangen. Naar een verruimd perspectief op rijkstoezicht (WRR-rapport nr. 89), 2013. Enerzijds om tegenwicht te bieden aan het ‘lastenperspectief’ op toezicht uit de jaren tien door ook de opbrengsten van toezicht in kaart te brengen en af te zetten tegen de maatschappelijke kosten. Anderzijds ook om de legitimiteit en het gezag van toezichthouders te behouden of te vergroten. Net als voor veel andere overheidsinstellingen en organisaties geldt ook voor toezichthouders dat hun legitimiteit niet alleen meer gebaseerd is op hun être (‘Ik ben en ben dus legitiem’), maar ook verkregen moet worden door het realiseren van hun raison d’être: de beoogde maatschappelijke effecten. Diverse organisaties, zoals de Algemene Rekenkamer al in 2005, de Wetenschappelijke Raad voor het Regeringsbeleid (WRR) in 2013 en onlangs nog de Inspectieraad in 2020 roepen daarom al geruimte tijd op om meer aandacht te besteden aan de maatschappelijke effecten van toezicht en daar ook transparant en publiekelijk over te rapporteren.²x Kamerstukken II 2004/05, 30050, nr. 2, Rapport Algemene Rekenkamer, Handhaven en gedogen.^,³x Inspectieraad, Brief van 10 december 2020 betreffende de Evaluatie Aanwijzingen inzake rijksinspecties. Tweede brief Evaluatie Aanwijzingen inzake rijksinspecties. In de woorden van Sparrow: ‘If your business is harm-control, show me harms you have controlled.’⁴x M.K. Sparrow, The Character of Harms, Cambridge: Cambridge University Press 2008.
Ondanks een paar goede voorbeelden en diverse gezamenlijke initiatieven in het afgelopen decennium van toezichthouders om effectevaluaties van toezicht te bevorderen komt dit echter nog niet echt van de grond.⁵x Bijvoorbeeld Centrum voor Criminaliteitspreventie en Veiligheid (CVV), Effecten van toezicht en handhaving meten. Een handreiking, Utrecht: CCV 2011. Zo constateerde Van der Knaap onlangs nog dat dergelijke onderzoeken wel worden uitgevoerd, maar nog geen vanzelfsprekende activiteit lijken te zijn, worden de resultaten nog niet breed gedeeld en ontbreekt een goed overzicht.⁶x P. van der Knaap, ‘Effectiviteit van risicogestuurd toezicht’, in: Inspectieraad, Reflecties op de Staat van het toezicht, Den Haag 2019. Voor de redactie voldoende aanleiding om er een themanummer van het Tijdschrift voor Toezicht aan te wijden.
Ondanks alle goede intenties blijkt het in de praktijk namelijk nog knap lastig om vast te kunnen stellen of het inzetten van bepaalde toezichtinterventies leidt tot de maatschappelijke gewenste effecten. Dit heeft verschillende oorzaken.⁷x Zie ook P. Welp, M. Bokhorst & P. de Goede, ‘Effecten en evaluatie van toezicht’, in: F.J.H. Mertens, E.R. Muller & H.B. Winter, Toezicht. Inspecties en autoriteiten in Nederland, Deventer: Wolters Kluwer 2015, p. 87-108. Zo blijkt het echt kwantitatief vaststellen van effecten van ons handelen als toezichthouder in de praktijk niet eenvoudig te combineren met risicogericht toezicht. Dit constateren Jansen en Tanihatu in hun bijdrage aan dit nummer van het Tijdschrift voor Toezicht. Zij wijzen ook op tal van andere uitdagingen zoals bijvoorbeeld capaciteitsgebrek en ethische bezwaren.
Daarnaast kan blijken dat er potentieel bruikbare data worden verzameld, maar dat deze van onvoldoende kwaliteit zijn om effecten aan te tonen. Dit beschrijven Van Wilsem en De Sonnaville in hun column in dit nummer. Soms ook is het beoogde effect helemaal niet zo eenduidig als gedacht, zoals Honingh, Van Genugten en Van Montfort constateren in hun bijdrage aan dit themanummer. En tenslotte kan ook het gebrek aan kennis over en ervaring met effectevaluaties onder inspecteurs een belangrijke drempel zijn om ermee aan de slag te gaan.
Wat alle auteurs in dit dubbeldikke themanummer bindt, is dat zij zich niet door deze uitdagingen uit het veld lieten slaan, maar juist aan de slag gingen om deze het hoofd te bieden. Daarbij zien we dat iedere auteur de uitdagingen op eigen wijze heeft benaderd en dat dit leidt tot nieuwe manieren van aanpak en nieuwe inzichten in de effectiviteit van toezichtinterventies. Zo beschrijven Van der Hel, Goslinga en Siglé in hun artikel de ontwikkeling van effectmeting bij de Belastingdienst. Op grond hiervan komen ze tot een aantal conclusies en aanbevelingen over effectmeting van toezicht. We lichten er hier twee uit. Ten eerste zien ze een toenemende aandacht voor de beleidstheorie achter het toezicht en daarbij pleiten ze ervoor om deze vaker ook visueel weer te geven. Dit is inderdaad een mooie ontwikkeling. De theorie achter het toezicht is een belangrijk aanknopingspunt als het gaat om de effecten van toezicht. Honingh, Van Genugten en Van Montfort gebruiken in hun bijdrage ook de beleidstheorie als startpunt. Zij vragen zich daarbij af of een simpele keten van oorzaak en gevolg wel recht doet aan de variatie en dynamiek in de praktijk. Ze onderzochten dit voor het vernieuwde toezicht in het onderwijs en pasten hierbij een methode uit de systeemdynamica toe: group model building. Met deze methode werd een veelheid aan mechanismen, effecten en loops blootgelegd die meeromvattend bleek dan de oorspronkelijke lineaire beleidstheorie. In lijn met de aanbeveling van Van der Hel, Goslinga en Siglé wordt deze ook visueel gepresenteerd. Niet in de vom van een boom of keten, maar in de vorm van een diagram waarin de verschillende oorzaak-gevolgrelaties worden weergegeven. Daarmee komen ook onbedoelde en soms ongewenste effecten naar voren. Deze methode lijkt meer recht te doen aan de variatie tussen onderwijsorganisaties, de verschillende definities van onderwijskwaliteit en de variatie in de onderlinge relaties tussen variabelen dan de oorspronkelijke lineaire beleidstheorie. Daarmee maakt deze methode de complexiteit van de praktijk inzichtelijk en laat het zien dat de doorwerking en effecten van interventies soms anders uitpakken dan verwacht.
Ten tweede pleiten Van der Hel, Gislinga en Sigé ervoor om vaker bestaande data te benutten voor effectmeting. Ook Wilsem en De Sonnaville bepleiten dit in hun column ‘Meer doen met data’ Zij onderzochten in hoeverre bestaande data over milieucriminaliteit in twee systemen bruikbaar zijn voor effectmeting. Hun onderzoek laat zien dat deze data heel bruikbaar kunnen zijn om meer zicht te krijgen op de effecten van toezicht. Tegelijkertijd geven ze aan dat er door gebrekkige kwaliteit van de data ook veel kansen verloren gaan om meer zich te krijgen op de effecten van toezicht op milieucriminialiteit. Zo zijn adresgegevens lang niet altijd op orde en is bijvoorbeeld niet te achterhalen hoe vaak een bedrijf is geïnpecteerd. Ze houden daarom een warm pleidooi voor aandacht voor datakwaliteit.
Maar wat als er geen data van goede kwaliteit aanwezig zijn en ook het opzetten van een experiment om deze data te verzamelen niet mogelijk of wenselijk is? Kun je dan ook op een meer kwalitatieve manier inzicht krijgen in de maatschappelijke effecten van het toezicht? Deze vragen komen aan de orde in het artikel van Jansen en Tanihatu. Zij beschrijven hun zoektocht naar de meerwaarde van kwalitatief onderzoek om effecten van een aantal voorlichtingsinterventies van de NVWA bij tattooshops te bepalen. Hoewel ze tijdens deze zoektocht tegen beperkingen aanliepen, verzamelden ze door het inzetten van enquêtes en interviews onder tatoeëerders toch waardevolle inzichten in de effecten van de interventies. Deze inzichten kunnen worden gebruikt om de interventie aan te passen.
Het artikel ‘Aandacht voor wat werkt’ van Bomhoff e.a. laat zien dat er veel geleerd kan worden over de effectiviteit van toezicht aan de hand van concrete ervaringen van inspecteurs uit de praktijk. Bijvoorbeeld door als toezichthouder naderhand nog eens terug te gaan en open het gesprek aan te gaan met de doelgroep. Daarnaast laten Bomhoff e.a. zien dat het belangrijk is om binnen de toezichtorganisatie het gesprek over effecten en effectiviteit aan te gaan. Dit zorgt niet alleen voor een gedeeld beeld over de (gewenste) effectiviteit, maar ook voor enthousiasme en nieuwe en praktische ideeën om meer zicht te krijgen op de effecten van het toezicht.
Ook bij de Autoriteit Financiële Markten (AFM) is men zich bewust van de meerwaarde van aandacht voor kennis over effecten onder de medewerkers. Zij stimuleren dit met een aantal initiatieven die Zijlstra, Gibbs en Ishwardat in hun beschrijving van de effectmeting bij de AFM toelichten. Een belangrijke boodschap hierbij is dat kwantitatief meten een pre is maar dat het ook al heel mooi is als je als toezichthouder je effect op een meer kwalitatieve manier plausibel kunt maken. Kortom, net als Jansen en Tanihatu pleiten zij ervoor om te focussen op wat kán en minder op wat niet kan.
Ook de manier waarop toezichthouders naar hun toezichtobject kijken heeft effect. Daarover gaat het proefschrift van De Kam. Specifiek beschrijft hij de effecten van het inspecteerbaar maken van de begrippen kwaliteit en veiligheid in de zorg. De manier waarop we toezicht houden op de kwaliteit en veiligheid van zorg en hoe we dit meetbaar maken bepaalt mede wat we onder kwaliteit en veiligheid van zorg verstaan. Het proefschrift laat zien dat het goed is om je daarvan bewust te zijn mede omdat de manier van kijken en de neiging om zaken objectief en meetbaar te maken ook ongewenste effecten kunnen hebben. De ondertoezichtstaande kan zich dan vooral gaan richten op het administratief voldoen aan de meetbare eisen en de kwaliteit zelf kan uit beeld raken zoals bijvoorbeeld bleek uit onderzoek naar toezicht op de kinderopvang en het onderwijs.⁸x J. de Ridder, Toezicht op de kinderopvang, Rijksuniversiteit Groningen 2012.^,⁹x L. Borghans & T. Schils, De invloed van opbrengstindicatoren op het functioneren van scholen in het primair onderwijs, Universiteit Maastricht 2015.
De Notenkraker van De Rond in dit nummer gaat over de toetsing van het evenredigheidsbeginsel. Het is belangrijk dat we ons blijven realiseren dat er meer aspecten van belang zijn bij het handelen van een toezichthouder dan alleen de effectiviteit.

De bijdragen in dit themanummer laten zien dat effectmeting een breed palet aan methoden kan beslaan. We zien voorbeelden van een kwantitatief veldexperiment en van data-analyse en voorbeelden waarbij toezichthouders op een meer kwalitatieve manier aan de slag zijn met het meten van effecten. Bijvoorbeeld door de theorie achter het toezicht in beeld te brengen en nog eens kritisch tegen het licht te houden of door op een kwalitatieve manier via enquêtes of interviews meer zicht te krijgen op de effecten van een interventie bij de doelgroep. Of door simpelweg als inspecteur vaker het gesprek aan te gaan met de ondertoezichtstaande. We zien dat ook dit soort meer kwalitatieve benaderingen leidt tot nieuwe inzichten en leren. Ze vormen daarmee een mooie aanvulling op de inzichten die uit een meer kwantitatieve benadering naar voren komen. Wellicht de belangrijkste les die we kunnen leren uit de diverse bijdragen in dit themanummer is dat het belangrijk is om in de organisatie van de toezichthouder het gesprek aan te gaan en beelden uit te wisselen over effectmeting. Dat zorgt voor een meer gedeeld beeld en enthousiasme over het ‘meten’ van effecten en daarmee ook creatieve initiatieven om meer zicht te krijgen op de effecten van het toezicht.
We hopen dat dit nummer veel toezichthouders inspireert om hun effecten te onderzoeken en analyseren en daarvan te leren, hetzij op een kwantitiatieve hetzij op een kwalitatieve manier. En om ook die opbrengsten van toezicht te delen met collega-toezichthouders, onderzoekers en inspecteurs, bijvoorbeeld via publicaties, bijeenkomsten of op het speciale netwerkplatform voor toezichthouders, Netwerk Publiek Toezicht.¹⁰x https://netwerk.publiektoezicht.nl/welcome/homepage. Meer inzicht in de effecten van toezicht maakt het mogelijk om interventies effectiever in te zetten. En minstens zo belangrijk: het maakt het mogelijk de buitenwereld te laten zien op welke manier toezichthouders een maatschappelijke bijdrage leveren.

Noten

1 Zie o.m. WRR, Toezien op publieke belangen. Naar een verruimd perspectief op rijkstoezicht (WRR-rapport nr. 89), 2013.
2 Kamerstukken II 2004/05, 30050, nr. 2, Rapport Algemene Rekenkamer, Handhaven en gedogen.
3 Inspectieraad, Brief van 10 december 2020 betreffende de Evaluatie Aanwijzingen inzake rijksinspecties. Tweede brief Evaluatie Aanwijzingen inzake rijksinspecties.
4 M.K. Sparrow, The Character of Harms, Cambridge: Cambridge University Press 2008.
5 Bijvoorbeeld Centrum voor Criminaliteitspreventie en Veiligheid (CVV), Effecten van toezicht en handhaving meten. Een handreiking, Utrecht: CCV 2011.
6 P. van der Knaap, ‘Effectiviteit van risicogestuurd toezicht’, in: Inspectieraad, Reflecties op de Staat van het toezicht, Den Haag 2019.
7 Zie ook P. Welp, M. Bokhorst & P. de Goede, ‘Effecten en evaluatie van toezicht’, in: F.J.H. Mertens, E.R. Muller & H.B. Winter, Toezicht. Inspecties en autoriteiten in Nederland, Deventer: Wolters Kluwer 2015, p. 87-108.
8 J. de Ridder, Toezicht op de kinderopvang, Rijksuniversiteit Groningen 2012.
9 L. Borghans & T. Schils, De invloed van opbrengstindicatoren op het functioneren van scholen in het primair onderwijs, Universiteit Maastricht 2015.
10 https://netwerk.publiektoezicht.nl/welcome/homepage.