In de serie ‘in gesprek met een pas gepromoveerde onderzoeker’ geven we aandacht aan promotieonderzoeken die voor toezichthouders relevant zijn. Hiervoor interviewen we als redactie van het Tijdschrift voor Toezicht (recent) gepromoveerde onderzoekers over hun onderzoek en de betekenis ervan voor het toezicht.
In dit interview spraken Anna Merz en Pieter Welp, redacteuren van het Tijdschrift voor Toezicht, met David de Kam, die in 2020 promoveerde aan de Erasmus Universiteit Rotterdam op zijn onderzoek naar de wijze waarop de Inspectie Gezondheidszorg en Jeugd de kwaliteit en veiligheid van zorg inspecteerbaar maakt en welke effecten dit heeft. David werkt momenteel als onderzoekscoördinator bij het ministerie van Sociale Zaken en Werkgelegenheid.

Als het gaat om de effecten van het toezicht, hebben inspecteurs zelf ook vragen. Wat werkt, waarom en voor wie en in welke situatie? Voor het verbeteren van de kwaliteit van het toezicht is het belangrijk dat inspecteurs zulke vragen lerend kunnen onderzoeken. Zij kunnen signaleren wat in een bepaalde context wel of niet lijkt te werken en zij kunnen passende verbetervoorstellen ontwikkelen en toepassen. In het ‘Aandacht voor wat werkt’-project vormde de nieuwsgierigheid van inspecteurs het startpunt. De vijf samengestelde verhalen laten zien hoe inspecteurs onderzoekend kunnen leren en wat daar voor nodig is op het niveau van de inspecteur en de inspectieorganisatie.

Onder andere de Wetenschappelijke Raad voor het Regeringsbeleid bepleit dat toezichthouders de maatschappelijke opbrengsten van hun werk centraler stellen in hun beleid. Dat maakt het inzicht in de effecten van hun handelen steeds belangrijker. Dat geldt ook voor de Belastingdienst. Dit artikel beschrijft hoe het evalueren van de effecten van de handhaving door de Belastingdienst zich de afgelopen jaren heeft ontwikkeld en welke lessen daaruit zijn te leren over het meten van effecten door toezichthouders. Wij stellen vast dat sprake is van een toenemende aandacht voor evaluaties in het fiscale domein, maar dat effectmeting nog geen integraal onderdeel is van het werk van de Belastingdienst. Sommige van de geïdentificeerde uitdagingen zijn hardnekkig, maar bij andere – zoals het expliciteren van de beleidstheorie – zijn positieve ontwikkelingen zichtbaar. Toezichthouders zijn gebaat bij een systematisch en gestructureerd evaluatieproces dat is ingebed in de werkwijze van de toezichthouder en dat een samenhangend en onderbouwd resultaat van de uitgevoerde activiteiten laat zien om zo de toegevoegde waarde van het toezicht inzichtelijk te maken. Een strategie waar effectmeting onderdeel van is, een duidelijke visie op evalueren, centrale coördinatie, een evaluatieagenda en kortcyclisch evalueren helpen naar ons idee om beter in te spelen op hetgeen het toezicht in de huidige tijd vraagt en om tegelijkertijd de uitdagingen die kleven aan het uitvoeren van effectmetingen beter het hoofd te kunnen bieden.

In deze bijdrage beschrijven de auteurs hoe de AFM effectmetingen wil stimuleren en faciliteren. Vooral de effectprijs en de module effectmeting in een interne opleiding lijken succesvol. Andere toezichthouders kunnen mogelijk leren van de ervaringen bij de AFM.

In drie uitspraken van 2 februari 2022 gaat de Grote Kamer van de Afdeling bestuursrechtspraak van de Raad van State in op de evenredigheidstoetsing bij discretionaire besluiten. Dat wil zeggen de wijze waarop een bestuursrechter deze besluiten toetst aan het evenredigheidsbeginsel als neergelegd in artikel 3:4 lid 2 Awb, en de indringendheid van die toetsing. Uit deze uitspraken volgt dat de evenredigheidstoetsing plaatsvindt aan de hand van een ‘glijdende schaal’, waarbij afhankelijk van de omstandigheden van het geval de intensiteit van de toetsing meer of minder groot zal zijn. De door de staatsraden gesuggereerde, standaard toe te passen driestapstoets wordt niet overgenomen, al volgt tegelijk wel uit de uitspraak dat in de praktijk vaak zal worden getoetst of het bestreden besluit noodzakelijk en/of geschikt is. In ieder geval zal worden beoordeeld of het besluit in kwestie evenwichtig is. In deze notenkraker wordt stilgestaan bij de uitspraken en enkele observaties en vragen die daarmee samenhangen. Ook worden enkele recente ontwikkelingen met betrekking tot de evenredigheidstoetsing besproken. Aan de hand daarvan wordt de (voorlopige) balans opgemaakt ten aanzien van de vraag of de uitspraken tot een andere, indringender toetsing van bestuurlijke maatregelen leiden.

Het uitvoeren van effectmetingen door toezichthouders draagt bij aan evidence based toezicht. In de praktijk lopen toezichthouders tegen o.a. ethische, methodologische en praktische uitdagingen aan en is het vaak niet mogelijk om causaliteit aan te tonen. Met een praktijkvoorbeeld toont de NVWA aan dat het streven naar beredeneerde plausibiliteit een werkbaar en pragmatisch alternatief is. De NVWA kiest voor mixed methods in haar onderzoek naar de effectiviteit van een interventiemix op de naleving. Een belangrijke les is dat het combineren van kwantitatieve en kwalitatieve onderzoeksmethoden leidt tot complementaire inzichten en goed kan aansluiten op de onvoorspelbare praktijk van een toezichthouder.

Met het vernieuwde toezicht wil de Inspectie van het Onderwijs (IvhO) besturen en scholen blijvend en nadrukkelijker stimuleren. Van onderwijsorganisaties wordt verwacht dat zij verantwoordelijkheid nemen voor de onderwijskwaliteit in hun scholen. Bij de evaluatie van het vernieuwde toezicht van de Inspectie van het Onderwijs (IvhO) hebben we een mixed methods-aanpak gehanteerd waarbij we kwantitatieve en kwalitatieve mehtoden hebben gecombineerd. Een belangrijk onderdeel van het kwalitatieve deel van het onderzoek werd gevormd door group model building (gmb), een methodiek uit de systeemdynamica. Deze methodiek maakt het mogelijk om de dynamiek die ontstaat binnen de onderwijsorganisaties als gevolg van het vernieuwde toezicht in beeld te brengen. In dit artikel geven we inzicht in de methodologische onderbouwing van het gebruik van gmb en laten we zien hoe we de uitkomsten van deze methodiek hebben gebruikt bij toetsing van de beleidstheorie achter het vernieuwde toezicht. Daarmee bieden we inzicht in de waarde en bruikbaarheid van de methode van gmb om effecten van toezicht zichtbaar te maken. De methode van group model building helpt hierbij omdat (1) deze methodiek ruimte biedt om effectiviteit breed op te vatten en mee te nemen in de analyse en (2) gmb de mogelijkheid biedt om het systeem als geheel en de onderliggende interacties in beeld te krijgen.

In de serie ‘in gesprek met een pas gepromoveerde onderzoeker’ geven we aandacht aan promotieonderzoeken die voor toezichthouders relevant zijn. Hiervoor interviewen we als redactie van het Tijdschrift voor Toezicht (recent) gepromoveerde onderzoekers over hun onderzoek en de betekenis ervan voor het toezicht.
In dit interview spraken Anna Merz en Pieter Welp, redacteuren van het Tijdschrift voor Toezicht, met Noortje de Boer die in 2020 promoveerde aan de Erasmus Universiteit Rotterdam op haar onderzoek naar het effect van transparantie op uitvoerende toezichthouders. Zij werkt momenteel bij de vakgroep Public Governance and Management aan de Universiteit Utrecht.

Een denkfout (of bias) ontstaat wanneer mensen op basis van aannames onbewust een verkeerde conclusie trekken. Onder toezichthouders (N_totaal = 339) is onderzocht in hoeverre zij een potentiële ‘blinde vlek’ vertonen voor hun eigen denkfouten en hoe deze blinde vlek kan worden beïnvloed. Uit dit onderzoek bleek dat toezichthouders inderdaad inschatten dat denkfouten meer bij anderen voorkomen dan bij henzelf, en dat zelfwaargenomen objectiviteit deze blinde vlek kan vergroten. Ook bleek dat toezichthouders die waakzamer zijn in mindere mate een blinde vlek hebben voor hun eigen denkfouten. Toezichthouders geruststellen over het risico op denkfouten in de besluitvorming maakte hen juist minder waakzaam.

Voor deze aflevering van het estafette-interview spraken Marije Batting, Jeroen Goudsmit en Maaike Feenstra namens de redactie met Maarten Ruys (interim-inspecteur-generaal) en Pauline den Ambtman (directeur strategie) van de Nederlandse Voedsel en Warenautoriteit (NVWA).¹x Het gesprek vond plaats op 11 mei 2021. Mede naar aanleiding van de estafettevraag van Marian Kaljouw (voorzitter van de raad van bestuur van de Nederlandse Zorgautoriteit (NZa)) en Karina Raaijmakers (directeur toezicht en handhaving NZa), die de redactie interviewde voor nummer 2021-2 van Tijdschrift voor Toezicht, spraken wij met Maarten en Pauline over de uitdagingen waar de NVWA als toezichthouder voor staat en de ontwikkelingen die de NVWA de komende jaren wil doormaken.

Noten

• * De redactie van Tijdschrift voor Toezicht dankt Maaike Feenstra hartelijk voor haar bijdrage aan het interview.

• 1 Het gesprek vond plaats op 11 mei 2021.

In deze bijdrage wordt een overzicht gegeven van de wijzigingen voor het interne toezicht door de WBTR en de Wtza. Het blijkt niet alleen te draaien om een wijziging van de regels, maar ook om de invulling van die regels. Dit kan worden gezien als modernisering van het intern toezicht.

Deze notenkraker bespreekt de uitspraak van de Afdeling van 9 september 2020. In die zaak komt appellant op tegen het voornemen tot openbaarmaking van een onderzoeksrapport. Hangende de procedure wordt datzelfde rapport echter ten grondslag gelegd aan een tevens openbaar gemaakt sanctiebesluit. Door die dubbele openbaarmaking van hetzelfde rapport wordt appellant onevenredig benadeeld. Alleen de openbaarmaking van een zakelijke samenvatting van het rapport zonder opname van tot de persoon herleidbare gegevens is gerechtvaardigd. Zo wordt de praktijk van ‘dubbele’ bekendmakingen van onderzoeksrapporten door de Afdeling over de band van artikel 10 lid 2 aanhef en onder g Wob ingeperkt.