Onder andere de Wetenschappelijke Raad voor het Regeringsbeleid bepleit dat toezichthouders de maatschappelijke opbrengsten van hun werk centraler stellen in hun beleid. Dat maakt het inzicht in de effecten van hun handelen steeds belangrijker. Dat geldt ook voor de Belastingdienst. Dit artikel beschrijft hoe het evalueren van de effecten van de handhaving door de Belastingdienst zich de afgelopen jaren heeft ontwikkeld en welke lessen daaruit zijn te leren over het meten van effecten door toezichthouders. Wij stellen vast dat sprake is van een toenemende aandacht voor evaluaties in het fiscale domein, maar dat effectmeting nog geen integraal onderdeel is van het werk van de Belastingdienst. Sommige van de geïdentificeerde uitdagingen zijn hardnekkig, maar bij andere – zoals het expliciteren van de beleidstheorie – zijn positieve ontwikkelingen zichtbaar. Toezichthouders zijn gebaat bij een systematisch en gestructureerd evaluatieproces dat is ingebed in de werkwijze van de toezichthouder en dat een samenhangend en onderbouwd resultaat van de uitgevoerde activiteiten laat zien om zo de toegevoegde waarde van het toezicht inzichtelijk te maken. Een strategie waar effectmeting onderdeel van is, een duidelijke visie op evalueren, centrale coördinatie, een evaluatieagenda en kortcyclisch evalueren helpen naar ons idee om beter in te spelen op hetgeen het toezicht in de huidige tijd vraagt en om tegelijkertijd de uitdagingen die kleven aan het uitvoeren van effectmetingen beter het hoofd te kunnen bieden.

Als het gaat om de effecten van het toezicht, hebben inspecteurs zelf ook vragen. Wat werkt, waarom en voor wie en in welke situatie? Voor het verbeteren van de kwaliteit van het toezicht is het belangrijk dat inspecteurs zulke vragen lerend kunnen onderzoeken. Zij kunnen signaleren wat in een bepaalde context wel of niet lijkt te werken en zij kunnen passende verbetervoorstellen ontwikkelen en toepassen. In het ‘Aandacht voor wat werkt’-project vormde de nieuwsgierigheid van inspecteurs het startpunt. De vijf samengestelde verhalen laten zien hoe inspecteurs onderzoekend kunnen leren en wat daar voor nodig is op het niveau van de inspecteur en de inspectieorganisatie.

Met het vernieuwde toezicht wil de Inspectie van het Onderwijs (IvhO) besturen en scholen blijvend en nadrukkelijker stimuleren. Van onderwijsorganisaties wordt verwacht dat zij verantwoordelijkheid nemen voor de onderwijskwaliteit in hun scholen. Bij de evaluatie van het vernieuwde toezicht van de Inspectie van het Onderwijs (IvhO) hebben we een mixed methods-aanpak gehanteerd waarbij we kwantitatieve en kwalitatieve mehtoden hebben gecombineerd. Een belangrijk onderdeel van het kwalitatieve deel van het onderzoek werd gevormd door group model building (gmb), een methodiek uit de systeemdynamica. Deze methodiek maakt het mogelijk om de dynamiek die ontstaat binnen de onderwijsorganisaties als gevolg van het vernieuwde toezicht in beeld te brengen. In dit artikel geven we inzicht in de methodologische onderbouwing van het gebruik van gmb en laten we zien hoe we de uitkomsten van deze methodiek hebben gebruikt bij toetsing van de beleidstheorie achter het vernieuwde toezicht. Daarmee bieden we inzicht in de waarde en bruikbaarheid van de methode van gmb om effecten van toezicht zichtbaar te maken. De methode van group model building helpt hierbij omdat (1) deze methodiek ruimte biedt om effectiviteit breed op te vatten en mee te nemen in de analyse en (2) gmb de mogelijkheid biedt om het systeem als geheel en de onderliggende interacties in beeld te krijgen.

Het uitvoeren van effectmetingen door toezichthouders draagt bij aan evidence based toezicht. In de praktijk lopen toezichthouders tegen o.a. ethische, methodologische en praktische uitdagingen aan en is het vaak niet mogelijk om causaliteit aan te tonen. Met een praktijkvoorbeeld toont de NVWA aan dat het streven naar beredeneerde plausibiliteit een werkbaar en pragmatisch alternatief is. De NVWA kiest voor mixed methods in haar onderzoek naar de effectiviteit van een interventiemix op de naleving. Een belangrijke les is dat het combineren van kwantitatieve en kwalitatieve onderzoeksmethoden leidt tot complementaire inzichten en goed kan aansluiten op de onvoorspelbare praktijk van een toezichthouder.

In deze bijdrage beschrijven de auteurs hoe de AFM effectmetingen wil stimuleren en faciliteren. Vooral de effectprijs en de module effectmeting in een interne opleiding lijken succesvol. Andere toezichthouders kunnen mogelijk leren van de ervaringen bij de AFM.

In de serie ‘in gesprek met een pas gepromoveerde onderzoeker’ geven we aandacht aan promotieonderzoeken die voor toezichthouders relevant zijn. Hiervoor interviewen we als redactie van het Tijdschrift voor Toezicht (recent) gepromoveerde onderzoekers over hun onderzoek en de betekenis ervan voor het toezicht.
In dit interview spraken Anna Merz en Pieter Welp, redacteuren van het Tijdschrift voor Toezicht, met David de Kam, die in 2020 promoveerde aan de Erasmus Universiteit Rotterdam op zijn onderzoek naar de wijze waarop de Inspectie Gezondheidszorg en Jeugd de kwaliteit en veiligheid van zorg inspecteerbaar maakt en welke effecten dit heeft. David werkt momenteel als onderzoekscoördinator bij het ministerie van Sociale Zaken en Werkgelegenheid.

In drie uitspraken van 2 februari 2022 gaat de Grote Kamer van de Afdeling bestuursrechtspraak van de Raad van State in op de evenredigheidstoetsing bij discretionaire besluiten. Dat wil zeggen de wijze waarop een bestuursrechter deze besluiten toetst aan het evenredigheidsbeginsel als neergelegd in artikel 3:4 lid 2 Awb, en de indringendheid van die toetsing. Uit deze uitspraken volgt dat de evenredigheidstoetsing plaatsvindt aan de hand van een ‘glijdende schaal’, waarbij afhankelijk van de omstandigheden van het geval de intensiteit van de toetsing meer of minder groot zal zijn. De door de staatsraden gesuggereerde, standaard toe te passen driestapstoets wordt niet overgenomen, al volgt tegelijk wel uit de uitspraak dat in de praktijk vaak zal worden getoetst of het bestreden besluit noodzakelijk en/of geschikt is. In ieder geval zal worden beoordeeld of het besluit in kwestie evenwichtig is. In deze notenkraker wordt stilgestaan bij de uitspraken en enkele observaties en vragen die daarmee samenhangen. Ook worden enkele recente ontwikkelingen met betrekking tot de evenredigheidstoetsing besproken. Aan de hand daarvan wordt de (voorlopige) balans opgemaakt ten aanzien van de vraag of de uitspraken tot een andere, indringender toetsing van bestuurlijke maatregelen leiden.