Systematisch literatuuronderzoek:

De toegevoegde waarde van een scoping review voor juridisch literatuuronderzoek

Loran Kostense

Mr. Loran Kostense is PhD-student at the Faculty of Law at the Vrije Universiteit (VU) Amsterdam, The Netherlands.

Systematisch literatuuronderzoek

In some scientific fields, such as the medical and social sciences, systematic literature reviews are frequently conducted. A systematic search for literature minimizes the risk of overlooking information or drawing conclusions based on an incomplete overview. This article focuses on a type of systematic literature reviews, the scoping review method, that may be of interest to legal scholars. This method can be used to answer an exploratory research question aimed at identifying important concepts or knowledge gaps by systematically searching, selecting and synthesizing literature. In seven steps, following the PRISMA guideline, the scoping review method is outlined. Concrete examples are outlined using a case example: a scoping review on divorce-related relocations in the context of doctoral research at the Vrije Universiteit Amsterdam.

Introductie

1.

In dit artikel wordt besproken wat de mogelijke voordelen zijn van het uitvoeren van een systematische literatuurstudie voor rechtswetenschappers, waarbij de focus ligt op de scoping review-methode. In andere vakgebieden, zoals in de medische en sociale wetenschappen, maken onderzoekers al jaren gebruik van dergelijke methoden. De meerwaarde van de scoping review-methode voor juridische academici wordt belicht, in de hoop juristen te enthousiasmeren over de toepassing ervan binnen het juridische domein. Ten slotte worden er praktische handvatten geboden om met de methode aan de slag te gaan. Alvorens deze stappen te doorlopen, zal de scoping review-methode in een bredere context worden geplaatst (paragrafen 1.1 tot en met 1.3).
Eerst wordt aandacht besteed aan de relevantie en motivatie voor het uitvoeren van systematisch literatuuronderzoek, door te bespreken op welke manier bias een rol kan spelen in deze context (paragraaf 1.1). Hierna wordt uitgelegd wat systematisch literatuuronderzoek behelst (paragraaf 1.2) en waarom juist de scoping review-methode geschikt kan zijn voor juristen (paragraaf 1.3). Concrete voorbeelden bij de onderzoeksstappen worden in dit artikel uitgewerkt aan de hand van een case example: een scoping review over scheidingsgerelateerde verhuizingen, die geïntroduceerd wordt (zie paragraaf 1.4). Vervolgens worden de stappen van de methode en de praktische aanpak van een scoping review uiteengezet (paragraaf 2). Ten slotte wordt in de conclusie teruggekomen op het belang van de onderzoeksmethode en wordt gereflecteerd op het gebruik hiervan door rechtswetenschappers (paragraaf 3).

Het risico op bias

1.1

In het digitale tijdperk is het soms lastig te onderscheiden welke informatie waar is en welke onjuist is. Er is online een overvloed aan informatie te vinden, waarvan het moeilijk is om de betrouwbaarheid te beoordelen. Het menselijk brein bevat bovendien potentiële categorisatiemechanismen die het zoeken naar waarheidsgetrouwe informatie kunnen bemoeilijken. Zo hebben mensen bijvoorbeeld de neiging om meer waarde te hechten aan bewijs dat de eigen overtuigingen ondersteunt dan aan daarmee tegenstrijdige informatie, wat de confirmation bias wordt genoemd (bijvoorbeeld MacCoun, 1998, p. 269; Westerwick, Johnson & Knobloch-Westerwick, 2017, p. 343). Hierdoor wordt niet alleen het zoeken naar betrouwbare informatiebronnen bemoeilijkt, maar bestaat ook het risico dat de verkregen ware informatie terzijde wordt geschoven als deze niet correspondeert met de eigen overtuigingen.
Deze confirmation bias kan er in de context van literatuuronderzoek voor zorgen dat academisch bewijs dat de eigen overtuigingen tegenspreekt, bewust of onbewust, wordt gebagatelliseerd (Badke, 2018, p. 5). Waar in de wetenschap wordt gestreefd naar objectiviteit, waarbij onderzoekers eerlijk, zorgvuldig, transparant, onafhankelijk en verantwoordelijk te werk dienen te gaan (KNAW e.a., 2018, p. 7), laat onderzoek zien dat cognitieve biases een grote rol kunnen spelen bij vaardigheden die relevant zijn voor wetenschappers, zoals het zoeken en onthouden van bepaalde kennis of het beoordelen van informatie (Dror, 2020, p. 7998). In sommige gevallen komt het, volgens Van Dijck, Snel en Van Golen voor dat ‘de meest gezaghebbende onderzoekers bronnen over het hoofd zien of alleen verwijzen naar publicaties uit eigen land of onderzoekers binnen het eigen netwerk’ (2018, p. 40). Aangezien wetenschappers zelf het onderzoeksinstrument zijn, is het van belang dat zij zich bewust zijn van dergelijke valkuilen en dat zij het risico daarop proberen te minimaliseren.
Wanneer iemand niet op systematische wijze naar literatuur zoekt, bestaat het risico dat relevante informatie over het hoofd wordt gezien of dat ten onrechte bepaalde conclusies worden getrokken die zijn gebaseerd op een onvolledig overzicht. Een methode die in het juridische vakgebied veelvuldig wordt toegepast die gevoelig kan zijn voor willekeur is de sneeuwbalmethode. Hierbij worden de referenties van een artikel gebruikt om andere potentieel relevante publicaties te identificeren (Van Dijck, Snel & Van Golen, 2018, p. 40). Dit kan het risico met zich brengen dat publicaties met een andere of tegenstrijdige conclusie ontbreken.
De afgelopen decennia lijkt binnen het juridische academische veld een kentering plaats te hebben gevonden in gehanteerde onderzoeksmethoden (Van Gestel, Micklitz & Maduro, 2012, p. 12), waarbij de interesse voor een meer systematische aanpak lijkt te zijn gegroeid (Verbruggen, 2021, p. 18). Wat begon met kritiek op het ontbreken van een methodologische verantwoording (Stolker, 2003; Tijssen, 2006), lijkt ervoor te hebben gezorgd dat een deel van de rechtswetenschappers meer waarde hecht aan een methodologische verantwoording in onderzoek dat zich kenmerkt als ‘systematisch’ (Snel, 2016, p. 123). Toch duurt de discussie voort of het voor juridische academici altijd noodzakelijk is om de gebruikte methode expliciet te maken en te verantwoorden (Taekema & Van Klink, 2011, p. 3). Het ‘methodendebat’ lijkt niet in alle gevallen geleid te hebben tot een betere methodologische verantwoording in juridisch onderzoek (Taekema & Van Klink, 2023, p. 20). Om een impuls te geven aan het op systematischer wijze uitvoeren van juridisch literatuuronderzoek, om zo het risico op bias te verkleinen, wordt in dit artikel praktisch beschreven hoe rechtswetenschappers dit kunnen uitvoeren.

Wat is systematisch literatuuronderzoek?

1.2

Systematisch literatuuronderzoek, waarbij wordt getracht het risico op bias te minimaliseren, betreft een goed georganiseerd en zorgvuldig uitgevoerd proces. Hierbij wordt gericht op het genereren van een compleet overzicht van relevante studies, waarbij de onderzoeksdoelen en gebruikte onderzoeksmethoden expliciet gemaakt worden (Uman, 2011, p. 4). Er ligt een sterke nadruk op volledigheid, transparantie over gebruikte methoden en reproduceerbaarheid (Mays, Roberts & Popay, 2001, p. 189). De voordelen hiervan zijn evident: het is een transparant, valide, herhaalbaar en betrouwbaar proces (Assendelft, Scholten & Bouter, 2003, p. 91). Er bestaan verschillende vormen van systematisch literatuuronderzoek, die verschillen naar gelang de doelstelling van het onderzoek en naar de aard van de te analyseren literatuur. Twee van deze methoden worden hierna (beknopt) aangehaald, om de scoping review-methode binnen een context te kunnen plaatsen. Dit betreft achtereenvolgens de systematic review en de meta-analyse.[1]
Een onderzoeksmethode die veelvuldig wordt gebruikt om op systematische wijze een zo volledig mogelijk wetenschappelijk literatuuroverzicht te creëren is een systematic review. Een dergelijke review beantwoordt met behulp van expliciete en reproduceerbare methoden een specifieke onderzoeksvraag om resultaten van primaire onderzoeken te identificeren, kritisch te beoordelen en samen te voegen (Pollock & Berge, 2018, pp. 138-139). Een systematic review wordt bijvoorbeeld binnen de geneeskunde gebruikt om de werking van een interventie of behandeling systematisch te onderzoeken (bijvoorbeeld Hartley, Raphael, Lovell & Berry, 2020; Indekneu, Maas, McCormick, Benward & Scheib, 2021). Deze methode verschilt van een scoping review in het type onderzoeksvragen en het vereiste dat de geïncludeerde literatuur systematisch en kritisch wordt beoordeeld.[2] Gecombineerd met een systematic review of opzichzelfstaand kan een meta-analyse worden uitgevoerd. Dit is een statistische techniek die gangbaar is binnen de medische en sociale wetenschappen, waarbij onderzoekers een kwantitatieve samenvatting maken van de resultaten van afzonderlijke studies en deze systematisch worden weergegeven. Hiermee kan een betrouwbaardere schatting worden gemaakt van het overkoepelende effect van de onderzochte variabelen of interventies (Borenstein, Hedges, Higgins & Rothstein, 2021, p. 12).
Voor dergelijke systematische literatuuronderzoeken bestaan vooropgezette geformaliseerde onderzoeksstappen. Zo is de Cochrane Handbook for Systematic Reviews of Interventions (Higgins e.a., 2019) gangbaar binnen de medische wetenschappen. Binnen de sociale en economische wetenschappen wordt vaak de richtlijn van de Campbell Collaboration gevolgd.[3] PRISMA is een collectief van wetenschappers dat een veelgebruikte richtlijn heeft opgesteld voor het transparant rapporteren van systematisch literatuuronderzoek (Page e.a., 2021).[4] Deze richtlijn is bekend en veelgebruikt in diverse vakgebieden (zoals in de medische en sociale wetenschappen), lijkt het meest geschikt voor praktische toepassing in het juridische vakgebied en is daarmee in het kader van dit artikel gevolgd.

Een scoping review als methode voor juridisch literatuuronderzoek

1.3

Het uitvoeren van een systematic review of meta-analyse is in het juridische vakgebied (veelal) niet haalbaar. Dit komt onder meer door de aard van juridische artikelen, die vaak een beschrijvend of normatief karakter hebben.[5] Hierdoor kan de ‘methode’ van dit soort artikelen niet op systematische kritische wijze worden beoordeeld, aangezien deze niet is beschreven of omdat er überhaupt geen expliciete methode aan het schrijven van het artikel is voorafgegaan. In het geval van een scoping review doet dit probleem zich niet voor, omdat binnen deze methode de kwaliteit van de studies niet (noodzakelijk) systematisch beoordeeld wordt (Arksey & O’Malley, 2005, p. 18).[6]
Een scoping review is een vorm van systematisch literatuuronderzoek ter beantwoording van een verkennende onderzoeksvraag, die is gericht op het in kaart brengen van belangrijke concepten of het identificeren van kennishiaten in een bepaald kennisgebied door het systematisch zoeken, selecteren en synthetiseren van bestaande kennis (Colquhoun e.a., 2014, p. 1292). Het is een transparante methode die toepasbaar is bij artikelen die verschillend (Peters e.a., 2015. p. 142), meer beschrijvend of normatief van aard zijn en een brede onderzoeksvraag beantwoorden (Arksey & O’Malley, 2005, p. 4). Met deze scoping review-methode kunnen belangrijke concepten en theorieën worden geïdentificeerd, evenals de gebreken van bestaand onderzoek en hiaten in het veld (Jesson, Matheson & Lacey, 2011, p. 12). Dat geldt met name binnen complexe kennisgebieden of bij onderwerpen waarover nog niet eerder een uitgebreide review is geschreven (Mays, Roberts & Popay, 2001, p. 188). De scoping review is bij uitstek geschikt aan het begin van een onderzoeksproject, omdat het de huidige wetenschappelijke kennis over een onderwerp in kaart kan brengen.
In 2018 bracht PRISMA een richtlijn uit voor scoping reviews (Tricco e.a., 2018), waarna zij een stappenplan ontwikkelden voor het schrijven van een artikel dat de uitkomsten van een scoping review weergeeft.[7] Gebaseerd op dit stappenplan, zijn de zeven stappen van een scoping review (vereenvoudigd) weergegeven in figuur 1. Stap 1 bestaat uit het definiëren van een onderzoeksvraag en de bijbehorende onderzoeksdoelen. In stap 2 wordt het protocol opgesteld. Daarna kan de zoekopdracht worden uitgezet (stap 3), waarna een title/abstract-screening (hierna TA-screening) (stap 4) en de fulltext-screening (screening gebaseerd op de volledige tekst) worden uitgevoerd (stap 5). De fulltext-screening wordt aangevuld met de uitvoering van de sneeuwbalmethode. Daarna volgt een fase van data-extractie, waarin de relevante informatie vanuit de geïncludeerde artikelen wordt gedestilleerd (stap 6). Ten slotte kan de data in een zogenoemde datasynthese worden gevat, wat inhoudt dat de informatie wordt samengenomen en eventueel beschreven in een artikel (stap 7). De zeven onderzoeksstappen van de scoping review-methode zullen hierna nader worden toegelicht.

Figuur Figuur 1 Vereenvoudigde weergave van de stappen van een scoping review

Case example: Het verhuisonderzoek

1.4

Zoals hiervoor is aangegeven, worden de verschillende onderzoeksfasen (stappen) toegelicht aan de hand van concrete voorbeelden op basis van een door de auteur uitgevoerde scoping review. Dit betrof een scoping review met betrekking tot scheidingsgerelateerde verhuizingen, hierna genoemd het ‘verhuisonderzoek’. Dit verhuisonderzoek is in samenwerking met informatiespecialisten van de Vrije Universiteit (VU) Amsterdam uitgevoerd tussen augustus 2021 en december 2022, in de startfase van een promotieonderzoek. De zoekopdracht voor het onderzoek is op 9 augustus 2021 uitgevoerd door een informatiespecialist in relevante sociaalwetenschappelijke en juridische databanken.
De onderzoeksvraag van het verhuisonderzoek was de volgende: How is the impact on children of divorce-related relocation taken into consideration in judicial choices?[8] In het artikel dat naar aanleiding van dit onderzoek is geschreven ligt de nadruk op het empirische gedeelte van de onderzoeksvraag en daarmee op de vraag met betrekking tot de gevolgen van scheidingsgerelateerde verhuizingen op kinderen. De vraag met betrekking tot de overwegingen in rechterlijke beslissingen is in het artikel buiten beschouwing gelaten.[9] De onderzoeksvraag van het verhuisonderzoek leent zich bij uitstek voor de methode van een scoping review omdat het een verkennende vraag betreft, gesteld aan het begin van een omvangrijker onderzoeksproject. Op basis van deze scoping review is geïdentificeerd wat al bekend is en welke kennishiaten er zijn met betrekking tot de gevolgen van een scheidingsgerelateerde verhuizing voor de betrokken kinderen, waarna de verdere uitvoering van het promotieonderzoek een invulling heeft gekregen.

Praktische uitvoering: waar te beginnen?

2.

Hierna wordt ingegaan op de praktische uitvoering van de scoping review-methode. De zeven onderzoeksfasen, zoals weergegeven in figuur 1, worden stapsgewijs uitgewerkt. Allereerst dienen de onderzoeksvraag en de bijbehorende onderzoeksdoelen te worden opgesteld (stap 1). Aan deze stap wordt in dit artikel verder geen aandacht besteed, omdat dit een gebruikelijke stap is in wetenschappelijk onderzoek. Hierbij is het relevant om te noemen dat de scoping review-methode bij uitstek geschikt is om een verkennende onderzoeksvraag te beantwoorden die de stand van zaken in kaart tracht te brengen.
De tweede stap betreft het schrijven van een protocol. Het opstellen van een protocol houdt in dat een uitgebreid onderzoeksplan voor de scoping review wordt opgesteld (Peters e.a., 2015, p. 142). Het is voor een transparant onderzoeksproces van belang om dit protocol zorgvuldig uit te werken (Peters e.a., 2015, p. 144). Hierna kan de derde stap worden verricht: het uitvoeren van de zoekopdracht in de gekozen databanken.

Stappen 2 en 3: het protocol en de zoekopdracht

2.1

In het op te stellen protocol zijn de volgende onderdelen noodzakelijk: een theoretisch kader, de onderzoeksvraag met bijbehorende onderzoeksdoelen, een verantwoording van de gekozen onderzoeksmethode, de inclusie- en exclusiecriteria, een uitgebreide zoekstrategie (de zoekopdracht en gekozen databanken), een beschrijving van de manier van omgaan met het datamanagement, een uiteenzetting van de wijze waarop het selectieproces wordt uitgevoerd en de wijze van verwerking van de literatuur in de uiteindelijke datasynthese. De onderdelen die afwijken van regulier onderzoek en daarom uitleg behoeven, worden nader toegelicht.
In sommige vakgebieden is het gangbaar dat dit protocol in het kader van transparantie gepubliceerd wordt of anderszins online toegankelijk wordt gemaakt. In plaats daarvan is het ook mogelijk om – zoals in het verhuisonderzoek is gedaan – in het uiteindelijke artikel dat verschijnt op basis van de scoping review aan te geven dat het protocol kan worden opgevraagd bij de auteur.[10]
In het protocol dient een theoretisch kader te worden geschetst waarin het onderzoek wordt ingebed in de huidige literatuur. Daarnaast is het expliciet benoemen van de onderzoeksvraag en de onderzoeksdoelen relevant. Op basis daarvan dient tevens te worden beschreven waarom de scoping review-methode geschikt is voor het onderzoek. Vervolgens kan worden overgegaan naar de concrete inhoudelijke uitwerking van het onderzoek: het opstellen van de inclusie- en exclusiecriteria.

De inclusie- en exclusiecriteria

2.1.1

De selectiecriteria bieden een leidraad voor de onderzoeker om beslissingen te nemen over de artikelen die worden opgenomen in de scoping review. De criteria vormen de maatstaf aan de hand waarvan artikelen al dan niet worden geïncludeerd (Aveyard, 2010, p. 80). Deze vormen daarmee de basis voor het opstellen van de zoekopdracht.
Het is voor het opstellen van deze criteria van belang om nauwkeurig te formuleren welke informatie relevant is voor het beantwoorden van de onderzoeksvraag en onderzoeksdoelen. Denk hierbij aan inhoudelijke criteria die het onderwerp afbakenen en scherp concretiseren, maar ook aan praktische criteria zoals taalbeperkingen. Een praktisch criterium kan bijvoorbeeld zijn dat louter Nederlands- en Engelstalige artikelen worden geïncludeerd, aangezien de auteur literatuur in andere talen niet kan lezen. Het belangrijkste is dat de onderzoeker verantwoordt waarom de specifieke inclusie- en exclusiecriteria zijn gehanteerd (Snel & De Moraes, 2018, p. 47).
Een voorbeeld van de inclusie- en exclusiecriteria zoals deze zijn gehanteerd in het verhuisonderzoek is weergegeven in figuur 2. Om geïncludeerd te worden in het verhuisonderzoek, diende literatuur gericht te zijn op (de impact voor) kinderen, jongeren en adolescenten die een verhuizing rondom een (echt)scheiding hebben meegemaakt, of gericht te zijn op een beschrijving van de geldende wetgeving, een bespreking van wettelijke uitspraken, beslissingen, richtlijnen of ervaringen in dit kader. Daarnaast moest er sprake zijn geweest van een verhuisbeweging van een kind met (minimaal) één van de ouders in de context van een (echt)scheiding en richtte de review zich op binnenlandse verhuizingen.[11]

Figuur Figuur 2. Voorbeeld van inclusie- en exclusiecriteria binnen het verhuisonderzoek. Om zo dicht mogelijk bij het verhuisonderzoek te blijven zijn de inclusie- en exclusiecriteria in het Engels weergegeven en niet vertaald in het Nederlands.

De exclusiecriteria zien op artikelen die inhoudelijk samenhangen met het onderwerp maar niet relevant zijn voor de beantwoording van de onderzoeksvraag en daarom niet worden geïncludeerd. Denk hierbij bijvoorbeeld aan artikelen die over hetzelfde onderwerp gaan, maar een andere doelgroep betreffen. Het kan ook voorkomen dat er ruis ontstaat door het zoekscript, bijvoorbeeld doordat bepaalde termen overlappen met termen in een ander vakgebied (waarbinnen de term een andere inhoudelijke betekenis heeft). In dat geval dient er ter verduidelijking een exclusiecriterium te worden opgesteld.
Bij de selectiecriteria is het van belang om deze scherp en niet te ruim of te beperkt te formuleren. Enerzijds kan later in het onderzoeksproces blijken dat de criteria toch niet scherp genoeg waren, waardoor te veel of inhoudelijk irrelevante artikelen naar voren komen uit de zoekopdracht. In dat geval moet de onderzoeker de criteria aanscherpen. Anderzijds kan de zoekopdracht te beperkt zijn, waardoor bepaalde relevante artikelen niet uit de zoekopdracht volgen waarvan de onderzoeker weet dat deze er wél zijn. In dat geval kan de zoekopdracht te beperkt zijn geformuleerd en moet deze worden aangevuld. Het stap-voor-stap, soms vooruit en dan weer achteruit, concretiseren en verbeteren van de zoekopdracht is inherent aan het iteratieve proces van een scoping review (Aromataris & Rijtano, 2014, p. 49). Dit betekent dat het onderzoeksproces niet altijd in strikt chronologische volgorde wordt uitgevoerd, maar dat terug- of vooruitgesprongen kan worden naar andere stappen binnen het onderzoeksproces.

De zoekstrategie

2.1.2

Een volgend aspect dat in het protocol aan bod dient te komen is de beschrijving van de zoekstrategie. Dit houdt in dat een zoekopdracht wordt geformuleerd en een beslissing wordt gemaakt over in welke databanken deze zoekopdracht wordt uitgevoerd. In het kader hiervan is de eerste aanbeveling om hierover te overleggen en samen te werken met iemand die hier verstand van heeft (Aromataris & Rijtano, 2014, pp. 49-50). Bij de meeste universiteitsbibliotheken zijn informatiespecialisten werkzaam die kunnen helpen met, of in sommige gevallen verantwoordelijk zijn voor, de zoekstrategie en de uiteindelijke zoekopdracht.
Een zoekopdracht wordt ontwikkeld aan de hand van de inclusie- en exclusiecriteria en bestaat uit zoekwoorden met bijhorende synoniemen en combinaties van woorden die vereist zijn of juist woordcombinaties die worden uitgesloten. Een voorbeeld van de zoekopdracht zoals deze is gehanteerd in het verhuisonderzoek is afgebeeld in figuur 3. De ‘OR’ en ‘AND’ geven respectievelijk aan welke synoniemen meegenomen worden en welke combinatie van onderwerpen vereist is in een artikel.[13] De asterisk (*) valt onder de ‘jokertekens’ en zorgt ervoor dat verschillende vervoegingen van een woord uit de zoekopdracht komen, zodat niet onterecht bepaalde woorden worden uitgesloten.[14]

Figuur Figuur 3 Voorbeeld van (licht vereenvoudigde) zoekopdracht binnen het verhuisonderzoek Om zo dicht mogelijk bij het verhuisonderzoek te blijven is de zoekopdracht in het Engels weergegeven en niet vertaald in het Nederlands.

Meestal kent de zoekopdracht meerdere testrondes, waardoor deze aangescherpt en geperfectioneerd kan worden. Hierbij wordt de zoekopdracht in de beoogde databanken uitgevoerd, wordt bekeken hoe groot het aantal artikelen is en kan op globaal niveau worden bezien in hoeverre de gevonden literatuur aansluit bij de onderzoeksvraag. Een ideale zoekstrategie streeft naar zowel gevoeligheid als naar specificiteit. Een gevoelige zoekopdracht identificeert relevante resultaten, terwijl een specifieke zoekopdracht irrelevante resultaten uitsluit (Aromataris & Rijtano, 2014, p. 49).[16]

De databanken

2.1.3

Het kiezen van geschikte databanken is onderdeel van de zoekstrategie. Hierbij kan een informatiespecialist adviseren en is het van belang databanken te selecteren die aansluiten bij het onderzoeksonderwerp en bij de specifieke onderzoeksvraag. In het verhuisonderzoek is gekozen voor relevante sociaalwetenschappelijke databanken en de meest bekende en toonaangevende juridische databanken. Dit ging om de sociaalwetenschappelijke databanken Scopus, Web of Science (WoS), PsycInfo en de International Bibliography of the Social Sciences (IBSS). De gekozen juridische databanken waren Westlaw, LegalIntelligence (LI), NexisUni en een praktizijnsbibliotheek. Deze keuzes zijn gemaakt in overleg met de betrokken informatiespecialisten en zijn gebaseerd op de focus van de betreffende databanken en de gebruiksvriendelijkheid van de databanken voor het uitvoeren van een scoping review.
Wanneer gewerkt wordt met de verschillende databanken zal blijken dat de gebruiksvriendelijkheid voor het uitvoeren van systematisch literatuuronderzoek verschilt per databank. De sociaalwetenschappelijke databanken zijn zo ingericht dat het doen van systematisch literatuuronderzoek gemakkelijker is, maar het bleek bij de juridische databanken soms een uitdaging om de zoekopdracht uit te voeren aangezien de databanken hierop (nog) niet volledig zijn ingericht. Het zou een verbetering zijn als de databanken beter worden ingericht op het uitvoeren van dergelijk onderzoek.

De dataverwerking

2.1.4

In het protocol dient tevens te worden beschreven hoe om wordt gegaan met het datamanagement, de manier waarop het selectieproces uitgevoerd wordt en hoe gepland wordt de artikelen te verwerken in de uiteindelijke datasynthese. Dit betreft de TA-screening, fulltext-screening en data-extractie. De beschrijving van deze stappen wordt hierna, in paragraaf 2.2, uitgewerkt. De keuzes in dataverwerking dienen weloverwogen te zijn en duidelijk te worden weergegeven in het protocol.

Het uitvoeren van de zoekopdracht

2.1.5

Nadat het protocol is opgesteld, kan worden gestart met het daadwerkelijke onderzoek. Hierbij wordt de zoekopdracht in de gekozen databanken uitgevoerd, waaruit vervolgens de artikelen volgen die in het onderzoek dienen te worden beoordeeld. In sommige gevallen zal een informatiespecialist de zoekopdracht uitvoeren en krijgt de onderzoeker de resultaten; in andere gevallen doet de onderzoeker dit zelf.

Stappen 4 en 5: het beoordelen van de artikelen

2.2

Nadat de zoekopdracht is uitgevoerd beschikt de onderzoeker over de resultaten in de vorm van een in omvang variërend aantal artikelen. Het aantal artikelen varieert in grootte op basis van de onderzoeksvraag en de scherpte van de inclusie- en exclusiecriteria. Deze artikelen dienen eerst op basis van de titel en abstract (hierna: samenvatting) (paragraaf 2.2.1), en vervolgens op basis van de volledige tekst (paragraaf 2.2.2), te worden beoordeeld aan de hand van de inclusie- en exclusiecriteria. Nadien wordt additioneel de sneeuwbalmethode toegepast (paragraaf 2.2.3). Het is van belang om bij dit proces een tweede beoordelaar te betrekken (paragraaf 2.2.4).

De TA-screening

2.2.1

Binnen de TA-screening worden de artikelen op basis van de titel en samenvatting naast de inclusiecriteria gelegd. De onderzoeker beoordeelt of de artikelen op basis van de eerste indruk relevant zijn voor beantwoording van de onderzoeksvraag door deze te staven aan de opgestelde inclusie- en exclusiecriteria. Hierbij is de regel: bij twijfel wél includeren (Snel & De Moraes, 2018, p. 47). Dit omdat de artikelen in de volgende stap, de fulltext-screening, grondiger worden bekeken en zo voorkomen kan worden dat artikelen ten onrechte niet worden meegenomen.
Het is te verwachten dat een aanzienlijk deel van de artikelen dat uit de zoekopdracht is gekomen inhoudelijk niet (volledig) relevant is. De methode beperkt immers de kans dat artikelen net buiten de zoekopdracht vallen die wél relevant zijn voor de beantwoording van de onderzoeksvraag. Het advies is om tijdens het uitvoeren van de TA-screening een referentieopslagprogramma te gebruiken, zoals bijvoorbeeld Endnote[17] of Mendeley.[18] Op die manier worden de referenties op een overzichtelijke manier geordend en is er ook een overzicht van de artikelen die niet worden meegenomen. Het is raadzaam om tevens in steekwoorden of in een korte zin te documenteren wat de reden is van excluderen, aangezien dit bijdraagt aan de transparantie van het onderzoeksproces. Hierover kan eventueel in het uiteindelijke artikel worden gerapporteerd.
Naast een referentieopslagprogramma kan gebruik gemaakt worden van ASReview.[19] Dit is een gratis en openbare AI-tool die op basis van de input van de onderzoeker zelf de bulk van artikelen kan screenen.[20] Dit zorgt ervoor dat de onderzoeker niet handmatig alle artikelen hoeft te doorlopen en is met name handig wanneer de TA-screening een zeer groot aantal artikelen beslaat.

De fulltext-screening

2.2.2

Na de TA-screening is er een bepaald aantal artikelen dat op basis van de eerste indruk relevant lijkt te zijn voor de beantwoording van de onderzoeksvraag (gestaafd aan de selectiecriteria). Vervolgens dienen deze artikelen beter onder de loep te worden genomen door de volledige tekst te scannen en te onderzoeken of de artikelen op basis hiervan aansluiten bij de criteria. Van de samenvattingen kan immers niet worden aangenomen dat deze altijd representatief zijn voor het volledige artikel en de volledige reikwijdte weergeven (Badger, Nursten, Williams & Woodward, 2000, p. 222).
De redenen waarom artikelen binnen deze fase worden geëxcludeerd, kunnen variëren. Zo kan het onderwerp van het artikel toch net niet volledig aansluiten, wat in sommige gevallen pas blijkt wanneer het hele artikel volledig wordt doorgenomen. Daarnaast kan blijken dat het artikel in een andere taal is geschreven, wat niet bleek uit de titel en samenvatting. Ten slotte zullen er ook artikelen zijn waarvan de volledige tekst ontoegankelijk blijkt te zijn. Deze moeten om die reden uitgesloten worden. Het is ook binnen deze stap belangrijk om de redenen van excluderen goed te documenteren, aangezien dit relevante informatie betreft om in de publicatie van de scoping review te rapporteren.
Het is gebruikelijk om aan de resultatensectie van de eigen publicatie naar aanleiding van de scoping review een stroomdiagram toe te voegen, met daarin een grafische weergave van hoe het aantal geïncludeerde artikelen tot stand is gekomen. Een voorbeeld van het stroomdiagram dat is gebruikt in het verhuisonderzoek is weergegeven in figuur 4. Hieruit blijkt dat de zoekopdracht in de databaken 7346 artikelen opleverde, die werden beoordeeld tijdens de TA-screening. Na de TA-screening bleven er 137 over die op basis van de volledige tekst werden beoordeeld, waarna 101 artikelen overbleven. Door middel van de sneeuwbalmethode, die uitgebreider wordt besproken in paragraaf 2.2.3, werden nog 49 artikelen toegevoegd.

Figuur Figuur 4 Voorbeeld van (licht vereenvoudigde) stroomdiagram binnen het verhuisonderzoek

De sneeuwbalmethode

2.2.3

Binnen de fulltext-screening valt een deel van de artikelen af en hierna blijven uitsluitend de artikelen over die inhoudelijk aansluiten bij de selectiecriteria, en dus relevant zijn ter beantwoording van de onderzoeksvraag. Vervolgens dient binnen deze stap de sneeuwbalmethode te worden toegepast, waarbij de referenties van geïncludeerde artikelen worden bekeken en deze artikelen op bruikbaarheid worden beoordeeld in het licht van de inclusie- en exclusiecriteria (Peters e.a., 2015, p. 143). Daarnaast kan in het kader hiervan worden bezien welke studies weer naar de geïncludeerde artikelen hebben verwezen.[21] Een belangrijke reden voor het toepassen van de sneeuwbalmethode is dat de beschikbare Nederlandse juridische databanken nog niet volledig zijn ingericht op het uitvoeren van systematische zoekopdrachten. Hierdoor is het mogelijk dat bepaalde artikelen, ondanks een zorgvuldig opgesteld onderzoeksprotocol en een gerichte zoekstrategie, ontbreken. Totdat de databanken beter op dit soort reviews zijn ingericht, is het nodig om aanvullend de sneeuwbalmethode toe te passen ter voorkoming van het ten onrechte weglaten van relevante literatuur.

Een tweede beoordelaar

2.2.4

In het kader van het gehele screeningsproces is het advies om naast de hoofdonderzoeker een tweede beoordelaar bij het onderzoek te betrekken die bepaalde selectiekeuzes onafhankelijk van de hoofdonderzoeker ook maakt (Peters e.a., 2015, p. 142). Door de selectiekeuzes van beide onderzoekers met elkaar te vergelijken, kan de betrouwbaarheid van de keuzes worden onderzocht. Het betrekken van een tweede beoordelaar is een manier om een zo inclusief en ‘eerlijk’ mogelijke literatuurselectie te waarborgen. Idealiter beoordeelt de tweede beoordelaar ook alle artikelen, maar dit is niet altijd haalbaar. In plaats daarvan kan een willekeurige steekproef van de artikelen ter screening worden genomen die door de tweede beoordelaar wordt beoordeeld.
Door de selectiekeuzes van beide onderzoekers te vergelijken kan de mate van overeenstemming tussen de beoordelingen worden berekend. Dit wordt de interbeoordelaarsbetrouwbaarheid genoemd, doorgaans vastgesteld door de Cohen’s Kappa te berekenen. Dit kan handmatig of met een online tool.[22] Het is gebruikelijk dat de twee beoordelaars samen de selectiekeuzes bespreken, waarna zij indien nodig bepaalde keuzes aanpassen. Het is van belang dit proces te beschrijven en om te rapporteren hoe is omgegaan met eventuele verschillen in selectiekeuzes. De Cohen’s Kappa, de overeenstemming tussen de twee beoordelaars, wordt zowel berekend van de score vóór de discussie, als ná de discussie, die in het uiteindelijke artikel worden gerapporteerd. Scores tussen de 0,61 en 0,80 worden als substantieel gezien en vanaf 0,81 tot 1 wordt gesproken over een bijna perfecte overeenstemming (McHugh, 2012, p. 279). Volgens sommige onderzoekers ligt de meerwaarde van deze tweede beoordeling in de discussie tussen de onderzoekers en dient dit niet louter als ‘kopie’ of ‘controle’ te worden beschouwd. Een discussie over het proces kan immers leiden tot een diverser beeld van het onderzochte fenomeen (Manning, 2012).
In het verhuisonderzoek heeft in zowel de TA-screening als in de fulltext-screening een tweede beoordelaar de keuzes gecontroleerd.[23] De tweede beoordelaar heeft willekeurig 22 procent van de artikelen binnen de TA-screening en alle 150 artikelen in de fulltext-screening beoordeeld. De verschillen in keuzes zijn door de onderzoeker en tweede beoordelaar bediscussieerd en waar nodig aangepast. Hierna zijn zij in beide fasen tot een bijna perfect level van overeenstemming gekomen (0,94 en 0,95) (McHugh, 2012, p. 279).

Stappen 6 en 7: data-extractie en de datasynthese

2.3

Nadat de artikelen zijn beoordeeld en geselecteerd wordt overgegaan tot de dataverwerking. De dataverwerking ziet zowel op de wijze waarop de relevante informatie vanuit de geïncludeerde artikelen wordt gedestilleerd, de data-extractie (paragraaf 2.3.1), als op een logische weergave van deze informatie door middel van een datasynthese en rapportage (paragraaf 2.3.2). De scoping review-methode ziet vooral op de wijze waarop systematisch literatuur wordt gezocht en is minder strikt in deze onderzoeksstappen. De manier waarop dit gedeelte van het onderzoek wordt uitgevoerd is daarom (grotendeels) ter beoordeling en keuze van de onderzoeker zelf. Hierbij blijft het echter relevant systematisch en transparant te werk te gaan.

De data-extractie

2.3.1

Allereerst dient de data-extractie te worden uitgevoerd. Dit houdt in dat de relevante informatie en karakteristieken vanuit de geïncludeerde artikelen op systematische wijze worden gedestilleerd (Peters e.a., 2015, pp. 144-145). Het is uiteraard van groot belang dat alle geïncludeerde artikelen volledig gelezen en grondig bestudeerd worden. De wijze waarop de data-extractie wordt uitgevoerd is afhankelijk van de onderzoeksvraag, de onderzoeksdoelen, de aard van de geïncludeerde artikelen en van eventuele ervaringen of voorkeuren van de onderzoeker. Het is aanbevelingswaardig om de artikelen grondig te bestuderen en hierbij alert te zijn op mogelijke onderlinge samenhang, op basis waarvan de artikelen thematisch geordend zouden kunnen worden. Vervolgens kan de data via een codeerschema in bijvoorbeeld Excel of via een codeerprogramma als Atlas T.I.[24] of Nvivo[25] systematisch worden ‘gecodeerd’, waarbij de relevante informatie wordt gedestilleerd vanuit de artikelen.
De relevante aspecten van de geïncludeerde artikelen worden in het artikel naar aanleiding van de scoping review doorgaans weergegeven in een logische schematische of tabelvorm die aansluit bij de doelstellingen en het bereik van de review. Hierbij worden in ieder geval de volgende aspecten weergegeven: auteur, publicatiejaar, bron en land van herkomst, doelen van de artikelen, methodologie, operationalisering van bepaalde concepten, hoe uitkomsten zijn gemeten en de bevindingen die samenhangen met de onderzoeksvraag (Peters e.a., 2015, p. 145).
In het verhuisonderzoek zijn allereerst alle geïncludeerde artikelen gecodeerd in Excel, waarbij de relevante informatie vanuit de artikelen is gedestilleerd. Vervolgens is gefocust op de empirische gevolgen van een scheidingsgerelateerde verhuizing voor de betrokken kinderen. Er is gekozen de data-extractie op deze uitkomstmaten te richten en daarmee te destilleren wat hierover gerapporteerd was. Hierbij is in Excel een spreadsheet gemaakt, waarin alle uitkomstvariabelen (dat wil zeggen: empirische uitkomsten vanuit de artikelen) zijn geordend op verschillende domeinen.[26]

De data-synthese en rapportage

2.3.2

Nadat de relevante informatie uit de studies is gedestilleerd, kan worden overgegaan naar de laatste stap van het onderzoeksproces. In deze stap wordt tot een datasynthese gekomen, op basis waarvan vervolgens een artikel kan worden geschreven. Binnen een datasynthese wordt de informatie uit verschillende studies geïntegreerd en tegen elkaar afgezet (Van Dijck, Snel & Van Golen, 2018, p. 49). De resultaten worden in kaart gebracht en er wordt een logische, beschrijvende samenvatting gemaakt, die aansluit bij de doelstellingen en onderzoeksvragen van de scoping review (Peters e.a., 2015, p. 144). Met andere woorden wordt de gedestilleerde data als geheel bezien, op basis waarvan bepaalde patronen of conclusies worden geïdentificeerd die relevant zijn ter beantwoording van de onderzoeksvraag. Dit kan bijvoorbeeld worden gedaan door een numerieke samenvatting te geven van het aantal artikelen, gevolgd door een kwalitatieve thematische analyse (Levac, Colquhoun & O’Brien, 2010, p. 6).
Het is van belang om in het artikel de genomen stappen van de scoping review te beschrijven, bijvoorbeeld in een methodensectie. Sommige auteurs kiezen ervoor om de uitgebreide zoekopdracht als bijlage toe te voegen aan het artikel. In een discussiesectie kunnen de resultaten van de scoping review worden samengevat, de datasynthese vanuit metaperspectief worden bekeken en de resultaten gekoppeld worden aan de onderzoeksvraag en onderzoeksdoelen. Hierbij kan de auteur een interpretatie geven van de resultaten, waarbij kritisch beschreven kan worden welke limitaties op de uitvoering van de scoping review en het onderzoeksproces van toepassing waren. Het is van belang aandacht te besteden aan de uitvoering van het onderzoeksproces en bepaalde limitaties of opvallendheden expliciet te benoemen. Daarnaast kan de eerdergenoemde checklist van PRISMA, de leidraad voor het schrijven van een artikel op basis van een scoping review, worden gebruikt voor de rapportage.[27]

Conclusie

3.

Zowel de online overvloed aan informatie, waarvan het moeilijk is om de betrouwbaarheid te beoordelen, als categorisatiemechanismen van het menselijk brein kunnen het zoeken naar waarheidsgetrouwe informatie bemoeilijken. Hiermee hebben ook (rechts)wetenschappers te maken, onder andere in de context van literatuurstudies. Het risico op vertekeningen in literatuurstudies kan beperkt worden door systematische onderzoeksmethoden te hanteren. Daarom is in dit artikel betoogd dat het uitvoeren van een systematische literatuurstudie, in de vorm van een scoping review, binnen het juridische vakgebied van toevoegde waarde kan zijn. De zeven onderzoeksfasen van de scoping review-methode zijn stapsgewijs uiteengezet, verduidelijkt met voorbeelden van een uitgevoerde scoping review over scheidingsgerelateerde verhuizingen. Hiermee is beoogd te illustreren hoe deze methode in juridisch literatuuronderzoek geïmplementeerd zou kunnen worden.
Hoewel de scoping review-methode niet alomvattend of feilloos is, kan de juridische wetenschap gebaat zijn bij de ontwikkeling en het gebruik van dergelijke methoden in het kader van transparantie en repliceerbaarheid van juridisch onderzoek. De methode van een scoping review wordt in verschillende vakgebieden op uiteenlopende manieren uitgevoerd en is binnen het recht nog niet uitgekristalliseerd. Het in dit artikel gepresenteerde kader is niet de enige ‘goede’ manier om dergelijk systematisch literatuuronderzoek uit te voeren.
Daarbij moet worden opgemerkt dat er ruimte is voor verbetering als het gaat om het gebruik van juridische databanken voor dergelijk onderzoek. Sociaalwetenschappelijke databanken zijn hierop ingericht, maar dat geldt (nog) niet voor juridische databanken. Het zou voor het uitvoeren van meer systematisch onderzoek een verbetering zijn als ook deze databanken op het uitvoeren van dergelijk onderzoek worden ingericht.
Het doel van dit artikel was om juridische academici te laten kennismaken met de methode van de scoping review, te enthousiasmeren over het gebruik ervan en om praktische handvatten te bieden om ermee aan de slag te gaan. Hiermee is gepoogd rechtswetenschappers te inspireren en te stimuleren om zich te wagen aan meer systematisch en transparant literatuuronderzoek, ter aanvulling van het gebruikelijke juridische instrumentarium. Dit sluit aan bij ontwikkelingen binnen het juridische veld van de afgelopen jaren, waarin de interesse voor empirisch en multidisciplinair onderzoek en een meer systematische aanpak lijkt te zijn gegroeid. Hierbij kunnen rechtswetenschappers over de grenzen van het eigen vakgebied heen kijken en zich waar mogelijk door bepaalde onderzoekstradities en onderzoeksmethoden van andere disciplines laten inspireren. Het uitvoeren van een scoping review kan voor rechtswetenschappers een bruikbare methode zijn om systematisch literatuuronderzoek uit te voeren, waarbij met een zo transparant en omvattend mogelijke methode de stand van zaken van de literatuur in kaart wordt gebracht.

Notes

[1] Hiernaast zijn er nog verschillende andere methoden in het kader van systematisch literatuuronderzoek. Het is in dit artikel niet mogelijk al deze methoden te adresseren. Dit aangezien het niet praktisch haalbaar is deze methoden te bespreken en omdat dit buiten de reikwijdte van dit artikel valt. Meer informatie over verschillende methoden voor systematisch literatuuronderzoek, en de voor- en nadelen van deze methoden, is te vinden in het artikel van Grant & Booth (2009).

[2] Waar een systematic review specifieke en concrete onderzoeksvragen beantwoordt, zijn de onderzoeksvragen binnen een scoping review vaker exploratief en breder van aard.

[3] De website van de Campbell Collaboration: https://www.campbellcollaboration.org/ (alle genoemde URL’s in dit artikel zijn laatst bekeken op 2 januari 2024).

[4] De website van PRISMA: http://prisma-statement.org.

[5] Denk hierbij aan artikelen die de Nederlandse wetgeving beschrijven en beschouwen of hier normatief naar kijken.

[6] Aangezien de precieze uitwerking van de scoping review-methode nog in ontwikkeling is en deze in verschillende vakgebieden op uiteenlopende manieren wordt uitgevoerd, bestaat hierover geen volledige consensus. In sommige gevallen wordt er wel een kritische beoordeling van de geïncludeerde artikelen gemaakt, maar in de meeste gevallen wordt dit niet gedaan of is dit niet noodzakelijk binnen de scoping review-methode.

[7] Te vinden via: http://www.prisma-statement.org/documents/PRISMA-ScR-Fillable-Checklist_11Sept2019.pdf.

[8] Om zo dicht mogelijk bij het verhuisonderzoek te blijven is de onderzoeksvraag in het Engels weergegeven en niet vertaald in het Nederlands.

[9] Over het tweede gedeelte van de onderzoeksvraag zal op een later moment een artikel worden geschreven. De details van het uitgevoerde verhuisonderzoek zijn hier versimpeld weergegeven om verwarring te voorkomen. Details hierover zijn te raadplegen in het originele artikel: Kostense, L. (2024). The Consequences of Divorce-Related Relocation: A Scoping Review on the (Lack of) Knowledge of the Topic [manuscript in voorbereiding]. Faculteit Rechtsgeleerdheid, VU Amsterdam.

[10] Het protocol van de scoping review van het verhuisonderzoek kan worden opgevraagd bij de auteur van dit artikel (l.kostense@vu.nl).

[11] Vanwege de focus van het promotieonderzoek op binnenlandse Nederlandse verhuizingen zijn internationale verhuizingen en kinderontvoeringen buiten beschouwing gelaten.

[12] Om zo dicht mogelijk bij het verhuisonderzoek te blijven zijn de inclusie- en exclusiecriteria in het Engels weergegeven en niet vertaald in het Nederlands.

[13] Deze worden ‘booleaanse operatoren’ genoemd, koppelingen om zoektermen te combineren of uit te sluiten, wat resulteert in meer gefocuste zoekresultaten. De ‘OR’ en ‘AND’ zijn booleaanse operatoren die in de praktijk vaak worden gebruikt.

[14] Het jokerteken zorgt bij ‘separat*’ bijvoorbeeld voor het zoeken naar verschillende vervoegingen van dit woord, zoals ‘separate’, ‘separated’, ‘separation’ en ‘separating’.

[15] Om zo dicht mogelijk bij het verhuisonderzoek te blijven is de zoekopdracht in het Engels weergegeven en niet vertaald in het Nederlands.

[16] Meer informatie over het opstellen van een zoekstrategie wordt beschreven in het artikel van Aromataris & Rijtano (2014).

[17] https://endnote.com/?language=en.

[18] https://www.mendeley.com/.

[19] https://asreview.nl/.

[20] Meer informatie hierover te vinden op https://asreview.nl/#:~:text=Learn%20more,About,for%20systematic%20reviewing%3A%20ASReview%20LAB.

[21] Dit wordt ook wel ‘forward snowballing’ genoemd en kan bijvoorbeeld door in Google Scholar gebruik te maken van de knop ‘cited by’.

[22] Bijvoorbeeld via https://idostatistics.com/cohen-kappa-free-calculator/.

[23] Deze beoordelaars waren een collega en een student-assistent, die beiden vooraf van de benodigde voorkennis waren voorzien.

[24] https://atlasti.com/.

[25] https://support.qsrinternational.com/s/.

[26] De domeinen die in het verhuisonderzoek zijn gehanteerd zijn bottom-up vanuit de artikelen geïdentificeerd. Dit betreft de empirische gevolgen voor kinderen op de volgende gebieden: relationeel, gedragsmatig, financieel, fysiek welzijn en onderwijsgerelateerde prestaties.

[27] Te vinden via http://www.prisma-statement.org/documents/PRISMA-ScR-Fillable-Checklist_11Sept2019.pdf.

Literatuur

Arksey, H., & O’Malley, L. (2005). Scoping studies: Towards a methodological framework. International Journal of Social Research Methodology, 8(1), 19-32Scoping studies: Towards a methodological frameworkInternational Journal of Social Research Methodology2005193281H. ArkseyL. O'Malley.
Aromataris, E., & Riitano, D. (2014). Constructing a search strategy and searching for evidence. American Journal of Nursing, 114(5), 49-56Constructing a search strategy and searching for evidenceAmerican Journal of Nursing201449561145E. AromatarisD. Riitano.
Assendelft, W. J. J., Scholten, R. J. P. M., & Bouter, L. M. (2003). Systematische reviews van interventie-onderzoek. In M. Offringa, W. J. J. AssendelftSystematische reviews van interventie-onderzoek. In M. Offringa, W. J. J. Assendelft2003W.J.J. AssendelftR.J.P.M. ScholtenL.M. Bouter, & R. J. P. M. Scholten (Eds.). Inleiding in evidence-based medicine klinisch handelen gebaseerd op bewijsmateriaal (pp. 91-99). Houten: Bohn, Stafleu, Van Loghum.
Aveyard, H. (2010). Doing a Literature Review in Health and Social Care. A Practical Guide (2nd ed.). Maidenhead: Open University Press.Doing a Literature Review in Health and Social Care. A Practical Guide (2nd ed.)MaidenheadOpen University Press.2010H. Aveyard
Badger, D., Nursten, J., Williams, P., & Woodward, M. (2000). Should all literature reviews be systematic? Evaluation and Research in Education, 14(3&4)Should all literature reviews be systematic? Evaluation and Research in Education, 14(3&4)2000D. BadgerJ. NurstenP. WilliamsM. Woodward, 220-230.
Badke, W. (2018). Fake news, confirmation bias, the search for truth, and the theology student. Theological Librarianship, 11(2)Fake news, confirmation bias, the search for truth, and the theology student. Theological Librarianship, 11(2)2018W. Badke, 4-7.
Borenstein, M., Hedges, L. V., Higgins, J. P., & Rothstein, H. R. (2021). Introduction to meta-analysis. Chichester (UK): John Wiley & SonsIntroduction to meta-analysis. Chichester (UK):John Wiley & Sons2021M. BorensteinL.V. HedgesJ.P. HigginsH.R. Rothstein.
Colquhoun, H. L., Levac, D., O’Brien, K. K., Straus, S., Tricco, A. C., Perrier, L., ... & Moher, D. (2014). Scoping reviews: Time for clarity in definition, methods, and reporting. Journal of Clinical Epidemiology, 67(12), 1291-1294Scoping reviews: Time for clarity in definition, methods, and reportingJournal of Clinical Epidemiology2014129112946712D. Moher.
Dror, I. E. (2020). Cognitive and human factors in expert decision making: Six fallacies and the eight sources of bias. Analytical Chemistry, 92(12), 7998-8004Cognitive and human factors in expert decision making: Six fallacies and the eight sources of biasAnalytical Chemistry2020799880049212I.E. Dror.
Grant, M. J., & Booth, A. (2009). A typology of reviews: An analysis of 14 review types and associated methodologies. Health Information & Libraries Journal, 26(2), 91-108.
Hartley, S., Raphael, J., Lovell, K., & Berry, K. (2020). Effective nurse–patient relationships in mental health care: A systematic review of interventions to improve the therapeutic alliance. International Journal of Nursing Studies, 102, 103490Effective nurse–patient relationships in mental health care: A systematic review of interventions to improve the therapeutic allianceInternational Journal of Nursing Studies2020102103490S. HartleyJ. RaphaelK. LovellK. Berry.
Higgins, J. P. T., Thomas, J., Chandler, J., Cumpston, M., Li, T., Page, M. J., & Welch, V. A. (2019). Handbook for systematic reviews of interventions (2nd ed.). Chichester (UK): John Wiley & SonsHandbook for systematic reviews of interventions (2nd ed.). Chichester (UK):John Wiley & Sons2019J.P.T. HigginsJ. ThomasJ. ChandlerM. CumpstonT. LiM.J. PageV.A. Welch.
Indekneu, A., Maas, A. J. B., McCormick, E., Benward, J., & Scheib, J. E. (2021). Factors associated with searching for people through donor conception among donor-conceived people, parents, and donors: A systematic review. F&S Reviews, 2(2)Factors associated with searching for people through donor conception among donor-conceived people, parents, and donors: A systematic review. F&S Reviews, 2(2)2021A. IndekneuA.J.B. MaasE. McCormickJ. BenwardJ.E. Scheib, 93-119.
Jesson, J., Matheson, L., & Lacey, F. M. (2011). Doing Your Literature Review: Traditional and Systematic techniques (ppDoing Your Literature Review: Traditional and Systematic techniques (pp2011J. JessonL. MathesonF.M. Lacey. 1-192). Sage: London.
KNAW; NFU; NWO; TO2-federatie; Vereniging Hogescholen; VSNU (2018): Nederlandse gedragscode wetenschappelijke integriteit. DANS. https://doi.org/10.17026/dans-2cj-nvwu.
Levac, D., Colquhoun, H., & O’Brien, K. K. (2010). Scoping studies: advancing the methodology. Implementation Science, 5, 1-9Scoping studies: advancing the methodologyImplementation Science2010195K.K. Brien.
MacCoun, R. J. (1998). Biases in the interpretation and use of research results. Annual Review of Psychology, 49(1), 259-287Biases in the interpretation and use of research resultsAnnual Review of Psychology1998259287491R.J. MacCoun.
Mays, N., Roberts, E., & Popay, J. (2001). Synthesising research evidence. In: N. Fulop, P. Allen, A. Clarke, & N. Black (Eds.). Studying the organisation and delivery of health services: Research methods, London: Routledge, pp. 188-220Synthesising research evidenceStudying the organisation and delivery of health services: Research methodsLondonRoutledge, pp.2001188220N. MaijsE. RobertsJ. PopayN. FulopP. AllenA. ClarkeN. Black.
Manning, N. (2012). Conclusion. In K. HannesConclusion. In K. Hannes2012N. Manning & C. Lockwood (Eds.). Synthesizing qualitative research. Choosing the right approach (pp. 161-171). West Sussex: John Wiley & Sons.
McHugh M. L. (2012). Interrater reliability: The kappa statistic. Biochemia medica, 22(3), 276-282Interrater reliability: The kappa statisticBiochemia medica2012276282223M.L. McHugh.
Page, M. J., McKenzie, J. E., Bossuyt, P. M., Boutron, I., Hoffmann, T. C., Mulrow, C. D. et al. (2021). The PRISMA 2020 statement: An updated guideline for reporting systematic reviews, BMJ, 372(8284)The PRISMA 2020 statement: An updated guideline for reporting systematic reviews, BMJ, 372(8284)2021M.J. PageJ.E. McKenzieP.M. BossuytI. BoutronT.C. HoffmannC.D. Mulrow, 1-9.
Peters, M. D., Godfrey, C. M., Khalil, H., McInerney, P., Parker, D., & Soares, C. B. (2015). Guidance for conducting systematic scoping reviews. JBI Evidence Implementation, 13(3)Guidance for conducting systematic scoping reviews. JBI Evidence Implementation, 13(3)2015M.D. PetersC.M. GodfreijH. KhalilP. McInerneyD. ParkerC.B. Soares, 141-146.
Pollock, A., & Berge, E. (2018). How to do a systematic review. International Journal of Stroke, 13(2), 138-156How to do a systematic reviewInternational Journal of Stroke2018138156132A. PollockE. Bergé.
Snel, M. V. R. (2016). Meester(s) over bronnen: Een empirische studie naar kwaliteitseisen, gevaren en onderzoekstechnieken die betrekking hebben op het brongebruik in academisch juridisch-dogmatisch onderzoek. Den Haag: Boom Juridische Uitgevers.Meester(s) over bronnen: Een empirische studie naar kwaliteitseisen, gevaren en onderzoekstechnieken die betrekking hebben op het brongebruik in academisch juridisch-dogmatisch onderzoekDen HaagBoom Juridische Uitgevers.2016M.V.R. Snel
Snel, M. V. R. & De Moraes, J. (2018). Doing a systematic literature review in legal scholarship. Den Haag: Eleven International PublishingDoing a systematic literature review in legal scholarshipDen HaagEleven International Publishing2018J. Moraes.
Stolker, C. J. J. M. (2003). Ja, geléérd zijn jullie wel! Over de status van de rechtswetenschap. Nederlands Juristenblad, (15)Ja, geléérd zijn jullie wel! Over de status van de rechtswetenschap. Nederlands Juristenblad, (15)2003C.J.J.M. Stolker, 766-778.
Taekema, S., & van Klink, B. (2011). Een nieuwe impuls aan het methodendebat. Law and Method, 1(1)Een nieuwe impuls aan het methodendebat. Law and Method, 1(1)2011S. TaekemaB. Klink, van, 3-10.
Taekema, S., & van Klink, B. (2023). Progress in legal methodology: A methodological assessment of six PhD theses. Law and MethodProgress in legal methodology: A methodological assessment of six PhD theses. Law and Method2023S. TaekemaB. Klink, van, 1-24.
Tijssen, H. E. B. (2009). De juridische dissertatie onder de loep: De verantwoording van methodologische keuzes in juridische dissertaties. Den Haag: Boom Juridische Uitgevers.De juridische dissertatie onder de loep: De verantwoording van methodologische keuzes in juridische dissertatiesDen HaagBoom Juridische Uitgevers.2009H.E.B. Tijssen
Tricco, A. C., Lillie, E., Zarin, W., O’Brien, K. K., Colquhoun, H., Levac, D., ... & Straus, S. E. (2018). PRISMA extension for scoping reviews (PRISMA-ScR): Checklist and explanation. Annals of Internal Medicine, 169(7), 467-473PRISMA extension for scoping reviews (PRISMA-ScR): Checklist and explanationAnnals of Internal Medicine20184674731697S.E. Straus. doi: 10.7326/M18-0850.
Uman, L. S. (2011). Systematic reviews and meta-analyses. Journal of the Canadian Academy of Child and Adolescent Psychiatry, 20(1), 57Systematic reviews and meta-analyses. Journal of the Canadian Academy of Child and Adolescent Psychiatry, 20(1), 572011L.S. Uman.
Van Dijck, G., Snel, M., & Van Golen, T. (2018). Methoden van rechtswetenschappelijk onderzoek. Den Haag: Boom juridisch.
Van Gestel, R., Micklitz, H. W., & Maduro, M. P. (2012). Methodology in the newMethodology in thenew2012R. GestelH.W. MicklitzM.P. Maduro legal world. European University Institute, 13, 1-23.
Verbruggen, P. (2021). Methoden van systematische rechtspraakanalyse: Tussen juridische dogmatiek en data science. Den Haag: Boom juridisch.Methoden van systematische rechtspraakanalyse: Tussen juridische dogmatiek en data scienceDen HaagBoom juridisch.2021P. Verbruggen
Westerwick, A., Johnson, B. K., & Knobloch-Westerwick, S. (2017). Confirmation biases in selective exposure to political online information: Source bias vs. content bias. Communication Monographs, 84(3), 343-364Confirmation biases in selective exposure to political online information: Source bias vs. content biasCommunication Monographs2017343364843A. WesterwickB.K. JohnsonS. Knobloch-Westerwick.