Rapport Visitatiecommissie over kwaliteit PBL-werk

Tegelijkertijd is de visitatiecommissie van mening dat het PBL het proces van kwaliteitsborging moet verbeteren. In dat kader beveelt de commissie onder meer aan om een uniforme procedure voor externe reviews op te stellen en om belangwekkende resultaten en methodologische vernieuwingen vaker te verspreiden via peer-reviewed publicaties. De commissie deed daarnaast aanbevelingen om de kwaliteit en relevantie van het PBL-werk verder te verbeteren.

Het PBL is in de periode augustus-december 2012 beoordeeld door een internationale visitatiecommissie van vooraanstaande wetenschappers onder leiding van Lea Kauppi, directeur-generaal van het Finse Milieuagentschap SYKE en hoogleraar aan de Universiteit van Helsinki. Van 12-16 november 2012 was de visitatiecommissie in Nederland voor dit onderzoek. Opdrachtgever voor de visitatie was het Begeleidingscollege PBL, dat onder voorzitterschap staat van prof.dr. Wim van de Donk. Dit is het externe advies- en toezichtsorgaan dat als taak heeft toezicht te houden op de wetenschappelijke kwaliteit en maatschappelijke relevantie van het PBL-werk. De visitatiecommissie heeft haar rapport deze week afgerond en aan het PBL en het Begeleidingscollege gestuurd.

Een overall conclusie van de visitatiecommissie is dat het PBL in deze tijd van overheidsbezuinigingen effectieve strategische keuzes heeft gemaakt, die onder meer zijn gebaseerd op een goede analyse van PBL’s rol als beleidsadviseur en van de veranderende maatschappelijke context waarin het planbureau opereert.

Op een aantal thema’s heeft de internationale visitatiecommissie steeds zowel sterke punten als zwakke punten en gewenste verbeteringen geformuleerd. Een selectie van de bevindingen volgt hieronder.

Science-policy-society interface: PBL-interactie met wetenschap, beleid en samenleving

Sterke punten

• een weloverwogen combinatie van rollen op de interface tussen wetenschap en beleid –naar de mening van de visitatiecommissie definieert het PBL hiermee een internationale benchmark;
• een goede invulling van onafhankelijkheid in agendering van relevante onderwerpen voor beleid en maatschappij;
• een toenemende aandacht in analyses voor beleidsimplementatie en governance;
• state-of-the-art leidraden voor omgaan met onzekerheden en stakeholderparticipatie.

Aanbevelingen

• beter duidelijk te maken hoe het PBL op verschillende schalen (lokaal, regionaal, nationaal, Europees, mondiaal) wil opereren;
• de trend in de richting van meer stakeholderparticipatie voort te zetten.

Wetenschappelijke kwaliteitscontrole

Sterke punten

• een goed begrip van wat wetenschappelijke kwaliteit inhoudt in de context van onafhankelijke beleidsadvisering;
• een uitgebreide interne reviewprocedure voor de belangrijkste producten;
• goed werkende richtlijnen en procedures voor het controleren van externe data;
• coördinerende en adviserende rol van de chief scientist.

Aanbevelingen

• een uniforme procedure voor externe reviews op te stellen en de inhoud van reviews in projecten te documenteren;
• belangwekkende resultaten en methodologische vernieuwingen vaker te verspreiden via peer-reviewed publicaties;
• niet te bezuinigen op investeringen in strategisch onderzoek.

Organisatie en human resources

Sterke punten

• gemotiveerde en vaardige medewerkers;
• een positieve werkcultuur;
• een lerende organisatie, zoals ook blijkt uit de kritische zelfevaluatie;
• interne opleiding van medewerkers via de PBL Academie.

Aanbevelingen

• een human resources-strategie te ontwikkelen om de vanwege de taakstelling noodzakelijke inkrimping van de formatie te bereiken en tegelijkertijd nieuwe expertise beschikbaar te krijgen;
• in verband met de aanbevolen toename van externe financiering de jaargrensbeperkingen weg te nemen die gepaard gaan met het kas-verplichtingenstelsel van de rijksoverheid;
• meer vaardigheden op het gebied van interdisciplinair samenwerken, stakeholderparticipatie en het verwerven van externe financiering te ontwikkelen.

Onderzoeksprojecten onder de loep

Tot slot: de visitatiecommissie heeft een review uitgevoerd van acht PBL-projecten uit de afgelopen jaren. Dit heeft geleid tot conclusies en aanbevelingen per project. Deze resultaten waren ook input voor de overall conclusie over de kwaliteit van het PBL-werk. Daarnaast leverde dit nog twee overkoepelende aanbevelingen op om:

• het bewustzijn en de implementatie van de bestaande state-of-the-art PBL-leidraad voor omgaan met onzekerheden te verbeteren;
• expertise op het gebied van governance niet slechts op enkele plekken binnen PBL maar in al het PBL-werk toe te passen.

Reactie van het PBL

Het PBL gaat in overleg met het Begeleidingscollege een reactie op het visitatierapport opstellen, waarin maatregelen en strategieën worden aangekondigd in antwoord op elk van bovengenoemde aanbevelingen. Het Begeleidingscollege, dat opdrachtgever was van de visitatie en in november een eerste mondelinge terugmelding van de visitatiecommissie ontving, steunt de aanbevelingen en heeft het PBL gevraagd om hieraan zoveel mogelijk tegemoet te komen in de reactie. Onderdelen van de PBL-reactie op het gebied van wetenschappelijke kwaliteitsborging zullen in elk geval betreffen: het verbeteren van het gebruik van de methodologische leidraden, het uniformeren van externe reviewprocedures en het stimuleren van peer-reviewed publicaties.

Visitatiecommissie

Ter voorbereiding op de visitatie heeft het PBL een zelfevaluatie uitgevoerd: PBL Self-evaluation Report May 2008 – May 2012. Dit rapport diende als input voor de visitatiecommissie. Van 12-16 november 2012 was de commissie op bezoek bij het PBL en sprak zij met het Begeleidingscollege PBL, met management en medewerkers van het PBL, met wetenschappers van onderzoeksinstituten, universiteiten, CPB en CBS, en met beleidsmakers.

De leden van de visitatiecommissie waren:

1. Lea Kauppi (voorzitter), Director General, Finnish Environment Institute & Associate Professor in Limnology and Land Use Impacts, University of Helsinki, Helsinki, Finland
2. Leen Hordijk, Professor Emeritus of Environmental Systems Analysis, Wageningen University, Wageningen, The Netherlands & Principal Advisor & Head of Modelling Taskforce, Joint Research Centre, European Commission, Brussels, Belgium
3. Judith Innes, Professor Emerita of City & Regional Planning, UC Berkeley, Berkeley, CA, USA
4. Sheila Jasanoff, Pforzheimer Professor of Science and Technology Studies, Harvard Kennedy School, Harvard University, Cambridge, MA, USA
5. Pushpam Kumar, Chief, Ecosystem Services Economics Unit, United Nations Environment Programme, Nairobi, Kenya & Reader in Environmental Economics, University of Liverpool, Liverpool, UK
6. Wolfgang Lutz, Professor of Applied Statistics, WU - Vienna University of Economics and Business, Vienna & Leader, World Population Program, International Institute for Applied Systems Analysis, Laxenburg, Austria
7. Richard Moss, Senior Staff Scientist, PNNL Joint Global Change Research Institute at the University of Maryland & Visiting Senior Research Scientist, Maryland’s Earth Systems Science Interdisciplinary Center, College Park, MD, USA
8. Jeroen van den Bergh, professor at the University of Barcelona (Universitat Autònoma de Barcelona), Spain and professor in Environmental and Resource Economics at the VU University of Amsterdam, The Netherlands.

Het secretariaat van de visitatiecommissie werd extern verzorgd door dr. Femke Merkx. De bevindingen en aanbevelingen van de visitatiecommissie, en ook de bijbehorende verdieping, zijn te vinden in het visitatierapport.