A.A.J.M. Beenackers

 

Project-evaluatie in de Geestelijke Gezondheidszorg

 

Uitgeverij Eburon, Delft, 1986

ISBN 90-70879-57-3

 

Verkrijgbaar via de boekhandel en te bestellen bij de uitgever: www.eburon.nl (prijs: slechts 7 €uro)

Klik voor vergroting afbeelding

 

 

Samenvatting van de inhoud

 

In dit boek, dat tevens als academisch proefschrift is verschenen, wordt de veelheid aan evaluatievormen teruggebracht tot een eenheid. Daartoe wordt een evaluatiemodel gepresenteerd, dat beschouwd kan worden als een abstractie van de meest gangbare vormen van praktijk-evaluatie. Dat gebeurt aan de hand van eigen onderzoek: de evaluatie van de crisiscentra van Overvecht (1974-1978) en Utrecht (1978-1982). Het betreft een tweetal projecten, die als één experiment beschouwd kunnen worden. Dat experiment had tot doel een blauwdruk op te leveren voor de vormgeving van de acute psychiatrie in Nederland. Het leverde tevens een blauwdruk op voor de opzet en de uitvoering van praktijk-evaluatie. Het was deze blauwdruk die door het Ministerie van Onderwijs en Wetenschappen bekroond werd met de publicatieprijs 1986. (Voor meer informatie: zie Samenhang Publicaties GGz)

 

 

Recensies

 

‘Een mooi voorbeeld van praktijk-evaluatie is het onderzoek dat dr. A.A.J.M. Beenackers verrichtte bij het crisiscentrum van de stad Utrecht. Daar kunnen mensen die in acute psychische nood raken 24 uur per dag, zeven dagen per week aankloppen voor onmiddellijke hulp. Men hoopt zo te voorkomen dat op langere termijn bij deze mensen chronische psychische problemen ontstaan. Om de effectiviteit van het programma te kunnen meten, vertaalde Beenackers deze algemene doelstelling in een aantal direct meetbare criteria, waaronder het minimum aantal cliënten bij wie de behandelingsdoeleinden moesten worden bereikt, het minimum aantal cliënten dat tevreden moest zijn over de behandeling en het maximum aantal dat doorverwezen mocht worden. Voortdurend mat hij of de streefcijfers werden gehaald. Op grond daarvan werd dan zonodig de hulp verbeterd. Uiteindelijk concludeerde men dat het Crisiscentrum Utrecht voldeed aan zijn functie. Dat leidde er toe dat nu iedere Riagg een 24-uurs opvang voor acute gevallen moet hebben. Maar het onderzoek leverde ook algemenere kennis op: ten eerste kon Beenackers op basis van zijn bevindingen een leertheoretisch model opstellen over het verloop van psychische crises, en ten tweede een model waarmee de effectiviteit van dit soort opvangcentra kan worden gemeten. Met dat laatste model worden nu ook andere opvangcentra doorgelicht.’ Will Tiemeyer in Wetenschapsbeleid, tijdschrift van het Ministerie van Onderwijs en Wetenschappen.

 

‘Wie een praktijkvoorbeeld van goede en geslaagde programma-evaluatie wil lezen, doet er verstandig aan het boek van Beenackers ter hand te nemen. Zijn benadering is vooral zo knap vanwege de helderheid waarmee de probleemstellingen zijn geformuleerd, de inventiviteit van de operationalisaties en de ijzeren consequentie van de uitvoering.’ Paul Schnabel in NRC Handelsblad.

 

‘Een belangrijke verdienste van het werk van Beenackers is ontegenzeglijk de heldere wijze waarop hij het wezen van de toegepaste praktijk-evaluatie typeert door het systematisch te vergelijken en te contrasteren met wetenschappelijke theorie-evaluatie. Hij levert hierdoor een belangrijke bijdrage aan de professionalisering van het toegepaste onderzoek.

    In toegepast wetenschappelijk evaluatie-onderzoek is de verknooptheid van onderzoeker, onderzochten en opdrachtgever in het evaluatieproces een onvermijdelijke gegevenheid. Het spanningsveld tussen wetenschappelijke onafhankelijkheid en maatschappelijke betrokkenheid vormt een complicerende factor in alle fasen en facetten van het evaluatieproces. Dit gegeven loopt als een rode draad door het proefschrift van Beenackers. Hij pakt het thema op als een uitdaging, werkt het systematisch, helder en zonder overbodige franje uit en reikt oplossingen aan met behulp van verhelderende voorbeelden uit de praktijk van zijn onderzoek in de geestelijke gezondheidszorg.

    De dissertatie van Beenackers is een toonaangevend wetenschappelijk werkstuk en een leerzaam, eigenlijk onmisbaar, methodologisch handboek voor evaluatie-onderzoekers in de gezondheidszorg. Het boek gaat, zoals gezegd, vooral over de interactie tussen hulpverlening, beleid en onderzoek en is daarom ook de moeite waard voor andere partijen die op enigerlei wijze bij praktijk-evaluatie betrokken worden zoals hulpverleners, financiers van zorg en onderzoek, beleidsmakers en managers in de gezondheidszorg.’ J.C.M. Mastboom in het Maandblad Geestelijke volksgezondheid (MGv).

 

‘Het onderzoek van Beenackers geeft beleidsonderzoekers weer enige hoop, dat niet alle onderzoek in de bekende la verdwijnt. Dit onderzoek is èn duidelijk door de beleidsbepalende instantie gebruikt èn heeft duidelijk effect gehad op de prestaties van de uitvoerende hulpverleners.’ Andrea Kraan-Jetten in Mens en Maatschappij.

 

‘In dit boek wordt een zeer complex probleem helder uiteengezet.’ Prof. Dr.J. Casselman in Acta Hospitalia.

 

‘Wat opvalt aan het Utrechtse project is vooral de consequente opzet en de striktheid van de toetsing: de criteria worden zeer precies geformuleerd, de toetsing is zeer streng en uit de toetsing worden ook consequenties getrokken voor het beleid. Voorts valt op dat er een cumulatie van kennis en van beleid plaatsvindt: geleidelijk worden de criteria scherper en verfijnder, maar geleidelijk worden ook meer beleidsgebieden als criterium geformuleerd.’ Paul Schnabel in Beleidsinformatie en Onderzoek in de Gezondheidszorg.

 

‘De auteur stelt zich onafhankelijk op; zijn referentiekader is de gemeenschap waaraan de hulpverlening verantwoording moet afleggen met betrekking tot de kwaliteit. Gezien de toenemende vraag naar dergelijke verantwoording is dit boek een “must” voor iedereen die zich met dit onderwerp bezighoudt.’ B.J. Roosenschoon in het Tijdschrift voor Gerontologie en Geriatrie.

 

‘De auteur heeft ook kritiek op de gebrekkige wijze waarop het product van de hulpverlening nu geëvalueerd wordt. De huidige registratiesystemen zijn teveel een papierwinkel die continu bijgehouden moet worden zonder dat er op beleidsniveau iets mee gebeurt.’  Gabriëlle Verbeek in de GGZ-Gazet.  

 

Het proefschrift werd bekroond met de Publicatieprijs 1986, toegekend door de Commissie Programma-Evaluatie; een commissie, ingesteld door de Minister van Onderwijs en Wetenschappen ter stimulering van hoogwaardig sociaal wetenschappelijk onderzoek. De prijs werd toegekend vanwege “baanbrekende bijdragen tot de bepaling van de effectiviteit van hulpverleningsprogramma’s”. Volgens de jury ‘lijkt de reden voor de geslaagdheid van de evaluatie-operatie primair gezocht te moeten worden in de overtuigende en dwingende manier waarop de standaarden en criteria voor het hulpverleningsprogramma werden afgeleid.’ (-) ‘De jury heeft voorts overwogen dat de schrijfstijl van de verslaggeving van nauwelijks te evenaren helderheid, directheid en spaarzaamheid is, waardoor het werk breed toegankelijk is zonder de geringste concessie aan het wetenschappelijk gehalte ervan. De vormgeving weerspiegelt de integriteit van de onderzoeker. Het Crisiscentrum Utrecht, opvolger van het onderwerp van dit evaluatie-onderzoek, profiteert nog steeds van de benadering van Beenackers. Ook de Riagg Stad Utrecht, waar het model inmiddels is geïntroduceerd, plukt er de vruchten van. Het lijdt geen twijfel dat deze benadering, met het oog op de effectiviteitsmeting en kostenbeheersing in de geestelijke gezondheidszorg, nog een veel breder toepassingsgebied zou verdienen. Prof. dr. W. K. B. Hofstee, voorzitter van de Commissie Programma-Evaluatie; voorzitter van de jury die de prijs heeft toegekend.

 

‘One striking feature of Beenackers’ research is the clarity of its aims and criteria. According to Hofstee, such clarity is frequently lacking ’Even when government programmes specify their objectives, they frequently go no further than woolly formulations such as “improving the quality of education” or “providing better care facilities”. Such aims are simply begging the question; they need to be redefined in concrete terms. It is easy enough to talk about “the quality of education”, but what is that? How do you measure it?’ Will Tiemeyer in Science Policy.  

 

‘Het gaat om een evaluatie die succesvol verliep. Succesvol in verschillende opzichten. Men is er in geslaagd om tamelijk harde evaluatiecriteria te formuleren en voor meting vatbaar te maken op een gebied dat daar van nature weinig geschikt voor is. En succesvol ook in die zin, dat tussentijdse evaluatieresultaten inderdaad invloed op het functioneren van de instelling in de gewenste richting hadden – een opmerkelijk gegeven, zeker voor een professionele organisatie. (-)

    Mijns inziens is het boek vooral van pragmatische waarde. (Beginnende) onderzoekers die voor soortgelijke evaluatietaken staan, kunnen er veel aan hebben. Er wordt op een open wijze verslag gedaan van de moeilijkheden en mogelijkheden die de evaluator bij zijn werk ondervindt; het spanningsveld tussen onderzoeker en onderzochten wordt in een apart hoofdstuk op een zeer concreet niveau behandeld. Verder biedt de studie waardevolle handvatten waar het gaat om de keuze van criteriumvariabelen (zoals arbeidsproductiviteit, kostprijs, selectiviteit, mate waarin de interventiedoelen bij de individuele patiënt zijn bereikt, tevredenheid van de patiënt). De evaluatie heeft het karakter van pionierswerk, waarbij met inventiviteit, voortvarendheid en daadkracht problemen zijn benaderd en taken zijn verricht.’ C. Grünwald in Beleid & Maatschappij.

 

‘Effectiviteit heeft, uiteraard, te maken met effectmeting. Hoewel met name dit onderzoeksdesign niet helemaal is gelukt, aldus de auteur, is juist dit item erg belangrijk. Uit pragmatische overwegingen spreekt hij dan verder over “succesmeting”. Dat is een onderscheid dat vele onderzoekers zal aanspreken.’ P. Heydendael in het Tijdschrift voor Psychiatrie.

 

‘De auteur heeft aan zijn proefschrift enkele bijlagen toegevoegd. Eén van die bijlagen, geschreven door Henk Heijs, is een terugblik van de coördinator van het Crisiscentrum. Zijn persoonlijke beschouwing maakt goed duidelijk hoe gecompliceerd de relatie is tussen onderzoekers en practici bij dit type project-evaluatie.’ Karel Soudijn in het tijdschrift Psychotherapie.

 

‘Die algemene tipografiese versorging is ook goed en geen ooglopende foute het opgeval nie. In die geheel beskou is dit dus ’n boek wat met vrymoedigheid aanbeveel word vir gebruik deur welsynsorganisasies en opleidingsinstansies wat evaluering van dienslewering as belangrik beskou.’ Dr Johan Cronjé, Vaktydskrif Maatskaplike Werk.

 

‘Voor onderzoekers is project- en programma-evaluatie meestal een frustrerende bedoening. Onderzoeksresultaten worden immers zelden gevolgd door ingrijpende beleidsbeslissingen en rapporten belanden dikwijls roemloos in archieven. Beenackers bewijst dat het ook anders kan. De koppeling tussen criteriumtoetsing en praktijksturing die in Overvecht en Utrecht werd gerealiseerd, mag daarbij zonder overdrijven uniek genoemd worden.’ I. van Mechelen in het Tijdschrift Sociale Gezondheidszorg.

 

Terug naar hoofdpagina