Samenvatting van de inhoud In dit boek, dat tevens als academisch proefschrift
is verschenen, wordt de veelheid aan evaluatievormen teruggebracht tot een
eenheid. Daartoe wordt een evaluatiemodel gepresenteerd, dat beschouwd kan
worden als een abstractie van de meest gangbare vormen van praktijk-evaluatie.
Dat gebeurt aan de hand van eigen onderzoek: de evaluatie van de crisiscentra
van Overvecht (1974-1978) en Utrecht (1978-1982). Het betreft een tweetal
projecten, die als één experiment beschouwd kunnen worden. Dat experiment had
tot doel een blauwdruk op te leveren voor de vormgeving van de acute
psychiatrie in Nederland. Het leverde tevens een blauwdruk op voor de opzet en
de uitvoering van praktijk-evaluatie. Het was deze blauwdruk die door het
Ministerie van Onderwijs en Wetenschappen bekroond werd met de publicatieprijs
1986. (Voor meer informatie: zie Samenhang Publicaties GGz) Recensies ‘Een mooi voorbeeld van praktijk-evaluatie is het
onderzoek dat dr. A.A.J.M. Beenackers verrichtte bij het crisiscentrum van de
stad Utrecht. Daar kunnen mensen die in acute psychische nood raken 24 uur per
dag, zeven dagen per week aankloppen voor onmiddellijke hulp. Men hoopt zo te
voorkomen dat op langere termijn bij deze mensen chronische psychische problemen
ontstaan. Om de effectiviteit van het programma te kunnen meten, vertaalde
Beenackers deze algemene doelstelling in een aantal direct meetbare criteria,
waaronder het minimum aantal cliënten bij wie de behandelingsdoeleinden moesten
worden bereikt, het minimum aantal cliënten dat tevreden moest zijn over de
behandeling en het maximum aantal dat doorverwezen mocht worden. Voortdurend
mat hij of de streefcijfers werden gehaald. Op grond daarvan werd dan zonodig
de hulp verbeterd. Uiteindelijk concludeerde men dat het Crisiscentrum Utrecht
voldeed aan zijn functie. Dat leidde er toe dat nu iedere Riagg een 24-uurs
opvang voor acute gevallen moet hebben. Maar het onderzoek leverde ook
algemenere kennis op: ten eerste kon Beenackers op basis van zijn bevindingen
een leertheoretisch model opstellen over het verloop van psychische crises, en
ten tweede een model waarmee de effectiviteit van dit soort opvangcentra kan
worden gemeten. Met dat laatste model worden nu ook andere opvangcentra
doorgelicht.’ Will Tiemeyer in Wetenschapsbeleid,
tijdschrift van het Ministerie van Onderwijs en Wetenschappen. ‘Wie een praktijkvoorbeeld van goede en geslaagde
programma-evaluatie wil lezen, doet er verstandig aan het boek van Beenackers
ter hand te nemen. Zijn benadering is vooral zo knap vanwege de helderheid
waarmee de probleemstellingen zijn geformuleerd, de inventiviteit van de
operationalisaties en de ijzeren consequentie van de uitvoering.’ Paul Schnabel
in NRC Handelsblad. ‘Een belangrijke verdienste van het werk van
Beenackers is ontegenzeglijk de heldere wijze waarop hij het wezen van de
toegepaste praktijk-evaluatie typeert door het systematisch te vergelijken en
te contrasteren met wetenschappelijke theorie-evaluatie. Hij levert hierdoor
een belangrijke bijdrage aan de professionalisering van het toegepaste
onderzoek.
In toegepast wetenschappelijk evaluatie-onderzoek
is de verknooptheid van onderzoeker, onderzochten en opdrachtgever in het
evaluatieproces een onvermijdelijke gegevenheid. Het spanningsveld tussen
wetenschappelijke onafhankelijkheid en maatschappelijke betrokkenheid vormt een
complicerende factor in alle fasen en facetten van het evaluatieproces. Dit
gegeven loopt als een rode draad door het proefschrift van Beenackers. Hij pakt
het thema op als een uitdaging, werkt het systematisch, helder en zonder
overbodige franje uit en reikt oplossingen aan met behulp van verhelderende
voorbeelden uit de praktijk van zijn onderzoek in de geestelijke
gezondheidszorg.
De dissertatie van Beenackers is een toonaangevend
wetenschappelijk werkstuk en een leerzaam, eigenlijk onmisbaar, methodologisch
handboek voor evaluatie-onderzoekers in de gezondheidszorg. Het boek gaat,
zoals gezegd, vooral over de interactie tussen hulpverlening, beleid en
onderzoek en is daarom ook de moeite waard voor andere partijen die op
enigerlei wijze bij praktijk-evaluatie betrokken worden zoals hulpverleners,
financiers van zorg en onderzoek, beleidsmakers en managers in de
gezondheidszorg.’ J.C.M. Mastboom in het Maandblad
Geestelijke volksgezondheid (MGv). ‘Het onderzoek van Beenackers geeft
beleidsonderzoekers weer enige hoop, dat niet alle onderzoek in de bekende la
verdwijnt. Dit onderzoek is èn duidelijk door de beleidsbepalende instantie
gebruikt èn heeft duidelijk effect gehad op de prestaties van de uitvoerende
hulpverleners.’ Andrea Kraan-Jetten in Mens
en Maatschappij. ‘In dit boek wordt een zeer complex probleem helder
uiteengezet.’ Prof. Dr.J. Casselman in Acta
Hospitalia. ‘Wat opvalt aan het Utrechtse project is vooral de
consequente opzet en de striktheid van de toetsing: de criteria worden zeer
precies geformuleerd, de toetsing is zeer streng en uit de toetsing worden ook
consequenties getrokken voor het beleid. Voorts valt op dat er een cumulatie
van kennis en van beleid plaatsvindt: geleidelijk worden de criteria scherper
en verfijnder, maar geleidelijk worden ook meer beleidsgebieden als criterium
geformuleerd.’ Paul Schnabel in
Beleidsinformatie en Onderzoek in de Gezondheidszorg. ‘De auteur stelt zich onafhankelijk op; zijn
referentiekader is de gemeenschap
waaraan de hulpverlening verantwoording moet afleggen met betrekking tot de
kwaliteit. Gezien de toenemende vraag naar dergelijke verantwoording is dit
boek een “must” voor iedereen die zich met dit onderwerp bezighoudt.’ B.J.
Roosenschoon in het Tijdschrift voor
Gerontologie en Geriatrie. ‘De auteur heeft ook kritiek op de gebrekkige wijze
waarop het product van de hulpverlening nu geëvalueerd wordt. De huidige
registratiesystemen zijn teveel een papierwinkel die continu bijgehouden moet
worden zonder dat er op beleidsniveau iets mee gebeurt.’ Gabriëlle Verbeek in de GGZ-Gazet. Het proefschrift werd bekroond met de Publicatieprijs 1986, toegekend door de Commissie Programma-Evaluatie; een
commissie, ingesteld door de Minister van Onderwijs en Wetenschappen ter
stimulering van hoogwaardig sociaal wetenschappelijk onderzoek. De prijs werd
toegekend vanwege “baanbrekende bijdragen tot de bepaling van de effectiviteit
van hulpverleningsprogramma’s”. Volgens de jury ‘lijkt de reden voor de
geslaagdheid van de evaluatie-operatie primair gezocht te moeten worden in de
overtuigende en dwingende manier waarop de standaarden en criteria voor het
hulpverleningsprogramma werden afgeleid.’ (-) ‘De jury heeft voorts overwogen
dat de schrijfstijl van de verslaggeving van nauwelijks te evenaren helderheid,
directheid en spaarzaamheid is, waardoor het werk breed toegankelijk is zonder
de geringste concessie aan het wetenschappelijk gehalte ervan. De vormgeving
weerspiegelt de integriteit van de onderzoeker. Het Crisiscentrum Utrecht,
opvolger van het onderwerp van dit evaluatie-onderzoek, profiteert nog steeds
van de benadering van Beenackers. Ook de Riagg Stad Utrecht, waar het model
inmiddels is geïntroduceerd, plukt er de vruchten van. Het lijdt geen twijfel
dat deze benadering, met het oog op de effectiviteitsmeting en kostenbeheersing
in de geestelijke gezondheidszorg, nog een veel breder toepassingsgebied zou
verdienen. Prof. dr. W. K. B. Hofstee, voorzitter van de Commissie Programma-Evaluatie; voorzitter van de jury die de prijs
heeft toegekend. ‘One striking feature of Beenackers’ research is the
clarity of its aims and criteria. According to Hofstee, such clarity is
frequently lacking ’Even when government programmes specify their objectives,
they frequently go no further than woolly formulations such as “improving the
quality of education” or “providing better care facilities”. Such aims are
simply begging the question; they need to be redefined in concrete terms. It is
easy enough to talk about “the quality of education”, but what is that? How do
you measure it?’ Will Tiemeyer in Science
Policy. ‘Het gaat om een evaluatie die succesvol verliep.
Succesvol in verschillende opzichten. Men is er in geslaagd om tamelijk harde
evaluatiecriteria te formuleren en voor meting vatbaar te maken op een gebied
dat daar van nature weinig geschikt voor is. En succesvol ook in die zin, dat
tussentijdse evaluatieresultaten inderdaad invloed op het functioneren van de instelling
in de gewenste richting hadden – een opmerkelijk gegeven, zeker voor een
professionele organisatie. (-)
Mijns inziens is het boek vooral van pragmatische
waarde. (Beginnende) onderzoekers die
voor soortgelijke evaluatietaken staan, kunnen er veel aan hebben. Er wordt op
een open wijze verslag gedaan van de moeilijkheden en mogelijkheden die de
evaluator bij zijn werk ondervindt; het spanningsveld tussen onderzoeker en
onderzochten wordt in een apart hoofdstuk op een zeer concreet niveau behandeld.
Verder biedt de studie waardevolle handvatten waar het gaat om de keuze van
criteriumvariabelen (zoals arbeidsproductiviteit, kostprijs, selectiviteit,
mate waarin de interventiedoelen bij de individuele patiënt zijn bereikt,
tevredenheid van de patiënt). De evaluatie heeft het karakter van pionierswerk,
waarbij met inventiviteit, voortvarendheid en daadkracht problemen zijn
benaderd en taken zijn verricht.’ C. Grünwald in Beleid & Maatschappij. ‘Effectiviteit heeft, uiteraard, te maken met
effectmeting. Hoewel met name dit onderzoeksdesign niet helemaal is gelukt,
aldus de auteur, is juist dit item erg belangrijk. Uit pragmatische
overwegingen spreekt hij dan verder over “succesmeting”. Dat is een onderscheid
dat vele onderzoekers zal aanspreken.’ P. Heydendael in het Tijdschrift voor Psychiatrie. ‘De auteur heeft aan zijn proefschrift enkele
bijlagen toegevoegd. Eén van die bijlagen, geschreven door Henk Heijs, is een
terugblik van de coördinator van het Crisiscentrum. Zijn persoonlijke
beschouwing maakt goed duidelijk hoe
gecompliceerd de relatie is tussen onderzoekers en practici bij dit type
project-evaluatie.’ Karel Soudijn in het tijdschrift Psychotherapie. ‘Die algemene tipografiese versorging is ook goed
en geen ooglopende foute het opgeval nie. In die geheel beskou is dit dus ’n
boek wat met vrymoedigheid aanbeveel word vir gebruik deur welsynsorganisasies
en opleidingsinstansies wat evaluering van dienslewering as belangrik beskou.’
Dr Johan Cronjé, Vaktydskrif Maatskaplike
Werk. ‘Voor onderzoekers is project- en
programma-evaluatie meestal een frustrerende bedoening. Onderzoeksresultaten
worden immers zelden gevolgd door ingrijpende beleidsbeslissingen en rapporten
belanden dikwijls roemloos in archieven. Beenackers bewijst dat het ook anders
kan. De koppeling tussen criteriumtoetsing en praktijksturing die in Overvecht
en Utrecht werd gerealiseerd, mag daarbij zonder overdrijven uniek genoemd
worden.’ I. van Mechelen in het Tijdschrift
Sociale Gezondheidszorg. |