100 HALLINNON TUTKIMUS 2 • 1997
Evaluatiivinen näkökulma kehittämistyöhön
Riitta Seppänen
EVALUATIVE APPAOACH TO DEVELOPMENT WOAK
ln this article develapment wark is surveyed fram evaluative appraach. The cancept af develapment wark is linked ta impravement af public services, mainly in the welfare sectar. Evaluatian 1s understaad as a taal in praject wark and useful perspective ta analyse the angaing pracesses af prajects. This kind af process evalualian praduces evaluatian infarmatian which can apen and make
"black bax• of the actian - the core part of develaping prajects - visible. Aisa arganizalianal learning can be strengthened by pracess evaluatian where the ideas af self evaluatian and empawerment evaluatian are embedded.
Key words: develapment wark, evalualian, pracess evaluatian
1 JOHDANTO
Sosiaali- ja terveydenhuollon alueella on pai
kallisesti ja valtakunnallisesti toteutettu mittava määrä erilaisia kehittämishankkeita. Kehittämis
projektien omaksumiseen työtavaksi ja -välineek
si ovat vaikuttaneet ja edesauttaneet useat teki
jät. Valtionhallinnon ohjaustavan muuttuminen, siirtyminen pois keskitetystä normiohjauksesta, antoi luvan paikallisille kehittämispyrkimyksille.
Myös julkishallinnossa omaksutut organisaatioi
ta ja niiden toimintaa koskevat ajattelutavat ja kehittämisajattelut, kuten laatutyö, ovat voimis
taneet tarvetta kehittämistyöhön. Runsaasta ke
hittämistyön kokemuksesta huolimatta kehittämis
työn tiedollisen ja menetelmällisen osaamisen kumuloituminen on ollut ongelmallista. Leimallis
ta on ollut myös suuri kirjavuus hankkeiden val
mistelussa, toteuttamisessa, raportoinnissa. Ke
hittämisprojektit ovat usein kärsineet riittämättö
mästä suunnittelusta ja evaluoinnista. On myös kaivattu kehittämistyön systemaattista tarkaste
lua, jolla voitaisiin parantaa projektien toteutta
misen laatua sekä huomion kiinnittämistä saavu
tettujen innovaatioiden ja tulosten leviämiseen
(ks. Fisker 1992; Kasvio & Lahtonen 1995; Paju
koski 1996).
Kehittämistoiminnan toteuttamismuotojen sisäl
lä on varsin laaja jatkumo tutkivasta tai tutkimus
avusteisesta kehittämisestä praktiseen »ei-aka
teemiseen» kehittämistyöhön. Tämä jo osin ku
vaa kehittämisen intressejä ja toimintatapoja.
Tutkimus ja kehittäminen kulkevat usein yhdes
sä sanaparina. Niiden välillä on jännitteitä ja toi
saalta suuria odotuksia hedelmällisestä vuorovai
kutuksesta. Tutkimus ja kehittäminen lienevät luonteeltaan erilaisia, mutta millaisia ovatkaan niiden näkemykset kohteesta, toimijoista, tavoit
teista, toimintatavoista, intresseistä ja konteks
tista? Hieman samantyyppinen keskusteluasetel
ma on löydettävissä evaluaatiotutkimuksen ja -toiminnan piirissä. Siellä on käyty jo pitkään de
battia evaluaatiotutkimuksen ja pragmaattisen evaluaatiotoiminnan välillä (ks. Chelimsky 1995, 13-15).
Tässä artikkelissa tarkastellaan evaluaation tarjoamaa näkökulmaa kehittämistyöhön. Evalua
tiivisen näkökulman hyödyntäminen perustuu ke
hittämistyölle ominaiselle piirteelle prosessimai
sesta etenemisestä, jolloin perinteisen summa
tiivisen arvioinnin rinnalla puhutaan prosessieva
luaatiosta. Sen avulla voidaan tuoda näkyviin ke
hittämistyön piiloinen olemus eli sisältö ja proses
si. Kehittämistyön prosessien kuvaamisen kaut
ta voidaan myös hahmottaa sellaisia rakenteita ja keinoja, joiden kautta kehittämisen tulosten ja kokemusten kumuloituminen olisi mahdollista.
2 EVALUAATIO KEHITTÄMISTYÖN VÄLINEENÄ
Periaatteessa kaikkeen kunnolliseen kehittä
mis- ja kokeilutoimintaan liittyy aina seurantaa ja arviointia. Palautejärjestelmä on olennainen osa tietoista ja muutoshaluista toimintaa. Sinkkonen ja Kinnunen (1994, 71-74) kuvaavatkin ajattelu
tavan taustaa kytkeytyen päätöksentekoteoriaan ja systeemiajatteluun. Evaluaation laajasta perin
teestä löytyy aineksia, jotka sopivat hyvin kehit-
tämistyön käyttöõп. Erityisesti prosessievaluaa- tio tarjoaa välineitä ja ajattelutavan liikkeessä olevien kehittämisprоsessien tutkimiseen.
Evaluaatioperinne sisältää monia erilaisia lä- hestymistapoja ja koulukuntia. Evаluaatiokäsit- teen sisällöstä ei myöskään vallitse yksimielisyyt- tä. Evaluaatio-sanan juuri on arvioissa ja arvot- tamisessa ja sillä voidaan tarkoittaa arvioimista suhteessa johonkin. Evaluaatiоkäsite on kuiten- kin laajentunut ja saanut lisämerkityksiä. Käsit- teen ameebamaisuus on ongelma, koska sen sisältö voi muuntua ja vãrittyä lähes rajattomasti käyttöyhtеytensã mukaan.
Useat evaluaаtiolähestymistapojen jaottelut tunnistavat ohjelmien tai projektien seurantaan ja arviointiin liittyvän formatiivisen evaluaation — joskin sille annetaan hieman erilaisia merkityk- siä (Sinkkonen & Kinnunen 1994; Rossi & Free- man 1993; Kuitunen 1991). Formatiiviseen eva- luaatioon lasketaan kuuluvaksi ohjelman tai pro- jektin etenemisen aikana tehty arviointi ja seu- ranta. Formatiivisen evaluaation materiaalia käy- tetään ohjaamaan prosessia sekä informoimaan projektin keskeisiä toimijoita kuten rahoittajia hankkeen etenemisestä (Finne ym. 1995, 12).
Sinkkonen ja Kinnunen (1994, 99) liittävät forma- tiiviseen evaluaatioon vahvasti muutoksen välit- tömän edistämisen, mikä on kehittämistyölle luon- teenomaista. Aineistoa kerätään yleensä kvalita- tiivisilla menetelmillä. Evaluaatioita on jaoteltu myös tulosevaluaatioon ja prosessievaluaatioon, jolloin jälkimmäistä on luonnehdittu kovaksi ja edellistä pehmeäksi tiedon hankintamenetelmien tyypin mukaisesti. Tämäntyyppinen perusratkai- su kvantitatiivisesta tulosevaluaatiosta ja kvalita- tiivisesta prosessievaluaatiosta on suosittu läh- tökohta monimenetelmällisessä kokonaisarvioin- nissa (mm. Sihto 1997; Rossi & Freeman 1993;
van der Vaal 1992; Mayne 1994). Prosessieva- luaation peruslähtökohta on tarkastella toimintaa, jonka kautta pyrkimyksiä toteutetaan. Tässä tar- kastelussa voidaan ottaa erilaisia tasoja tai tar- kastelukulmia. Sinkkonen ja Kinnunen (1994, 38- 47) ja Sihto (1997) liittävät prosessiarvioinnin erityisesti politiikkojen ja ohjelmien (policy ja pro- gram evaluation) arvioinnin poliittis-hallinnollisiin ohjaus- ja toimeenpanoprosesseihin.
Seurannan suhteen arviointiin eri tutkijat ym- märtävät eri tavoin (ks. Sinkkonen & Kinnunen 1994, 28) esimerkiksi Chinapah ja Miron (1990) erottavat seurannan formatiivisesta evaluaatios- ta. He kuvaavat seurannan palauteprosessiksi, joka kulkee projektin tai ohjelman eri vaiheiden läpi. Keskeinen seurantatehtava on empiirisen seurantatiedon tuominen ohjelmiin tai projektei-
hin osallistuville henkilöille (tata tehtävää varten on myös kehitetty erilaisia metodeja, kuten Man- agement Information System MIS). He korosta- vat seurannan merkitystä tilanteissa, jolloin hank- keen tavoitteet ovat hämärtyneet ja ohjelma ei kohdistu tavoiteltuun kohteeseen. (Chinapah &
Miron 1990, 30-31.) Rossi ja Freeman (1993) määrittelevät seurannan myös varsin instrumen- taalisesti, palautetiedonomaiseksi informaatioksi hankkeen toteutumisen tilasta.
Itsearviointi kuuluu juuri kehittamistyöhöп. Sii- na toiminnan toteutuksesta vastaavat työntekijät itse arvioivat työtään ja muokkaavat täta varten erilaisia arviointimenettelyja. Tällöin omaehtoinen arviointi tuottaa työn kehittämisessä valittõmam- min hyödynnettäväã tietoa kuin ulkopuoliset tut- kimukset voisivat tarjota. (Rajavaara 1990, 53).
Näin työntekijöiden reflektoiva itse-evaluaatio on keskeinen kehittämisen moottori. Myös Sinkko- sen ja Kinnusen (1994, 72) mukaan arviointi voi olla omaehtoisen muutostoiminnan välineenä.
Loven (1991, 1-5) mukaan viime vuosina orga- nisaatiot ovat ottaneet yhä enemmän kayttббп- sa sisaisen evaluaation menetelmiä verrattuna ul- kopuoliseen, perinteiseen evaluaatioon. Tähän on vaikuttanut muutos, jossa evaluaatio on alettu nähdä prosessina, joka on osa johtamista, paä- töksentekoa, suunnittelua ja kehittämistä. Lisäk- si sisäisen evaluaation kautta tuotettu tieto pal- velee tehokkaammin ja välittõmammin kehittämis- tä. Loven tarkoittama sisainen evaluaatio tarkoit- taa organisaation jarjestamãä systemaattista it- searviointitoimintaa, jorlka suorittavat tehtävään asetetut sisaiset evaluoijat tai evaluointiyksikõt.
Näkökulma on siis varsin rationaalinen ja jarjes- telmakeskeinen.
Evaluaatioperinteen kiinnostava piirre on em- powerment-näkökulma. Onkin ymmärrettävää, etta ilmiöiden arviointi avaa kysymyksiä arvioijas- ta, kriteereistä ja toimintatavoista (myös Sihto 1997, 44-45; Sinkkonen & Kinnunen 1994, 94;
Kuitunen 1991, 12). »Empowerment» on suhteel- lisen tuore, mutta ongelmallinen käsite, joka viit- taa asetelman muuttumiseen, vallan jakamiseen ja toimijoiden toisin näkemiseen. Se näyttäytyy eri tavoin kontekstin mukaan, mutta on havaitta- vissa niin johtamiseen (Kasvio 1994, 180), eva- luaatioon (Fetterman ym. 1996) liittyvissä keskus- teluissa kuin erilaisilla kehittãmistyön kentillä kehitysyhteistyöstä sosiaalityöhõn (myös Raja- vaara 1990, 60; Unrau 1993, 660). Erityisen vah- vasti se on omaksuttu vammaispolitiikan alueel- la, jossa se merkitsee tãysivaltaistumista (Loijas
& Merentie, 1995, 3). Termi onkin hankala kaän- taa suomeksi — erilaisia vapaita kãanпõksia ovat
102
mm. voimantunto, vahvistaminen, itsenäinen sel
viytyminen, emansipaatio. Kauppinen (1994) ei käytä sanaa empowerment vaan omaehtoisuus (self-reliance), mutta puhuu lähellä olevasta tee
masta, kuvatessaan paikallistason toimijoiden roolin korostumisesta alueellisessa kehittämis
työssä. Empowerment-ajattelutapa ja moniääni
nen arviointi - hieman eri muodoissaan - on ha·
vaittavissa hyvin usein viimeaikaisissa kehittämis
ja evaluaatioideoissa. Siitä on keskusteltu eten·
kin toimintatutkimuksessa (esim. Jasaitis 1996).
Empowerment-käsite liittyy läheisesti näkemyk
seen toimijan paikasta ja roolista. Jalava ja Vir·
tanen (1996) pohtivat kehittämisen lähtökohtana olevan visionäärisyyden ja emansipaation suh
detta. Heidän mukaan eräs syy emansipatorisen kehittämistyön marginaalisuuteen on ollut voi
makkaiden visioiden puuttuminen. Visio edustaa mielikuvaa kehittämistyön määränpäästä. Eman
sipatorisen kehittämisen innoituksen lähteenä nähdään osallisuus, jolloin innovaatiot ovat yh
teisön kollektiivisia tuotteita (Jalava & Virtanen 1996, 101-102). He eivät kuitenkaan pohdi tar
kemmin innovatiivisen, emansipatorisen kehittä
misen suhdetta johtamiseen ja johtamiskulttuu
reiden vaikutukseen.
Evaluaation empowerment-näkökulma nostaa toimijat itse seuraamaan ja arvioimaan ja siten ohjaamaan kehittämisen kulkua. Fetterman (1996, 20) sanoo, että hankkeisiin osallistuvat siirtyvät takapenkiltä kuljettajan paikalle ohjaa
maan ajokkia. Tämä konstruktivistinen ote ei poista perinteisten evaluatiivisten tutkimusten tarvetta, mutta se aktivoi osallistujien hyödyntä
mättömiä resursseja kehittämisprojektin käyttöön.
Se muuttaa perinteisen evaluaattorin tai kehittä·
jän toimintatapoja ja -odotuksia. Ajatuksena on, että kehittämistyön sisäinen evaluointitoiminta on keskeinen muutosvoima, joka samalla tuottaa ri
kasta tietoa perinteisen evaluaation käyttöön.
(Fetterman 1996, 4-6, 21 ).
3 PROJEKTI KEHITTÄMISEN KEHTONA Sosiaali- ja terveydenhuollon alueella, kuten tyypillisesti muissakin julkisissa palveluorganisaa
tioissa, kehittämisen välineenä käytetään projek
tityyppistä työskentelyä. Tällöin projekti ei muuta vallitsevaa organisaatiorakennetta vaan projekti määritellään kertaluonteiseksi, määräaikaiseksi tehtäväksi. Sille asetetaan projektiorganisaatio;
projektiryhmään kootaan tehtävän kannalta kes
keiset henkilöt, jotka toimivat kyseisessä roolis
sa ns. normaalien työtehtäviensä ohella. Suurem-
HALLINNON TUTKIMUS 2 • 1997
missa projekteissa vastuuhenkilön tai koordinaat
torin koko työpanos saattaa olla asetettu projek
tin käyttöön. Julkisissa palveluorganisaatioissa ei ole yleistynyt yritysorganisaatioissa käytetyt pro
jektiorganisaatiot, joissa esimerkiksi tuotannolli
nen toiminta on järjestetty projekteittain. Sosiaa
li- ja terveydenhuollossa on tyypillistä puhua ke
hittämistyöstä osana arkityötä, jolloin kehittämi
nen olisi sisäänrakennettu ns. normaaleihin työ
käytäntöihin. Kyseinen varsin ideaalinen ajatte
lutapa vaatisi kuitenkin täsmällistä analyysiä jat
kuvasti kehittyvän työotteen ehdoista ja vaikutuk
sista.
Tietoisen kehittämispyrkimyksen toteuttami
seen käytetään yleensä projektia työmuotona, koska se antaa mahdollisuuden poiketa totutuis
ta käytännöistä (Kaasalainen 1994, 57) ja tarjoaa joustavan, tehtäväorientoituneen organisoitumi
sen rakenteen. Projektityyppinen työskentelyta
pa tuo näin kehittämiseen omat piirteensä. Ke
hittämismalleissa, joita lähinnä projektitoiminnan käsikirjat tarjoilevat, ei kuitenkaan tuoda esille näkemyksiä tai herätetä kysymyksiä kehittämisen taustalla vaikuttavista oletuksista, kuten kehityk
sen, sen kohteen, toimijoiden ja kontekstin luon
teesta. Toisaalta voidaan ajatella, että projekti on
»vain väline» ilman oletuksia ja tausta-ajattelui
ta. Voidaan sanoa, että projektityön kautta kehit
tämisestä tarjoutuva kuva on usein varsin ongel
maton, mekanistinen ja inkrementalistinen. Sitä lähestytään kuten suoritettavaa tehtävää, jolloin korostuvat oikea-aikaiset projektihallinnan pro
seduurit ja tarkastelu keskittyy vahvasti kehittä
mistoimenpiteiden toteuttamiseen. Erityistä huo
miota kiinnitetään toimenpiteiden läpiviemistä hi
dastuttaviin seikkoihin, kuten muutosvastarintaan ja sen hallitsemiseen.
Kehittämistyön toteuttaminen projektityyppisellä työtavalla tuo keskusteluun projektityön ominais
piirteet ja niistä johtuvat erityiskysymykset. Ke
hittämis- ja innovaatiotoiminnan toteuttaminen projekteina tuo monia etuja, mutta projektin eriy
tymisestä voi olla myös haittaa. Projektiryhmään kuuluvien yhteydet muuhun organisaatioon voi
vat heiketä ja suhteet linjaorganisaatioon kärjis
tyä. Myöskään työnjako ideointiin projektiryhmäs
sä ja muun henkilöstön toteutukseen ei välttämät
tä tyydytä kaikkia (Kalimo ym. 1994), eikä luo suopeita edellytyksiä innovaatioiden leviämisel
le. Fisker (1992, 15) tuo esille erilaisten työkult
tuureiden kehittymisen projekteissa verrattuna ns.
organisaation valtakulttuuriin. Hän puhuukin sys
teemikulttuurista ja projektikulttuurista. Tässä sanalla systeemi viitataan jähmeyteen ja nega
tiivisella tavalla byrokraattisuuteen. Kun kehittä·
mistyötä tehdään projekteina, on ongelmana eriy- tyminen ja saarekkeistuminen, mihin liittyy taas keskustelu kehittämistyön tulosten leviämisestä ja tätä tukevista rakenteista ja kanavista. Kuvaa- malla »systeemikulttuuria» ja »projektikulttuuria»
kehittämisen toiminnallisena asetelmana Fisker nostaa esille kehittämisen kontekstiin liittyvät monimutkaiset ristiriidat. (mt. 1992, 15-18). Or- ganisaation sisälle muodostuvat erilliset kehittä- misalueet eli projektit ja ns. normaalin työn alueet organisatorisina kuvioina sekä yksittäisten työn- tekijöiden työkaytäntõjen ristiriitoina ovat kiinnos- tavia kysymyksiä. Kehittämistyön organisaatio- kulttuurinen »oppivan organisaation ominaisuuk- sien» -näkökulmaa syvempi analyysi olisi erittäin hyödyllinen katsottaessa esteitä ja edellytyksiä kehittämiselle ja ns. kehittämisinnovaatioiden dif- fuusiolle. Projektimainen kehittäminen vaatii myös prоjektityõn osaamista. On tuotu esille, että tär- keimpiä kehittämistoimintaa haittaavia seikkoja ovat puutteet projektityõn osaamisessa, kuten tottumattomuus tavoitteiden asettamisessa, kir- joittamisessa, seurannassa ja arvioinnissa. (ks.
Seppänen 1995, 80; Pajukoski 1996, 30).
4 PROSESSIEVALUAATIO JA KEHITTÄMISPROJEKTI
Kehittamis- ja innovaatiotoiminnan arvioinnis- sa tarkastellaan tavallisesti tavoitteita ja niiden saavuttamista. Harvoin kiinnitetãäп huomiota sii- hen toimintaan ja valintoihin, joita projektiin osal- listuneet ovat projektia toteuttaessaan tehneet.
Kartoittaessaan toimintatutkimuksellisen kehitta- mistубn tulosten arviointiin ja mittaamiseen liitty- viä ongelmia Kuitunen (1991) on todennut, että ongelmallisuus johtuu lähinnä toimintatutkimuk- sen erityispiirteistä: kokeilu- ja kehittämisluon- teesta sekä prosessinomaisesta etenemistavas- ta. Han pohtii erilaisten evaluaatioperinteiden soveltuvuutta toimintatutkimukseen ja tulee siihen lopputulokseen, ettei perinteinen summatiivinen evaluaatio ole riittävä, koska siitä puuttuu herk- kyyttä löytää yhteyksiä kehittamistoimenpiteiden ja tulosten
valilla .
Hänen mukaan toimintatutki- mus on ymmärrettävä prosessina, jossa arviointi toimii ennen kaikkea palautteena. (mt. 1991,17- 19, 90). Arvioinnin kannalta ei ole olennaistakatsoa yksinomaan projektin tavoitteiden saavut- tamista summatiivisesti vaan havainnoida koko projektin prosessinomaista polkua (Sihto 1997;
Seppanen 1996; Kuula 1994; Fisker 1992). Aja- tuksena on, että kehittämistyössä opitaan yhdes- sä ratkaisemaan ongelmia eika vain, että saa-
daan joitakin ongelmia ratkaistuiksi (Alasoini 1996, 25). Eli olennaista on se, mita tapahtuu pro- jektin aikana, ihmisten välisenä toimintana ja sen kautta.
Projektimaisesti toteutetulie kehittamistyölle on tyypillistä prosessimainen etenemistapa seka ratkaisuvaihtoehtojen ja etenemisvãylien moni- naisuus. Alussa asetetut tavoitteet tasmentyvät tai hamartyvat prosessimaisen etenemisen aika- na. Kehitys voidaan ymmãrtaä ennen kaikkea prosessina (Terveyden edistäminen... 1996, 20;
Marsden & Oakley 1990, 5; Fetterman 1996, 5;
Kuitunen 1991). Systemaattisella prosessieva- luaatiolla on mahdollisuus tarkastella muutospro- sesseja ja tuoda esille niiden keskeisimmat piir- teet (mm. Kuula 1994, 37). Prosessievaluaation tehtävä on tuoda esille projektin toteuttamisessa kaytetty toimintatapa eli avata toiminnan ns. mus- taa laatikkoa (myös Sihto 1997, 26-27).
silla
voi-daan tuoda esille prosessin luonne: milloin ja mil- laisia taitekohtia on ollut, kuinka ongelmatilanteita on ratkaistu ja millaisia innovaatioita on tehty. Se perustuu vahvasti tekijбidensä itsearviointiin ja oppimiskokemusten peilaamiseen.
Valtakunnallisessa vanhusten perhepaivähoi- don kokeiluprojektissa prosessievaluaatiota käy- tettiin — erityisesti oppimiskokemusten esille nos- tamiseen, jolloin tavoitteena oli oman toiminnan seuraaminen, arvioiminen ja toiminnasta oppimi- nen (Seppanen 1996, 37). Prosessievaluaatio kiinnittyy tavoitteiden arviointiin, joskin tavoittei- ta käsitellään kuten muuttuvaa kohdetta. Se tuot- taa tietoa, jota tarvitaan tavoitteiden tasmenta- miseksi ja toiminnan ohjaamiseksi. Edellãmainit- tuun projektiin osallistuvat muovasivat valineitã (prosessinarvioinnin tyбkalupakki), joilla etene- mistä voitiin itse paikallisesti seurata ja arvioida.
Keskeisenä menetelmanã olivat systemaattiset arviointipalaverit, joiden runkona oli etenemistä tarkasteleva kysymyspatteri. Kysymykset ohjasi- vat kiinnittämään huomiota projektin kannalta keskeisiin kysymyksiin ja ajattelemaan vaihtoeh- toisia ratkaisuja etenemiselle (ks. myös Arnkil 1994). Näin ratkaisut, jotka ovat totuttuja ja joi- hin ajaudutaan, voidaan tehdä nakyviksi ja etsiä niille perusteita. Prosessievaluaatiolla on sel- keästi kahtalainen funktio. Parhaimmillaan se tuottaa hyödyllistä, etenemista dokumentoivaa materiaalia projektin loppuarviointia tai muuta summatiivista arviointia varten. Toisaalta se toi- mii palautteen antajana prosessin kestãessã.
Keskeinen kysymys liittyy kuitenkin siihen, miten hyvin prosessin aikana kerättyä materiaalia pys- tytãan kãyttamaan hankkeen ohjaamisessa ja tavoitteiden tasmentämisessã.
104
Oppimistulosten ja -tuotosten esille tuominen on kuitenkin vaikeata. Konstruktivististen eva
luaationäkemysten (esim. Guba & Lincoln 1989) mukaan projektissa etsitään neuvottelun kautta yhteisymmärrys arvioinnin toteuttamistavoista ja mahdollisista arviointikriteereistä. Olen havainnut, että prosessievaluaation oppimistoimintaa koros
tavat ideat saattavat olla myös lähtökohtina han
kalia omaksua. Omien tekemisten kriittinen ar
viointi saatetaan kokea loukkaavana tai liian pal
jastavana, eikä prosessiarviointiin haluta lähteä.
Tämä koskee varsinkin projektin ylintä johtoa.
Vaikka prosessievaluaatio menetelmänä toteutet
taisiinkin, voivat osallistujat olla resistenttejä, ei
vätkä halua käyttää kerättyä materiaalia tietois
ten valintojen tekemiseen vaan etenevät omak
sutuilla tavoilla (myös Mayne 1994, 38). Tämän olen toisinaan havainnut projektiryhmissä, joilla on varsin vankka projektityön kokemus.
Prosessin etenemisen reaaliaikainen seuraa
minen ja oppimistilanteiden tunnistaminen ja pai
kantaminen ei myöskään ole ongelmatonta. Jot
ta kehittämistoimintaa voitaisiin tarkastella eva
luatiivisesti, tulisi projektin kaikkiin vaiheisiin kiin
nittää tietoisesti ja systemaattisesti sellaisia toi
mintoja, joiden kautta materiaalia prosessista saataisiin esille. Tärkeää on siis ajattelutavan omaksuminen. Itse evaluaatio voidaan toteuttaa monin eri tavoin ja evaluaatiokäsikirjat tarjoilevat moninaisia vinkkejä tähän (ks esim. Sommerland
& Willoughby 1995). Vaikka materiaalia saatai
siinkin kerättyä, valtavana haasteena on kuiten
kin oikean tiedon kerääminen ja sen hyödyntä
minen eli kysymys, miten kerätty tieto muuttuu oppimisen kautta toiminnan muutoksiksi.
5 EVALUATIIVINEN KEHITTÄMINEN - MAHDOLLISUUS OPPIMISEEN
Havaitut muutosilmiöt toimintaympäristössä ruokkivat visionäärisiä näkemyksiä työn ja työ
kulttuureiden uudistumisesta jatkuvan kehittymi
sen ja muutoksen suuntaan (mm. Kasvio 1996, 255-256, Ståhle 1995). Muutoksen hallinnan avaintekijät nähdään niin organisaatioiden kuin yksilöiden oppimisessa (Järvinen ym. 1995, 76).
Puhutaan siis monitasoisista muutoksen ja oppi
misen ilmiöistä ja prosesseista. Oppiva organi
saatio on omaksuttu lähes ideaaliseksi organisaa
tiotavoitteeksi. Rist (1994, 191) kuitenkin toteaa, että oppivan organisaation käsitettä on käytetty kauan, mutta systemaattinen arviointi julkisen sektorin organisaatioiden oppimisesta puuttuu lä
hes täysin.
HALLINNON TUTKIMUS 2 • 1997
Järvinen ym. (mt. 1995, 78) tuo esille, että idea oppivasta organisaatiosta on välttämätön, koska systemaattinen koulutus ja koulutusinterventiot eivät ole saaneet aikaan tavoiteltuja tuloksia.
Tämä liittyy myös henkilöstökoulutuksen suureen ekspansioon (Kasvio 1994, 11) ja muutokseen, jossa koulutusammattikohtaisesta henkilöstökou
lutuksesta on siirrytty työyhteisökohtaisiin kehit
tämisprojekteihin. Organisaatioiden henkilöstö
koulutus ja kehittämistyö ovat linkittyneet hyvin lähelle toisiaan. Myös Filanderin (1995) käsitys kehittämistyöstä asettuu - ainakin implisiittisesti - varsin lähelle henkilöstökoulutusta. Koulutus on keskeinen kehittämisen väline, mutta kuitenkin kapea näkökulma tarkastelemaan oppimisen ja kehittämisen suhdetta.
Kehittäminen ja muutos liitetään halukkaasti yh
teen. Kehittämisen kautta saavutettavien muutos
ten toivotaan tuottavan oppimista, joka avaisi uusia kehittämis- ja muutoskulkuja. Kehittämis
työtä käytetään toisaalta muutoksenhallinnan, toisaalta muutoksen tuottamisen välineenä. Ra
javaara (1994, 45) toteaa, että julkilausutusti ke
hittämishankkeilla tavoitellaan muutoksia kehittä
misen kohteena olevissa organisaatioissa. Hän kysyykin, ollaanko kehittämistoiminnassa pohdit
tu, mitä oikeastaan kehittämisellä ja muutoksella tarkoitetaan? Miten muutosten ajatellaan tapah
tuvan? Esitetyt kysymykset koskettavat kehittä
misen ydinalueita - substanssista riippumatta.
Samantyyppisiä kysymyksiä on esitetty myös evaluaatioperinteestä. Evaluaatiotoiminnan piiris
sä on oltu kiinnostuneita oppimisen kysymyksis
tä, jolloin näkökulma liittyy kiinteästi evaluaatio
tiedon hyödyntämiseen - ennen kaikkea päätök
sentekoon (Leeuw, Sonnichen & Rist 1994 ). Kun puhutaan evaluaatiotiedon hyödyntämisestä ja siitä oppimisesta, on huomioitava evaluaatiope
rinteen laajuus ja moninaisuus, sillä teemasta on keskusteltu aktiivisesti erityisesti politiikkaeva
luaation piirissä. Bemelmans-Videc ym. (1994, 145)kysyvät edistääkö evaluaatio organisaation oppimista, jos niin millaisissa olosuhteissa? Ja millaiset toimintatavat edistävät oppimista? Eva
luaatioista oppimisessa he korostavat ihmisten yksilöllisten ja organisaatiokulttuuristen erojen merkitystä. Tähän liittyvät muun muassa kysy
mykset yksittäisten työntekijöiden asennoitumi
sesta ammatillisia kehittämispyrkimyksiä kohtaan.
Työkulttuurien ja -käytäntöjen ja »inhimillisten te
kijöiden» toimiminen kehittämisen ehtoina ovat erittäin kiinnostavia kysymyksiä.
Evaluatiivinen tieto on tärkeätä oppivalle orga
nisaatiolle. Toimintaympäristön ja organisaation toiminnan välisen muuttuvan suhteen tarkastele-
,/
misessa tarvitaan seuraavaa ja arvioivaa tietoa.
Tiedon käyttämiseen liittyy Argyriksen käsitys kahdentasoisesta oppimisesta single ja douple loop -oppimisesta, jota Leeuw ym. (1994) sovel- tavat. Siinä erotetaan kaksi oppimistasoa: eva- luaatiotiedon käyttö, joka johtaa syvällisiin toimin- taa ohjaavien tavoitteiden, arvojen ja politiikko- jen muuttamiseen sekä toiminnan lähinnä pinta- puolinen muovaaminen. Kyseisessä eri maiden organisaatioiden toimintoja vertailevassa tutki- muksessa annetaan varsin rohkaiseva kuva mah- dollisuuksista hyödyntää evaluaatiotietoa ja eva- luatiivisia välineitä julkisen hallinnon toimintojen kehittämisessä.
Arvioinnin näkökulma kehittämistoimintaan myös vahvistaa aiemmin varsin piilossa olleen ke- hittämisprosessin kulun ja toimintatapojen tarkas- telemisen. Kehittämisprojektiin osallistuminen voi olla oppimiskokemus niin yksittäiselle henkilölle, projektiryhmälle kuin organisaatiolle. Rist (1994, 190) sanoo evaluaation edistävän oppimista. Pe- rusajatus evaluatiivisessa kehittämisessä on luo- da sellainen seurannan ja arvioinnin asetelma, joka tuottaa tietoa oppimisen perustaksi. Eli ky- symys on toiminnasta kerätyn palautetiedon op- pivasta hyödyntämisestä. Jotta evaluaatio voisi tuottaa virikkeitä oppimiselle ja olla hedelmälli- nef kasvualusta oppivalle toiminnalle, tulisi eva- luaation olla luonteeltaan sellaista, että se tar- joaa tähän mahdollisuuksia. Organisaation sisäi- nen evaluaatio, itsearviointi ja »empowerment»
evaluaatio ovat tuoneet tähän kiinnostavia piir- teitä. Oppivassa kehittämisessä keskeistä on omaan toimintaan arvioivasti suhtautuminen sekä erilaisten tiedonlähteiden käyttäminen toiminnan muokkaamisessa. Tällöin tarvitaan sekä summa- tiivista että formatiivista arviointia. Olen huoman- nut, että kehittamisprojekteihin osallistuvat ihmi- set tunnistavat oppimiskokemuksia luontevimmin silloin, kun he ovat olleet itse muokkaamassa evaluointivälineitä sekä keräämässä arviointitie- toa. Tällöin he myös havaitsevat arviointitiedon funktion ja hyödyntämismahdollisuuksia. Evalua- tiivisten välineiden käyttäminen antaa siis raken- teen kehittämisen systemaattiseen ja oppimisha- luiseen tarkasteluun. Se tuo näkyväksi toiminnan sisällön ja siihen liittyvät piirteet.
6 PROSESSINÄKÖKULMA JA KEHITTÄMISTYÖN TUILOSTEN HYÖDYNTÄMINEN
Fiskerin (1992, 15) mukaan kokeilu- ja kehittä- mistoimintaan pitäisi luoda arviointi- ja mittaus-
välineitä, joilla voitaisiin osoittaa projektien on- nistuneisuutta. Tanskassa toteutetussa laajassa sUM-kehittämiskokeilussa käytettiin seuraavia arviointikriteereitä:
— jatkuvuus, mitä kehittämiskohteelle on tapah- tunut projektin päätyttyä
— tulosten tai »mallien» leviäminen kokeilukun- nasta toisiin kuntiin
— oppiminen, millaisia näkemyksiä ja kvalifikaa- tiota projekti on osallistujille tuottanut Arviointi oli painottunut liiaksi projektien jatku- vuuteen, mikä sinänsä on ristiriitainen kriteeri in- novaatiota etsivälle projektiluonteiselle toiminnal- le (Fisker 1992, 15). Kehittämistoiminnan ongel- ma on kuitenkin saarekkeellisuus sekä saavutet- tujen innovaatioiden ja kokemusten vaisu leviä- minen. Kun kehittämisen näkökulma on siirtynyt ennen kaikkea työ- ja palveluprosessien sekä työkulttuureiden kokonaisvaltaisempaan tarkas- telemiseen, edellyttää se uudenlaista ajatteluta- paa myös kehittämistuotosten ja innovaatioiden levittämiseltä ja arvioinnilta. Fisker huomauttaa- kin, että vaikeammin osoitettavissa ja arvioitavis- sa olevat kriteerit, kuten tulosten leviäminen ja erityisesti oppiminen, tarvitsisivat huomattavasti tarkempaa analysoimista. Kattava prosessieva- luaatiomateriaali antaa mahdollisuuksia
taran
- tyyppisten kriteereiden käyttämiseen. Toisaalta kehittämisen tuloksia voidaan arvioida myös tar- kastelemalla, mitä projektista on jäljellä viiden tai kymmenen vuoden kuluttua. Millaisia jälkiä pro- jektista on jäänyt ja mitä ne ovat versoneet?On siis oivallettu, että kehittämisen keskeinen ja ilmeisesti myös luovuttamaton ydin on proses- si. Kehittämisprosessi on ainutkertainen, kullekin projektille ominainen ja yksilöllinen toiminnan, havaintojen ja ajattelun kokonaisuus. Pohties- saan lähiökehityshankkeita Haverinen (1994, 94) kysyykin: miten koota tietoa prosessista siten, että se johtaisi tiedon kumuloitumiseen. Innovaa- tioiden leviämisen ja kokemusten kumuloitumisen kannalta on ongelmallista, että prosessin kulkua on vaikea seurata, arvioida, analysoida ja rapor- toida siten, että sen keskeiset muuttujat ja ele- mentit voitaisiin nostaa ylös. Kehittamistyön pro- sessien kuvaamisen kautta voidaan hahmottaa sellaisia rakenteita ja keinoja, joiden kautta ke- hittämistyön tulosten ja kokemusten kumuloitu- minen on mahdollista.
Kehittämistoiminnan raportointiin ei ole muo- toutunut sellaisia saannöstöjä ja käytäntöjä kuin perinteiseen tutkimustoimintaan, jossa raportointi on merkittävä tiedon kumuloitumisen edellytys.
Kehittämisraportteja kuuleekin välillä kutsuttavan
106
huonoksi tutkimukseksi, mikä paljastaa, että nii
tä arvioidaan samantyyppisin kriteerein kuin tut
kimusraportteja. Kehittämisraportti, joka perustui
si perusteltuun tietoon ja pystyisi välittämään ulos projektin toteuttamisen kannalta olennaisimmat piirteet ja löydökset, on varmasti haaste. Rapor
toinnin laatu on eräs keskeinen tekijä, joka pa
rantaisi kehittämisprojektien kokemusten ja tulos
ten leviämistä. Toisaalta voidaan kysyä, onko perinteinen kirjallinen muoto paras ja toimivin kanava kokemuksellisen tiedon levittämisessä.
Olisivatko verkostomaiseen yhteistoimintaan pe
rustuvat rakenteet sujuvampia kanavia kehittä
mistyössä syntyvän tiedon hyödyntämiseen?
Alasoinin (1996, 13) mukaan toimijoiden väli
nen yhteistyö ja eritasoinen verkottuminen ovat edellytyksiä innovaatioiden leviämiselle ja oppi
miselle. Hänen mukaansa tarvitaan rakenteita, jotka mahdollistavat tiedon ja kokemusten välit
tämisen. Projektien sisällä on luotu vertaisohjauk
sen ja -arvioinnin menetelmällä foorumeita tieto
jen ja kokemusten vaihdolle ja laajoissa projek
teissa eri toimijoita on pyritty verkottamaan. Esi
merkiksi valtakunnallisessa Perhesuunnittelu 2000 -projektissa on luotu alueellinen resurssi
keskus, joka kokoaa kehittämisen kokemuksia (Perhesuunnittelu 2000, 1996). Myös erilaisia tie
donsiirron välineitä ollaan lanseeraamassa mo
nitoimijaisten projektien käyttöön, mutta esim.
sähköpostin tai servereiden käyttö ei ole vielä saanut vakiintunutta asemaa yhteisenä tiedon ja kokemusten vaihdon välineenä. Erilaisilla valta
kunnallisilla kehittämistoiminnan keskuksilla on merkittävä verkottamistehtävä. Eri alueilla verkot muodostuvat eri tavoin ja todennäköisesti omak
suvat hyvinkin erilaisia toimintatapoja. Toimijat omaksuvat erilaisia rooleja ja tehtäviä. Sosiaali
ja terveydenhuollon alueella alan oppilaitoksilla ja niiden yhteydessä ammattikorkeakouluilla voi
si olla nykyistä huomattavasti suurempi rooli ke
hittämistyön osaamisen edistämisessä.
Kehittäjille - niin valtakunnallisella kuin paikal
lisella tasolla - on tuttu sellainen tilanne, jossa käynnistettävään kehittämisprojektiin hakeutuvat aina samat kehittämismyönteiset kunnat ja/tai henkilöt. Tämä herättääkin kysymyksen, tuotta
vatko nämä »kehittämisen ammattilaistoimijat ammattilaiskentällä» innovatiivisimpia ajatuksia ja tuotoksia ja mikä on kyseisten toimijoiden moti
vaatio ja peruste erityisen innokkaaseen projek
tihalukkuuteen (ks. myös Fisker 1992). Kolikon toinen puoli on toisaalta, miten aktivoida ja toi
mia sellaisten kuntien tai toimijoiden kanssa, joilla kehittämisvetoisuutta ei ole. Samat lääkkeet ei
vät tepsi kaikille ja toisaalta voidaan kysyä, kuin-
HALLINNON TUTKIMUS 2 • 1997
ka pitkälle kaikkien on pyrittävä kehittämistoimin
nan ideaalia kohti. Sillä ainakin taustalla lienee havaittavissa ideaalikuva dynaamisesta, innova
tiivisesta ja oppivasta kehittymisen kohteesta, joka voi olla kunta, yksittäinen työntekijä tai työ
yhteisö.
LÄHTEET
Alasoini, Tuomo: Työelämän tutkimusavusteinen kehit
täminen oppivassa yhteiskunnassa. Näkökulmia uuteen työpoliittiseen ajatteluun. Työpapereita 1. Edi
ta. Helsinki 1996.
Arnkil, Erik: Utelias »kehittäjä». Teoksessa Lindqvist, T.
& Rajavaara, M. (toim.) Kehittämistyö itseanalyysiin.
Helsingin yliopiston Lahden tutkimus- ja koulutus
keskuksen täydennyskoulutusjulkaisuja 8/1994 ja Stakesin raportteja 147. Helsinki 1994.
Bemelmans-Videc, Marie Louise & Eriksen, Bjarne &
Goldenberg, Edie: Facilitating organizational learn
ing: Human resource management and program eval
uation. Teoksessa Leeuw, F., Rist, R. & Sonnichen, R. (eds.) Can governments learn? Transaclion Pub
lishers. New Jersey 1994.
Chelimsky, Elianor: Where we stand today in the prac
tice of evaluation. Knowledge and policy 8 (1995):
3, s. 8-19.
Chinapah, Vinayagum & Miron, Gary: Evaluating edu
cational programme and projects: holistic and prac
tical considerations. Unesco. Socio-economic stud
ies 15. Gembloux 1990.
Filander, Karin: Muutosagentit epävarmuuden ajassa -puhetta, toimintaa, oppimista. Lisensiaatintutkimus.
Tampereen yliopisto. Kasvatustieteiden laitos. Tam
pere 1995.
Finne, Håkon & Levin, Morten & Nilssen, Tore: Trailing research: A model for useful program evaluation.
Evaluation 1 (1995): 1, s. 11-31.
Fetterman, David & Kaftarian, Shakeh & Wandersman, Abrahan (eds.): Empoverment evaluation. Knowledge and tools for se/f-assessment & accountability. Sage Publications. Thousand Oaks 1996.
Fisker, Jesper: Experiments as a strategy tor change?
-A survey of Danish projects within the area of so
cial welfare and health. AFK Forlanget. Copenhagen 1992.
Guba, Egon & Lincoln, Yvonna: Fourth generation eval
uation. Sage Publications. Newbury Park 1989.
Haverinen, Riitta: Asukas lähiökehittämishankkeissa.
Teoksessa Lindqvist, T. & Rajavaara, M. (toim.). Ke
hittämistyö itseanalyysiin. Helsingin yliopiston Lah
den tutkimus- ja koulutuskeskuksen täydennyskou
lutusjulkaisuja 8/1994 ja Stakesin raportteja 147.
Helsinki 1994.
Jalava, Urpo & Virtanen, Petri: Laatu, innovaatio ja projekti. Hyvinvointipalvelujen ydinkysymyksiä. Kir
jayhtymä. Helsinki 1996.
Jasailis, J. Edward: The use of »OD» tor managing change in goverment organizations. Administrative Studies (1996): 4, 268-274.
Järvinen, Annikki & Kontkanen, Leila & Poikela, Esa &
Stachon, Kari & Valkama, Hannu: Työ, asiantunti
juus ja oppiminen. Aikuiskasvatus (1995):2, s. 76- 84.
Kaasalainen, Marja: Projektien mahdollisuudet toimin- nan kehlttäjinã ja muuttajina. Teoksessa Lindqvist, T, Rajavaara, M (toim.), Kehittãmistуö itseanalyysiin, Helsingin yliopiston Lahden tutkimus- ja koulutuskes- kuksen tãydennyskoulutusjulkaisuja 8/1994 ja Sta- kesin raportteja 147, Helsinki 1994.
Kalimo, Raija & Leskinen, Jukka & Toppinen, Salla:
innovaatioprojektin joktaminen teollisuudessa. Ryh- män vaiheet ja stressin hallinta. Työ ja ihminen, tut- kimusraportti 1. Työterveyslaitos, Helsinki 1994.
Kasvio, Antti: Johtajuus työelämässä. Kokti nykyaikaista johtajuutta. Aikuiskasvatus (1996): 4, s. 253-258.
Kasvio, Antti: Uusi työn yhteiskunta. Suomalaisen tyS- eläтän muutokset ja kehittãmismandollisuudet. Gau- deamus. Helsinki 1994.
Kasvio, Antti & Lahtonen Maarit: Henkilöstö ja palvelu- jen kehittäminen kansainvälistyvässä suurkaupungis- sa. Työhallinnon julkaisu 120. Helsinki 1995.
Kauppinen, Jarmo: Paikallistason rooli ja omaehtoisuus korostuvat kehittäтistyõssä. Kunnallistieteellinen ai- kakauskirja (1994): 2, s. 23-31.
Kuitunen, Kimmo: Toimintatutkimusten tulosten arvioin- ti- ja mittaarnisongelrnat: Esimerkkitapauksena hen- kilbstön kehittäminen kuntasektorilla. Tampereen yli- opisto. Yhteiskuntatieteiden tutkimuslaitos. Työelã- mãn tutkimuskeskus, työraportteja 21/1991.
Kuula, Arja: Toimintatutkimus kunnallisten tyдyhteisö- jen tutkimisen ja kehittämisen välineenä. Kunnallis- tieteellinen aikakauskirja (1994): 2, s. 32-44.
Leeuw, Frans & Sonnichen, Richard & Rist, Ray: Can Governments learn? Comparative perspectives on evaluation & organizational learning. Transaction Publishers. New Brunswick 1994.
Loijas Sari & Merentie Aini: Kohti yhteiskuntaa kaikille Vammaispoliittinen ohjelma. Sosiaali- ja terveysmi- nisteriön julkaisuja 10/1995.
Love, Arnold: Internal evaluation. Building organizations from within. Sage Publications. Newbury Park 1991.
Marsden & David & Oakley, Peter: (eds.) Evaluating social development projects. Development guide- lines 5. Oxfam. Oxford 1990.
Mayne, John: Utilizing evaluation in organisations: the balancing act. Teoksessa Leeuw, F, Rist, R & Sor- michen, R (eds.) Can governments learn? Transac- tion Publishers. New Jersey 1994.
Pajukoski, Marja: Ehkäisevän sosiaalipolitiikan kunta-
projektin hallinnollinen loppuraportti. Sosiaali- ja ter- veysministeriön selvityksiä 8. Helsinki 1996.
Perhesuunnittelu 2000 verkostolehdet. Stakes. 1996.
Rajavaara, Marketta: Kaikenlaisia kehittäjiä ja kehittä- misajatteluja. Teoksessa Lindqvist, T, Rajavaara, M (toim.). Kehittãmistyö itseanalyysiin. Helsingin yliopis- ton Lahden tutkimus- ja koulutuskeskuksen tãyden- nyskoulutusjulkaisuja 8/1994 ja Stakesin raportteja 147. Helsinki 1994.
Rajavaara, Marketta: Evaluaatiotutkimus ja sosiaalikuol- Ion kenttä. Teoksessa: Suomalainen sosiaalityö.
Sosiaalipolitiikka. Sosiaalipoliittisen yhdistyksen vuo- sikirja 2. Gummerus. Helsinki 1990.
Rist, Ray: The preconditions for learning: Lessons from the public sector. Teoksessa Leeuw, F, Rist, R &
Sonnichen, R (eds.) Can governments learn? Trans- action Publishers. New Jersey 1994.
Rossi, Peter & Freeman, Howard: Evaluation. A sys- tematic approach. Sage Publications. Newbury Park 1993.
Seppänen, Riitta: Vanhusten perhepäivähoito - yksi- löllistä ja joustavaa huolenpitoa. Sosiaali- ja terveys- ministeriön selvitуksiã 3/1996.
Sihto, Marita: Terveyspoliittisen ohjelman vastaanotto - tutkimus suomen terveyttä kaikille vuoteen 2000 -ohjelman toimeenpanosta terveydenhuollossa.
Stakes, tutkimuksia 74. Helsinki 1997.
Sinkkonen, Sirkka & Kinnunen, Juha: Arviointi ja seu- ranta julkisella sektorilla. Kuopion yliopiston julkai- suja E Yhteiskuntatieteet 22. 1994.
Sommerland, Elizabeth & Willoughby, Susan: Self-eva- luation and the practitioner evaluator. Evaluation 1 (1995): 1, s. 106-118.
Ståhle, Pirjo: Oppiva organisaatio - menestyksen ehto.
Aikuiskasvatus (1995): 1, s. 11-13.
Terveyden edistäminen kunnassa. Terveyttä kaikille vuoteen 2000 -kuntaohjelma. Päätelmät ja suosituk- set. Sosiaali- ja terveysministeriön julkaisuja 15/1996.
Unrau, Yvonne: Expanding the role of program evalu- ation in social welfare policy analysis. Evaluation Review (1993): 3, s. 653-662.
van der Vaal, Mark: A triangulated case method of pro- gram evaluation and adjustment. Teoksessa Mayne, J yms (toim.). Advancing Public Policy Evaluation:
Learning from international Experiences. Elsevier Science Publishers 1992.
Pohjoismaiden hallinnollisen liiton 25. yleiskokous
pidetään
Helsingissä 21.-22.8.1997.
Teeman »En god nordisk förvaltning
-
principer och vardag» puitteissa pohditaan mm.periaatteiden merkitystä ja vaikutusta käytännön hallintotoimintaan erityisesti kansalai- sen näkökulmasta seka erilaisten ohjauskeinojen käyttökelpoisuutta hyvän hallinnon to- teuttamisessa. Luennoitsijat ovat eri pohjoismaista. Viimeinen ilmoittautumispäivä on
16.6.1997.
Yleiskokouksen ohjelmasta kertovia esitteita sekä lisätietoja liiton toiminnasta saa lain- säädäntösihteeri Jannika Enegren-Åbergiltä,
Oikeusministeriö, PL 1, 00131 Helsinki, puh: (09) 1825 7726,
sähköposti: jannika.enegren-aberg@om.vn.fi
