Arvioinnista on kysymys näkymä

264

organisaatio- ja tehtäväympä- ristöissä toimivat yhteiskunta- tieteilijät ovat koostaneet artikkelikokoelman kirjaksi, jonka nimi pyrkii yhdistä- mään toisiinsa asiantuntijuu- den (ammattina) ja arvioin- nin. Nimen rinnastus ei kuitenkaan kirjassa aukea.

Artikkelit eivät näet pohdi asiantuntijuuden rakentumista evaluaation avulla sen parem- min kuin arvionnin erityis- asiantuntijan synnyttämistä teoriaa ja käytäntöä yhdistä- mällä. Useimmissa artikkeleissa on kovin kriittinen kaiku, jopa siinä määrin, että yksi kirjoittajista haluaa jakaa Tyko-kurssien arvioinnin suorittajana kokemansa syylli- syyden tunteen lukijoittensa kanssa. Kun takakannen esitte- lyteksti kysyy, puhuuko arvi- ointitutkija koskaan totta, joutuu lukija taatusti hämil- leen. Ymmälläolo säilyy kirjan luettuaankin. Suurin syy sii- hen on, että tekstit eivät tar- peeksi eksplisiittisesti ota kantaa siihen, puhutaanko evaluaatiotutkimuksesta, tai jopa evaluaatiotieteestä, vai käytännön arviointitoimin-

ARVIOINNISTA ON KYSYMYS

Eräsaari R., Lindqvist T., Mäntysaari M. &

Rajavaara M. (1999):

Arviointi ja asiantunti- juus.

Gaudeamus.

vaikka näkökulmat ovat niin erilaiset kuin ne voivat olla

nasta. Mahdollistahan on, että kirjoittajat eivät eroa tee.

Useat kirjan artikkelit ovatkin yhteiskunta- ja ihmistieteiden tieteenfilosofisia ja paradig- maattisia näkemyseroja kuvaa- via ja arvottavia. Kantaa ote- taan selvästi “neljännen pol- ven” evaluaationäkemyksen ja tulkitsevan paradigman puo- lesta, jonka mukaan arvionnin tarkoituksena on arvioitavien itseymmärryksen lisääminen ja heidän valtauttamisensa eikä niinkään jonkin toiminnan tai organisaation ansioiden tai arvon määrittäminen. Näin sen kummemmin perustele- matta väitetään evaluaatiotut- kimuksen olevan huono- maineista ja esimerkkkeinä maineen pilaajista tarjotaan toimeksiantorahoitusta, käy- tännön tietotarpeita, poliitti- sia paineita, vaatimuksia no- peista tuloksista ja selviä tu- losodostuksia. Jos nämä todel- la ovat tiedeyhteisön kuole- mansyntejä, tosiuskovien tieteentekijöiden määrä on maassamme varsin pieni.

Yllättävää on, miten sitkeästi tiedereviirit pitävät puoliaan. Jos todella puhu- taan evaluaatiotutkimuksesta (vastakohtana tai laajennukse- na oman tutkimus- tai toimi- alan käytännön arviointitoi- minnalle), olettaisi eri tie- teenalojen käyttävän ristiin toistensa tutkimustuloksia jakavan yhteisen käsitteistön ja jopa termistön. Näin ei

näytä olevan. Tämänkin teok- sen laaja lähdeluettelo edustaa kirjoittajiensa erikoisaloja.

Näin pyörä on keksittävä jo- kaisessa “tiedesiilossa” uudel- leen. Kasvatustieteessä, psyko- logiassa ja taloustieteessä on vuosikymmeniä analysoitu ilmiöitä Pattonin, Scrivenin, Weissin, Staken jne. rakenta- missa käsitteistöissä. Formatii- vinen ja summatiivinen arvi- ointi käsitteinä analysoitiin puhki viimeistään 1970- luvulla. (Outoa on, että esi- merkiksi Stakesin kirjoittajat eivät lainkaan mainitse diag- nostista arviointia, jonka olet- taisi sosiaali- ja terveyden- huollon alalla olevan keskei- nen arviointimuoto pyrittäes- sä kustannustehokkaasti tyy- dyttämään asiakkaiden tarpei- ta.) Reijo Laukkasen mittavas- ta, virkamiehen näkökulmasta tekemästä arviointianalyysista tunnetaan vain Hallinnon tutkimuksessa julkaistu artik- keli. Suomen Akatemian kou- lutuksen vaikuttavuusohjel- man 14 projektin yli 200 julkaisusta ei tunneta ainoata- kaan. Viimeiseen lukuun olisi oivan referenssin tarjonnut Guy Neaven ja muiden käyt- tämä evaluoivan valtion käsi- te.

Jokainen kirjan artikkeli itsellisenä tuotoksena on mie- lenkiintoinen ja haastava.

Niistä piirtyy kuva evaluaati- osta hankalana ja relativistise- na toimintana, joka useimmi- K I R J A - A R V I O I T A

AIKUISKASVATUS 3/99

265

ten on vallankäytön, verho- tun tai avoimen, kyllästämä, intressisidonnainen ja toi- mintaa etu- tai jälkikäteen legitimoiva. Mielestäni kes- keinen on myös toteamus, että julkisella sektorilla mark- kinasignaalien puuttumista korvataan evaluaatiotiedolla, (jossa sielläkin hallintokoneis- toa lähellä olevat suorittavat arvionnin: erityisesti Stakes ja opetushallitus.) Viimeinen artikkeli Fortunan renesanssis- ta tosin vaatisi lukuohjeen, jotta sen osaisi suhteuttaa muihin artikkeleihin. Ongel- ma onkin kokonaisuus, joka ei ilmeisesti ole minkään kokoavan evaluaatioprojektin raportti, vaan itsenäisesti tuo- tettujen ja koordinoimatto- mien artikkelien kokelma.

Jako pääkappaleisiin ei toimi.

Esimerkiksi A^{RVIOINNINKÄYTÄN}-

TÖ -luvun alla ei juurikaan kuvata arviontitehtävien to- teutusta vaan jatketaan ensim- mäisen luvun aloittamaa on- tologista, epistemologista ja eettistä pohdintaa. Joistakin käsitteistä olen kirjoittajien kanssa eri mieltä. Accountabi- lity-termillä on sekä manage- riaalinen tulosvastuun että taloudellinen tilivelvollisuu- den merkitys, mutta mielestä- ni ei missään tapauksessa vas- tuun (responsibility, answe- rability) merkitystä, joka on sisäinen moraalinen ja eetti- nen velvoite. Jos tämä ero häivytetään, putoaa tulosjoh- tamisen arvostelulta pohja. Eri mieltä olen myös siitä, että kustannusvaikuttavuudesta olisi tullut keskeinen päätök- sentekoa ohjaava käsite. Aina- kaan tutkimus- ja evaluaatio- tietoa siitä on perin vähän verrattuna kustannus-hyöty- tai tehokkuustutkimukseen (erityisesti teknisen, taloudel-

lisen ja skaalatehokkuuden tutkimukseen). Kun samassa artikkelissa vaaditaan behavio- ristista, ulkoisen palautetie- don hyväksikäyttöä (vahvista- mista/sammuttamista) ja kon- struktivistista oppimiskäsitys- tä, jää kaipaamaan vastakkais- ten käsitysten silloittamista.

Mielenkiintoisen näkö- kulman evaluaatioon tarjoaa artikkeli A^RVIOINTIKANSANVALTAI-

SENAKÄYTÄNTÖNÄ, jossa evaluaa- tio nähdään perspektivismin (erilaisten poliittisten näkö- kulmien) suodattamana kan- sanvaltaisena kansalaisargu- mentaationa. Keskustelevassa kansanvallassa päätös- ja toi- mintavaihtoehdot pidetään avoimina mahdollisimman pitkään ja ne muotoillaan vasta asioiden puhkikeskuste- lemisen jälkeen. Jokainen kansalainen olisi hyvin infor- moitu jokaisesta päätöksen kohteesta ja olisi oikeutettu osallistumaan lopullisen vaih- toehdon valintaan. Houkutte- leva utopia perirationalistises- ta päätöksenteosta, mutta paluuta antiikin agoralle ei taida olla. Keskustelevat kan- sanvallat ovat aina muuttu- neet keskustelemattomiksi kansantasavalloiksi.

Avoin evaluaatiotoiminta on keskeinen edustuksellisen demokratian kontrollin keino.

Siksi evaluaation käsitettä ei pidä niin hämärtää, että siltä häviää käsitteen määritelmään ja jopa termiin sisältyvä arvot- tava tehtävä (evaluate, arvioi- da). Artikkelin kirjoittajat ovat oikeassa siinä, että koska teoriattomia (arvottamatto- mia) havaintoja ei ole ole- massa, arviointitiedon kerää- mistä ohjaavat ja kerätyn in- formaation tulkinnassa käyte-

tyt arvot on tehtävä näkyviksi nostamalla arviotavat keskus- telun osapuoliksi. Itsearvioin- ti ja emansipoiva näkökulma eivät kuitenkaan poista rajalli- sia resursseja jakavalta poliitti- selta päätöksenteolta priori- sointitarpeita. Arvot on saata- va järjestykseen, mutta siihen työhön (evaluaatio)tieteellä ei ole tarjota absoluuttista totuutta, ainoastaan eri tavoin paradigmaattisesti sitoutunei- ta näkökulmia. Kirjan anti onkin näiden näkökulmien esittämisessä (yhteiskunta)- tieteellisen kielenkäytön ja argumentoinnin pelisäännöin.

Kiitollisimman lukijan se saa arvionnin teorioista ja käytän- nöstä jo perillä olevien jou- kosta. Alan noviisille tarkoi- tettu teos olisi vaatinut joh- topäätös- tai yhteenvetolu- vun, jossa toimittaja olisi ottanut kantaa artikkelien avaamiin näkökulmiin syste- maattisemmin, kuin nyt on tehty.

Niin, kysymys evaluaatio- tieteen ja evaluaatiotoimin- nan erillisyydestä! Tieteelli- nen evaluaatio voisi mielestä- ni olla tutkimuksen pelisään- nöin kerättyä informaatiota, sen kurinalaista analyysia ja pelkästään aineistosta tehtyjä, ylitulkintaa välttäviä johtopää- töksiä. Jos arvioija ottaa arvi- oimansa toiminnan tai insti- tuution tarkoituksen, päämää- rän ja tavoitteet annettuna, hän voi myös liimata kohtee- seensa arvolappuja kustannus- tehokkuuden, kustannus- vaikuttavuuden tai tulokselli- suuden näkökulmasta. Mutta hänen ei tule tarjota tieteen arvovaltaa poliitikon käyttöön eikä vahvistaa kansalaisten tiedeuskoa ja näin legitimoi- da poliitikon tekemiä arvova-

266

tiede voisi puolestaan olla saman kohteen evaluaatiotie- don meta-analyysia ja tutki- musta evaluaatiosta “oliona”.

Tämän tulkitsen olevan useimpien kirjan kirjoittajien- kin välittämän viestin.

Remes V. & Yrjölä P.

(1998): Ammatillisen lisäkoulutuksen arvi- ointi. Arviointi 10/

1 9 9 8 .

Opetushallitus.

Arvioinnilla on katsottu olevan kaksi osittain ristirii- taistakin funktiota. Toinen on poliisifunktio eli sen varmis- taminen, että normit on täy- tetty, rahat käytetty sinne, mihin ne on tarkoitettu, että kaikki mitä on puuhattu on tehty oikein ja tehokkaasti.

Toinen funktio, kehitysfunk- tio, on parantaa ja tehostaa toimintaa, varmistaa se, että tehdään myös oikeita eli rele- vantteja asioita, toimitaan mielekkäästi ja sopeudutaan riittävän nopeasti muuttuvaan toimintaympäristöön. Mutta näyttää ilmeiseltä, että arvi- oinnilla on myös kolmas, byrokraattinen funktio. Kou- lulakimme sisältävät jokaiselle oppilaitos- ja koulumuodolle arvioinnin vaatimuksen, ja ylimmäksi arviointiviranomai- seksi on asettu opetushallitus.

On siis normeerattu tietty käyttäytymis- ja toimintaluok- ka, jonka on tuotettava indi- kaattoreita eli arviointiraport- teja tehtävänsä täyttämisestä.

Ammatillisen lisä- koulutuksen pedagogiikan arviointi on suoritettu ja ra-

portoitu tavalla, jonka on uskottu jääneen 1970- tai viimeistään 1980-luvulle.

Lähestymistapa edustaa toisen ja kolmannen polven edu- metrista, kaikkea mittaamaan pyrkivää käsitystä ja toteutta- mistapa puhdasta survey- selvitystä. Hyvin tehtyinä niillä on toki oikeutensa.

Mutta kun tarkoituksena on pedagogiikan arviointi, mie- lestäni valittu metodi on yk- siselitteisesti päätarkoituksen- mukainen. Opetushallinto itse, puhumattakaan opettajis- ta, on ankarasti kritisoinut tämäntyyppistä kasvatustutki- musta hyödyttömäksi ja vai- keaselkoiseksi. Raportin sadal- le tekstisivulle on mahdutettu 17 taulukkoa, 51 pylväsdiag- rammaa ja esimerkinomaisesti mainittuna yhteen tauluk- koon 231 tilastollista testiä (11 opintoalaa x 21 arvioin- tikohdetta). Miksi on testattu, mitä on testattu ja mitä testi- suureiden perusteella pitäisi päätellä? Mitä testisuureiden avulla voisi päätellä efektien voimakkuudesta (erojen aihe- uttajista)? Kaiken vaivan jäl- keen selvitys ei ole päässyt riipaisemaankaan lisäkoulu- tuksen pedagogiikkaa, kyllä- kin ulkoapäin asianomaisten arviota ja mielipiteitä erilai- sista vallitsevista koulutuskäy- tänteistä. Survey-tutkimukse- nakin asiantuntija löytäisi mittavälineistä ja raportista puutteita (testaaminen, kato, avoimet tai peitetyt kausaali- tulkinnat, aineistoon liitty- mättömät tulkinnat, validi- teettiongelmat), mutta se ei ole oleellinen arvioinnin lähtökohta. Koska raportti on tarkoitettu arviointiraportiksi eikä tutkimusraportiksi, sitä on arvioitava omassa luokas- saan.

Raportin jälkiluvuiksi on liitetty otsakkeella “Ammatil- lisen lisäkoulutuksen teoreet- tista tarkastelua” kirjallisuus- viitteitä. Miksi? Niiden yhte- ys mittareihin ja tehtyihin tulkintoihin ei näy millään tavalla. Valittua empirististä lähestymistapaa ja arviointipa- radigmaa ei ole lainkaan problematisoitu. Kysymys onkin edellä mainitusta tie- teellä legitimoinnista: “objek- tiivisesti” tuotetun kvantita- tiivisen massiivisen esityksen a posteriori todistamisella mielekkääksi toisten tutkijoi- den sanoin. Aivan oman poh- dintansa tässä yhteydessä vaa- tisi valittujen (ja normatiivi- sena annettujen) kriteereiden pohdinta. Missä määrin on relevanttia vaatia 400 tunnin lisäkoulutusjaksolla “laajaa valinnaisuutta”, “opetuksen yksilöllistämistä”, se kun on vaikeaa peruskoulussakin, jossa parhaimmillaan sama oppilas ja sama opettaja työs- kentelevät yhdessä kuusikin vuotta ja jossa oppilasjoukko on sangen homogeeninen verrattuna kirjavaan aikuis- opiskelijoiden joukkoon, tai nopeasti vaihtuvissa opiskeli- jajoukoissa kullekin laadittua

“henkilökohtaista opiskelu- suunnitelmaa”. Kenen tämä opiskelusuunnitelma tulisi laatia? Opettajienko? Minkä- laisia diagnostisia mahdolli- suuksia heillä on ottaa tehtävä vakavasti?

Vastaavasti tulosten osalta jää pohtimatta, mistä koulutusalakohtaiset erot joh- tuvat. Missä kontekstissa ku- kin koulutus toteutuu? Min- kälainen on kunkin alan opis- kelija-aines? Kysymys on siis siitä, kuinka”oikeuden- mukainen” kunkin alan saama K I R J A - A R V I O I T A