Kehittävän vaikuttavuusarvioinnin prosessi ja sen toteutus

Kehittävän vaikuttavuusarvioinnin prosessi on uudenlainen menetelmä, jonka tarkoituksena on edistää tutkimusorganisaatiota tekemään entistä vaikuttavam-paa tutkimusta. Toimintaa tarkastellaan tutkimuksen tekijöiden tasolla, joiden toiminnassa laadullista muutosta eli oppimista pyritään saamaan aikaan. Kehit-tävän vaikuttavuusarvioinnin prosessissa yhdistyvät organisaation kehittäminen, strateginen suunnittelu ja toiminnan vaikuttavuudesta oppiminen. Menetelmän teoreettisena taustana on yhdistelty kehittävää työntutkimusta ja ekspansiivista oppimista sekä vaikuttavuusarvioinnin piirissä kehiteltyjä malleja. Kehittämisen taustalla on hyödynnetty myös ekspansiivisen oppimisen käytännön sovellusta, muutoslaboratoriota. (Ks. Virkkunen ym. 2001; Muutoslaboratorio 2007.) Kehittävässä vaikuttavuusarvioinnissa ja tässä tutkielmassa organisaation oppi-minen nähdään etenkin sosiaalisena ja moniäänisenä prosessina. Tämän hahmot-tamista tutkimusorganisaation näkökulmasta auttaa esimerkiksi tutkimuslaitosten strategian moninaisuuden ja moniportaisuuden ymmärtäminen. Tutkimuslaitosten strategiaan vaikuttavat muun muassa sitä ohjaavan ministeriön tavoitteenasettelu

sekä tutkimuksen asiakkaiden ja rahoittajien tarpeet. Lisäksi strategia laaditaan koko tutkimuslaitoksen, tutkimusohjelmien ja ryhmien tasolla. Vaikuttavan tutkimuksen tekemisen yhtenä ehtona on, että kaikki nämä näkökulmat ovat linjassa toistensa kanssa aina tutkimuksen tekijöille asti, sillä he viime kädessä toteuttavat strategiaa toi-minnallaan. Näin tutkimuslaitoksen strateginen kehittäminen ja vaikuttavamman tut-kimuksen tekeminen edellyttävät myös laitoksen ulkopuolisten näkökulmien, kuten ministeriön ja asiakkaiden näkökulmien, huomioimista. (Vrt. Hyytinen ym. 2008.) Tutkimus- ja kehitystoiminnan vaikuttavuuden arviointia on tehty perinteisesti koko tutkimuslaitoksen tasolla, mikä on merkinnyt koko organisaation toimintaa kuvaavien vaikuttavuusmittareiden ja indikaattorien kehittämistä. Näiden mitta-reiden ja indikaattorien on kuitenkin todettu todellisuudessa toimivan kehnosti tutkijatason kehittämisen välineenä, sillä niiden ei ole havaittu saavan tutkijoi-den toiminnan tasolla muutosta tai oppimista aikaan. Merkittävä syy tähän on, että koko organisaation toimintaa kuvaavien mittareiden merkitystä on vaikea nähdä oman työn kannalta. Kuten oppimisteorioiden käsittely osoitti, organisaation oppimisen tavoittelu muuttaa tarkastelun mittakaavaa välttämättä toiminnan ”ruo-honjuuritasolle”. (Saari ym. 2008; Lähteenmäki-Smith ym. 2006, 26–27, 62–68.) Organisaation oppimisen ja arvioinnin yhteys on noussut myös kansainvälisesti kiinnostavaksi aiheeksi. Keskusteluissa todetaan usein, että organisaatiot voivat ja niiden tulisi oppia arvioinneistaan, mutta malleja siihen, miten tämä tapahtuisi, on harvemmin esitetty. Näistä syistä VTT:n tutkijaryhmä lähti kehittämään laa-dullisempaa kehittämis- ja arviointitapaa, jossa tutkijat voisivat konkreettisesti oppia oman toimintansa vaikuttavuudesta. Tavoitteena oli, että tutkijat näkisivät oman tutkimuksensa ja sen vaikuttavuuden osana laajempaa kokonaisuutta: osana organi-saatiotason, asiakkaan ja tutkimuksen hyödyntäjän toimintaa sekä osana yhteiskun-nallisen ongelman ratkaisemista. Lisäksi tarkoituksena oli, että prosessissa syntynei-tä kokemuksia käytesyntynei-tään hyväksi organisaatiota kehitsyntynei-täessä ja sen strategista suuntaa määritellessä. (Saari ym. 2008; Lähteenmäki-Smith ym. 2006, 26–27, 62–68.) Organisaation oppimisteorioiden ja prosessien tarkastelu osoitti, että parhaan oppimistuloksen aikaansaamiseksi organisaation jäsenten on itse muodostettava oppimiskokemuksensa ja osallistuttava sitä tavoittelevan muutosprosessin läpi-viemiseen (vrt. esim. Virkkunen ym. 2001, 15; Kirjavainen & Lähteenmäki 2005, 13, 25). Jotta toimijat voisivat käyttää arvioinnin tuloksia oman toimintansa kehittämiseen, heidän on itse osallistuttava arviointiprosessiin ja kehitettävä

ratkaisuja löydettyihin toiminnan epäkohtiin. Kehittävän vaikuttavuuden arvioin-nin prosessissa toimijat saavat itse rakentaa oman tulevaisuutensa. Prosessi to-teutettiin ensimmäistä kertaa julkisessa tutkimusorganisaatiossa, minkä vuoksi siinä huomioidaan tutkimustyön erityispiirteet. (Saari ym. 2008.)

Kehittävän työntutkimuksen prosessit toteutetaan menetelmällä, joka on johdettu ekspansiivisen oppimisen syklistä. Engeström (1998, 126, 128) nostaa esille, että kehittävän työntutkimuksen prosessien tehtävänä on työntää ekspansiivisen op-pimisen sykliä eteenpäin interventiolla eli väliintulolla. Nämä prosessit käynnis-tävät tyypillisesti tutkija tai tutkijat, joiden tehtävänä on tällöin a) tuottaa työnte-kijöille peiliksi konkreettista havaintoaineistoa näiden työstä sen häiriöiden to-teamiseksi ja syötteeksi uusia ideoita varten, b) asettaa heille tehtäviä tuotetun aineiston analysoimiseksi ja uuden toimintamallin muodostamiseksi ja sovelta-miseksi sekä c) muovata ja tarjota käsitteellisiä välineitä näiden tehtävien suorit-tamiseksi. Tästä näkökulmasta koko kehittävän työntutkimuksen sekä kehittävän vaikuttavuusarvioinnin prosesseja voidaan luonnehtia ikään kuin koulutuspro-sesseiksi, jotka on johdettu ekspansiivisen oppimisen syklistä. Kehittävän vai-kuttavuusarvioinnin etenemisvaiheita kuvataan kuvassa 5.

1. Tarvetila = 1 paja Toiminnan strateginen taso:

– uudet haasteet ja paineet toimintaympäristössä Uusi sykli muualla

organisaatiossa

2. Toteutuneen hankkeen vaikutusanalyysi = 2 paja – vaikutukset käytön kannalta:

1. kehittäjä-tuottaja-käyttäjä-verkossa 2. tutkimusosaamiseen

3. yhteiskunnalliset vaikutukset

3. Uuden toimintamallin suunnittelu ja kehittäminen = 3 paja

– uudenlaisen tutkimuskonseptin rakentaminen vaikuttavuusarvioinnin pohjalta

– kehittyneet ratkaisut oppimismallina – uudet hankesuunnitelmat

– opit muihin t&k-hankkeisiin – kehittävän arvioinnin levitys

Kehittävän vaikuttavuusarvioinnin sykli tutkimus- ja kehitystoiminnassa

Kuva 5. Kehittävä vaikuttavuusarviointi oppimissyklinä (Saari ym. 2008, 43).

Kuten kuvassa 5 esitetään, kehittävän vaikuttavuusarvioinnin prosessi lähtee liikkeelle ja palaa toiminnan strategiselle tasolle. Ensimmäisessä työpajassa tutkimusalaa tarkastellaan osana senhetkistä yhteiskunnallista tilannetta ja sen muutoshaasteita. Koska prosessi toteutetaan yhdessä organisaation tutkijoiden kanssa, vaikuttavuuden arvioinnin yksiköksi valitaan tutkijoiden suorittama työ eli tutkimushankkeet. Parhaimmillaan tutkimushankkeet toteuttavat organisaati-on perustehtävää ja ovat samassa linjassa organisaatiorganisaati-on strategian kanssa. Kehit-tävän vaikuttavuusarvioinnin prosessiin valitaan ikään kuin näytteeksi toimin-nasta muutama, noin 1–3 vuotta sitten päättynyt hanke, joita arvioidaan yhdessä.

Oppimistilaisuuteen pyydetään valmistellut puheenvuorot tutkimuksen asiak-kaalta ja mahdolliselta loppukäyttäjältä.

Prosessin toisessa vaiheessa arvioidaan päättyneitä hankkeita kolmesta näkö-kulmasta: 1) millaista muutosta hanke on saanut aikaan asiakkaan kannalta, 2) miten tutkimus on kumuloinut tutkijayhteisön osaamista ja 3) miten hanke on edesauttanut siihen liittyvän yhteiskunnallisen ongelman ratkaisemista. Nämä kolme näkökulmaa edustavat samoja vaikuttavuuden tasoja, joita käytetään koko organisaation vaikuttavuuden arvioimiseksi (kuva 1). Tämä arviointivaihe pal-jastaa todennäköisesti tutkimuksen puutteita, toiminnan katkoksia ja menestyneitä ratkaisuja, joita osallistujat saattavat havaita myös omasta työstään. Hankkeen analyysin oletetaan auttavan tutkijaa näkemään vastaavia kehittämiskohteita omissa hankkeissaan. Kyse on siis yhden tapauksen logiikan yleistämisestä laa-jemmin omaan toimintaan. Siten päättyneen hankkeen analyysi antaa mahdolli-suuden oman toiminnan kyseenalaistamiseen. (Saari ym. 2008, 40–44; vrt. Argyris

& Schön 1996.) Arvioitavat hankkeet ja käyttäjien puheenvuorot toimivat Enge-strömin (1998, 126) mainitsemina peileinä havaintoaineistona työstä sen häiriöi-den toteamiseksi ja syötteeksi uusia ideoita varten.

Prosessin kolmannessa vaiheessa asiakas- ja tutkimuspuheenvuorojen jälkeen tavoitteena on tehdä yhteistä tulkintaa esitetyistä puheenvuoroista ja hahmotella uudenlaisen tutkimuksen ituja ja suuntia vaikuttavuusanalyysin inspiroimana.

Tarkoituksena on muodostaa toimijoiden kesken entistä laajemmin ja monipuo-lisemmin hahmotettu tutkimuksen toimintamalli. Tämä tarkoittaa, että kolman-nessa työpajassa muodostetaan tulevaisuuden haasteisiin paremmin vastaavia toimintatapa- tai hanke-ehdotuksia tutkimuskollegojen kanssa. (Saari ym. 2008, 42–45.) MTT:ssä tässä pajassa muodostettiin tutkimukselle strategisia painopis-tealueita eli keihäänkärkiä, joihin tutkimusta tulisi tulevaisuudessa suunnata.

Tämän jälkeen tutkijat muodostivat uusia hankesuunnitelmia toimijoiden itsensä organisoimana välitehtävänä. Näiden hankesuunnitelmien tarkoituksena oli olla uusien strategisten painopistealueiden ja uuden, laajemmassa kokonaisuudessa nähdyn toimintatavan suuntaisia.

Prosessin neljännessä vaiheessa muodostetut hanke- tai toimintatapaehdotukset esitetään organisaation johdolle, joka tulee tietoiseksi kehittämishankkeen sisäl-löstä ja voi samalla osallistua vuoropuheluun hanke-ehdotuksista sekä niiden yhteyksistä koko organisaation strategiaan. Strategisia hanke-ehdotuksia voidaan myös kehitellä eteenpäin pyytämällä työpajaan kommentoivia puheenvuoroja esimerkiksi tutkimusorganisaatiota ohjaavan ministeriön edustajilta.

Saari ym. (2008, 45) toteavat, että vuoropuhelu varsinkin suurissa organisaati-oissa, organisaation eri johtotasojen ja tutkijoiden välillä saattaa olla niukkaa (vrt. Nonaka & Tacheuchi 1995). Tämän vuoksi on tärkeää, että kehittävän vai-kuttavuusarvioinnin prosessiin osallistuu myös organisaation johtoa eri tasoilta.

Kajamaan ja Kerosuon (2006, 14) kehittämishankkeiden tulosten kestävyyttä ja leviämistä koskevassa tutkimuksessa havaittiin, että organisaation johdon rooli on keskeinen toimintatavan pysyvyydessä organisaation toiminnassa myös kehit-tämisprojektin jälkeen. Luomalla tuotettuja uusia toimintamalleja tukevia raken-teita ja käynnistämällä uusia, samansuuntaista kehitystä tukevia kehittämispro-jekteja johto voi lisätä kehittämishankkeen tulosten kestävyyttä sekä tukea niiden vakiintumista ja leviämistä. (Kajamaa & Kerosuo 2006, 14.)

Saari ym. (2008, 45) mainitsevat, että kehittävän vaikuttavuuden arvioinnin le-vittäminen edellyttää myös prosessin vaiheiden taltioimista. Kehittävässä vaikut-tavuusarvioinnissa syntynyttä oppimista voidaan arvioida analysoimalla taltioi-tuja kehitysistuntoja tai haastattelemalla prosessin keskeisiä toimijoita, jotka voivat itse reflektoida prosessissa syntyneitä oivalluksiaan. Kirjoittajat jatkavat, että parhaimmillaan oppiminen näkyy viiveellä laadullisesti uudenlaisena toi-mintatapana, kun uusia, prosessissa syntyneitä ituja aletaan viedä käytännön tutkimustoimintaan. Prosessin viides vaihe tarkoittaakin vaihetta, jolloin uusi toimintatapa otetaan laajemmin osaksi organisaation toimintaa. Tämä vaihe jää organisaation toimijoiden itsensä tehtäväksi (Saari ym. 2008, 43–45.)