Ohjauskeinojen monitieteellinen, monikriteerinen ja monitavoitteinen arviointi näkymä

Ohjauskeinojen monitieteellinen,

monikriteerinen ja monitavoitteinen arviointi

syömäkelvoton sillisalaatti vai herkullinen brunssi?

Mikael Hilden, Per Mickwitz, Jukka Similä & Stefan Sjöblom

ABSTRACT

Multidisciplinary, Multiple Criteria and Multi Objective Evaluations of Policy lnstruments

- An Unpalatable Mishmash or a Delicious Brunch

The demands for evaluation of public policy are increasing. ln a complex world the response to this demand has to be in the form of broad evaluations. Since most policy instruments have many goals there is a need to evaluate main as well as side effects using multiple criteria appro­

aches. This is a difficult task, often requiring several methods and the tools of many discipli­

nes to be used complementarily. This in turn, requires a multidisciplinary evaluation team in order to ensure the necessary competence. An evaluation of the environmental policy instru­

ments that have been used to regulate indust­

rial pollution in Finland is an example of an evaluation with such a wide scope. Our experi­

ences indicate that it is possible to approach the evaluation and in particular the problem of attributing observed changes to specific actions by employing several methods complementarily.

Multidisciplinary research are, however, deman­

ding and resource intensive. Neither will they solve all problems. ln complex settings no evaluation can resolve all uncertainties and unambiguously determine to which degree the observed development is due to the evaluated policy instruments. Extensive evaluations may nevertheless help to structure the discussion by bringing forward new aspects of and expla­

nations for observations. Thereby they can be useful in a learning process that can contribute to an improvement of policy instruments.

1 JOHDANTO'

Yleismääritelmä arvioinnista on, että kyse on toiminnasta, jolla selvitetään jonkun asian tai toiminnan merkitystä, hyödyllisyyttä tai arvoa (Scriven 1991). Hallinnon tutkimuksen näkökul­

masta arviointi on julkisen vallan harjoittaman politiikan ja toiminnan systemaattinen ja huolelli­

nen tarkastelu (Vedung 1997). Näin määriteltynä arviointi kuulostaa hyvin luontevalta tehtävältä hallinnossa, eikä ole yllättävää, että paineet toteuttaa arviointeja ovat kasvaneet (Furubo ja Sandahl 2000). Yllättävää ehkä on, että arviointi on ilmiönä verrattain uusi Suomessa. Harrinvir­

ran ym. (1998) tutkimus osoitti, että kiinnostus arviointien toteuttamiseksi vaihteli hallinnonalo­

jen välillä. Esimerkiksi kehitysyhteistyössä arvi­

oinneilla on ollut selkeä tehtävä jo pitkään, mutta toisissa ministeriöissä kiinnostus oli laimeampaa.

Ympäristöministeriö kuului niihin ministeriöihin, joiden kiinnostus arvioinnista oli alhaisin. Viime vuosina tilanne on kuitenkin muuttunut, josta mm. ympäristöklusterohjelma on eräs osoitus.

Tilanne on Suomessa muuttunut laajemminkin.

Erityisesti Euroopan Unioni mutta myös kansal­

linen keskustelu on korostanut arvioinnin merki­

tystä.

Hallinnollisen toiminnan arviointi on haasteel­

lista. Haasteellisuutta ovat lisänneet eräät ylei­

set kehityssuunnat kuten uusien ja kiinteämpien suhteiden syntyminen yli sektorirajojen.

ajattelu ja uudet keinot vaikuttaa toimijoihin ovat myös muuttaneet hallinnon tehtäviä ja toiminta­

tapoja. Tämä muutos näkyy selvästi ympäristö­

hallinnossa, mutta on ilmiönä yleisempi.

Yhteiskunnallisen ohjauksen muotojen ja kei­

novalikoimien muuttuminen korostaa ns. vaiku­

tusongelmaa ("impact problem•, Vedung 1997),

joka on eräänlainen vaikutusarvioinnin epävar-

MIKAEL HILD�N. PER MICKWITZ, JUKKA SIMILÄ & STEFAN SJÖBLOM 127

muusperiaate: on vaikeaa osoittaa mikä on kunkin samaan asiaan vaikuttavan yksittäisen tekijän rooli. Julkisen vallan toimenpiteet ovat vain yksi selittävä tekijä jonkin ilmiön kuten tietynlaisten päästöjen vähenemisen takana. Samalla kuiten­

kin muun muassa tulosohjaus vaatii eri hallin­

nonaloja osoittamaan toimintansa vaikutuksia ja vaikuttavuutta. Voidaan ajatella, että tämä johtaa tilanteeseen, jossa eri hallinnonalat kilpailevat

"hyvistä" vaikutuksista. Jokainen hallintoyksikkö pyrkii osoittamaan, että myönteiset muutokset johtuvat juuri sen toiminnasta. Kielteisinä pide­

tyistä vaikutuksista tulee puolestaan "Mustia Pek­

koja", joita ei kukaan halua tunnustaa omikseen.

Nämä ongelmat korostuvat, jos arvioinneissa kiin­

nitetään huomiota lähinnä tavoiteltuihin vaikutuk­

siin ja mahdollisesti joihinkin verrattain helposti mitattaviin muihin vaikutuksiin kuten välittömiin kustannuksiin. Silloin helposti unohtuu se, että monilla julkisen vallan toimilla on monta tavoi­

tetta. Vastaavasti jää helposti havaitsematta, että julkisen vallan toimilla on monentyyppisiä vaiku­

tuksia. Näin liian suppea lähestymistapa johtaa helposti virheellisiin johtopäätöksiin toiminnan merkityksestä, hyödyllisyydestä ja arvosta.

Ympäristöohjaus on tyypillinen esimerkki yhteiskunnallisesta toiminnasta, jossa on monta erilaista tavoitetta ja monentyyppisiä vaikutuksia.

Eräs osoitus tästä on, että monien ympäristöla­

kien ja -ohjelmien tavoitteena on edistää kestä­

vää kehitystä, joka itsessään on moniulotteinen tavoite. Siihen liittyy ekologisia, taloudellisia ja sosiaalisia näkökohtia. Arviointi, joka käsittelisi vain yhtä ulottuvuutta "kestävyydestä" on väistä­

mättä liian suppea. Lisäksi ympäristöohjaukseen kohdistuu muitakin odotuksia kuin ympäristö­

tavoitteiden saavuttaminen. Ohjauksen itsensä odotetaan olevan esimerkiksi läpinäkyvää, kus­

tannustehokasta ja oikeudenmukaista. Näitä muita näkökulmia ei voida sivuuttaa arvioinnissa.

Moniulotteisuus on kuitenkin myös ongelmallista.

Yksiselitteistä ratkaisua sille, miten eri ulottu­

vuuksia pitää painottaa tai lähestyä ei ole, vaan asiaa joudutaan pohtimaan myös tapauskohtai­

sesti.

Tässä artikkelissa tarkastelemme miten arvi­

ointitehtävää voi lähestyä moniulotteisesti. Esi­

merkkinä käytämme arviointimme teollisuuteen viime vuosikymmenien aikana kohdistuneista ympäristöpoliittisista ohjauskeinoista (Hilden et al.

2001 ). Tutkimuksen tavoitteena oli toisaalta tehdä yleisarviointi ohjauskeinojen vaikutuksista, toi-

saalta tarkastella temaattisesti vaikutuksia inno­

vaatioihin ja toimijoiden välisiin verkostoihin.

Tarkastelemme omien havaintojemme valossa erityisesti mitä menetelmällisiä vaatimuksia ja haasteita moniulotteisessa arvioinnissa on ja kuinka niihin voi vastata.

Tarkastelumme pyrkii osoittamaan, että arvioin­

tia voi lähestyä tieteellisenä prosessina ja tukee siten arviointitutkimuksen edustajien näkemyk­

siä arvioinnin luonteesta (Guba & Lincoln 1989, Rombach & Sahlin-Andersson 1995, Vedung 1997). Laajaa keskustelua herättäneet arvioin­

timetodiset ongelmat kuten monitieteellisten ja monimenetelmällisten asetelmien soveltuvuus, kvalitatiivisten ja kvantitatiivisten menetelmien väliset suhteet sekä deduktiivisten vs. puhtaasti empiiristen asetelmien mielekkyys ovat myös tässä yhteydessä kiinnostavia. Vaikka varsinaiset paradigmakiistat ovat arviointitoiminnan kehitty­

misen myötä jääneet taka-alalle (Light 2001, 3, Virtanen 2001, 145), menetelmälliset valinnat ovat kuitenkin suhteellisen pysyviä keskustelun aiheita. Tässä artikkelissamme väitämme, että menetelmien ja aineistojen yhdistäminen on mah­

dollista, mutta vaativaa.

2 OHJAUSKEINOT

Ohjauskeinoilla tarkoitetaan tässä yhteydessä niitä keinoja, joita julkisvallan toimijat käyttävät saadakseen aikaan tai estääkseen yhteiskun­

nallisia muutoksia taikka legitimoidakseen ole­

massaoloansa tai vahvistaakseen asemaansa (Vedung 1998, 21 ). Vaikka ohjauskeinoja on monenlaisia, ne voidaan ryhmitellä kolmeen pää­

luokkaan: oikeudellis-hallinnollisiin, taloudellisiin tai tiedollisiin ohjauskeinoihin (Vedung 1998).

Muutos toiminnassa ja toimintatavoissa voidaan saada aikaiseksi määräysten tai suositusten avulla, vaikuttamalla eri kustannuksiin esimer­

kiksi verojen ja tukien avulla tai antamalla uutta informaatiota. Usein näitä kaikkia keinoja käyte­

tään samanaikaisesti.

Tässä kirjoituksessa käytämme esimerkkinä arviointia ympäristöpoliittisista ohjauskeinoista.

Ympäristöpolitiikka voidaan märitellä monella tavalla. Lundqvist (1996) erottaa määritelmät, jotka perustuvat toimintaan, organisaatioon ja tavoitteisiin. Ympäristöpolitiikalla voidaan tarkoit­

taa politiikka joka vaikuttaa ympäristöön, jolloin

esimerkiksi suuri osa maatalous- tai vaikkapa ·lii-

kennepolitiikasta olisi ympäristöpolitiikkaa. Ympä­

ristöpolitiikka voidaan rajata koskemaan niitä toimenpiteitä, joita ympäristöviranomaiset toteut­

tavat. Olemme kuitenkin valinneet lähestymis­

tavan joissa ympäristöpolitiikalla tarkoittamme sellaista politiikkaa, jonka tavoitteena on vai­

kuttaa ympäristöön. Näin ollen tarkastelemme ympäristöperusteisia veroja ympäristöpoliittisena ohjauskeinona, vaikka verotus kuuluu valtiova­

rainministeriön vastuualueeseen ja riippumatta siitä onko niillä vaikutuksia ympäristöön vai ei.

Suomen ympäristöpolitiikassa pääpaino on ollut oikeus-hallinnollisissa ohjauksessa (OECD 1997). Viime vuosikymmenten aikana taloudelli­

sen ohjauksen merkitys on kuitenkin kasvanut.

Taloudellisista ympäristöpoliittisista ohjauskei­

noista energiaverot ovat tärkeimpiä. Myös tie­

dollinen ohjaus on lisääntynyt eri muodossa, joissa viranomaisten vahvistamat ympäristömer­

kit ja ympäristöhallintamenetelmät ovat verrat­

tain uusia ohjaustapoja.

Esimerkkitapauksemme on arviointi teolli­

suuteen viime vuosikymmenien aikana koh­

distuneista ympäristöpoliittisista ohjauskeinoista (Hilden et al. 2001). Arvioiduista viidestä ohjaus­

keinoista kolme on oikeudellis-hallinnollisia,

taloudellinen ja

tiedollinen:

• vesien pilaantumisluvat (vesilaki);

• ilmansuojelun ilmoitukset ja luvat (ilmansuo­

jelu- ja ympäristölupamenettelylaki);

• kemiakaalien teollisen käytön luvat (kemikaa­

lilaki);

• sähkövero; sekä

• yritysten vapaaehtoiset ympäristöasioiden hallintajärjestelmät

Vesien pilaantumislupien ja ilmansuojelun ensin ilmoituksiin sittemmin lupiin pohjautuvaan valvontajärjestelmän tarkastelujakso alkaa niiden käyttöönotosta (vesien pilaantumisluvat 1960-luvulta, ilmansuojelun ilmoitukset 1980-luvun alkupuolelta) ja päättyy ennen ympä­

ristönsuojelulain voimaantuloa vuonna 2000.

Muiden ohjauskeinojen tarkastelu on ajallisesti rajattu 1990-lukuun, jolloin ne ovat nykymuodos­

saan olleet käytössä. Toiminnallisesti arviointi on rajattu metsäteollisuuteen ja tiettyyn osaan kemianteollisuudesta.

3 MENETELMÄLLISET NÄKÖKOHDAT 3. 1 Arviointikriteerit

Arviointi edellyttää arviointikriteerejä, joko julki­

lausuttuja tai -lausumattomia. Arviointikriteeri on se näkökulma, josta arviointi tehdään. Laaja-alai­

nen arviointi pohjautuu useille eri arviointikritee­

reille. Laaja kriteerivalikoima on käsityksemme mukaan välttämätön, kun halutaan valottaa ohja­

uskeinojen eri ulottuvuuksia tarkoin määritellyistä tehtävistä yleisiin poliittisiin linjauksiin (taulukko 1). Yleistä kattavaa kriteeriluetteloa ei kuiten­

kaan voida tehdä, vaan arviointitilanne ja -kohde määräävät lopulta mitä kriteerejä on mielekästä käyttää ja niiden keskinäisen painotuksen. Kri­

teereille on myös annettava kontekstisidonnai­

nen tulkinta, joka liittää kriteerit tarkasteltaviin ohjauskeinoihin niin, että ne tukevat aineistojen keruuta ja analysointia.

Tutkimuksessamme arviointikriteerien käyttö osoittautui hyödylliseksi apuvälineeksi myös tie­

teenalojen välisessä keskustelussa. Kriteerit muodostivat kehikon, jonka puitteissa voitiin sel­

vittää eri tieteenalojen kontribuutiot tarkaste­

luun.

Laaja-alaisen, moniin kriteereihin pohjautuvan arvioinnin lisäksi, voi mielenkiinnon kohteena olla jokin tietty, rajattu kysymys. Kyse voi olla määrä­

tystä erityistavoitteesta, joka sisältyy ohjaukseen tai teemasta, joka muista syistä on noussut esille yhteiskunnallisessa keskustelussa ja johon halu­

taan lisävalaistusta. Tutkimuksessamme

mys ohjauksen suhteesta innovaatioihin oli esimerkki jälkimmäisestä kysymyskategoriasta.

Toisena erityiskysymyksenä selvitimme toimijoi­

den välisiä verkostoja ja niiden merkitystä ohja­

uskeinojen näkökulmasta.

3.2 Vaikutukset ja vaikutusonge/ma

Ohjauskeinojen arviointi edellyttää ohjauksen vaikutusten tunnistamista ja niiden syiden selvit­

tämistä. Ohjaus aiheuttaa erilaisia vaikutuksia, joista ennakoitu päävaikutus (kuten päästöjen vähentyminen) on vain

Arviointi, joka

tyy vain tietyn tyyppisiin vaikutuksiin, antaa puut­

teellisen kuvan ohjauksen kokonaisvaikutuksista.

Tässä lähestymistapa, jossa erilaiset vaikutukset jäsennetään pää- ja sivuvaikutuksiin, on osoit­

tautunut hyödylliseksi ajattelun tueksi (Vedung

MIKAEL HILDEN, PER MICKWITZ, JUKKA SIMILÄ & STEFAN SJÖBLOM 129

Taulukko 1. 10-kriteeriä kuvauksineen.

Kriteeri

Kuvaus kriteerin tulkinnasta projektissamme

Relevanssl (Relevance)

Vaikutus (lmpact) Kattaako ohjauskeino ympäristöpolitiikan keskeisiä ongelma-alueita?

Onko sellaisia vaikutuksia havaittavissa jotka selkeästi johtuvat ohjauskeinosta?

Vaikuttavuus (Eflectiveness) Kustannusvaikuttavuus (Cost­

Ej]iciency)

Missä määrin tulokset vastaavat tavoitteita?

Kuinka paljon resursseja tulokset ovat vaatineet? Kriteeriä on käytetty määrittelemättä tulosten rahallista arvoa.

Hyvliksyttlivyys (Acceptability) Llipinlikyvyys ja

osallistumismahdollisuudet (Transparency and participatory rights)

Missä määrin eri tahot hyväksyvät käytetyt ohjauskeinot?

Missä määrin ulkopuoliset pystyvät havainnoimaan tuloksia, tuotoksia ja prosesseja? Kuka voi osallistua?

Oikeudenmukaisuus (Equity) Joustavuus (Flexibility) Ennakoitavuus (Predictability) Kestlvyys (Sustainability)

Miten tulokset ja kustannukset jakautuvat?

Miten ohjauskeino ottaa huomioon uusia tilanteita?

Onko tuotokset, tulokset ja prosessit ennakoitavissa?

Ovatko vaikutukset ympäristöön pysyviä?

1997). Ympäristöpolitiikan alueella sivuvaikutuk­

sia huomioiva tarkastelu on hyödyllinen erityi­

sesti siksi, että se antaa mahdollisuuden hallita sitä kompleksisuutta ja epävarmuutta joka on lei­

mallisia monille ympäristöpoliittisille ongelmille ja ohjauskeinoille. Lähestymistavassa vaikutuk­

sia tarkastellaan kolmessa vaiheessa. Ensin vaikutukset ryhmitellään ennakoituihin ja enna­

koimattomiin vaikutuksiin. Toisessa vaiheessa analysoidaan missä määrin vaikutukset ilmenevät ohjauskeinon kohdealueen sisä- ja ulkopuolella.

Kolmas vaihe perustuu vaikutusten laadulliseen ryhmittelyyn myönteisiin ja kielteisiin. (Vedung 1997) Jako kohdealueeseen ja sivuvaikutuksiin ei aina ole itsestään selvä, mutta sivuvaikutusten korostaminen kiinnittää huomiota monentyyppi­

siin mahdollisiin vaikutuksiin. Vaikutusten ryh­

mittely hyödyllisiin ja haitallisiin voi myös olla ongelmallista erityisesti ennakoimattomien vai­

kutusten osalta. Hyödyllisyyden toteaminen edel­

lyttää aina määrätyn näkökulman valitsemista ja on siten yhteydessä arviointikriteereihin. Se mikä on "hyödyllistä" avoimuuden näkökulmasta voi olla "haitallista" kustannusnäkökulmasta. Arvioin­

nissamme ongelmaa pyrittiin pienentämään tar­

kastelemalla välittömiä ympäristövaikutuksia ja

"muita vaikutuksia" (kuva 1 ).

On helppoa mutta yleensä virheellistä esittää yksinkertaisia syy-seuraussuhteita havaittujen vaikutusten ja käyttöön otettujen ohjauskeinojen välillä. Arviointi on vaativa, koska monilla toimi­

joilla on vahvoja ennakkokäsityksiä, jotka usein perustuvat juuri verrattain yksinkertaisiin selitys-

malleihin. Vakuuttava arviointi edellyttää näissä tapauksissa kysymysten valottamista eri näkö­

kulmista useita menetelmiä käyttäen.

Vaikutusongelman merkitystä voidaan selven­

tää esimerkillä. Yleisesti on tunnettua, että massa-ja paperiteollisuuden päästöt ovat vähen­

tyneet useilla eri parametreilla mitattuna sekä suhteellisesti että absoluuttisesti huolimatta tuo­

tantokapasiteetin merkittävästä kasvusta. Näin on käynyt muun muassa kiintoaineiden, fosforin ja kloorin osalta. Tämän kehityksen johdosta ympäristön tila on parantunut. Lisäksi voidaan havaita, että kiintoaineita koskevan lupaehto on tullut tavanomaiseksi 1970-luvun alusta lähtien, fosforia koskeva lupa-ehto 1980-luvun lopulla ja klooria koskeva lupa-ehto 1990-luvulla ao. teol­

lisuuden alalla. Yksinomaan näistä havainnosta ei kuitenkaan voida vielä päätellä, että päästöjen vähentyminen olisi johtunut joko yksinomaan tai edes pääasiassa juuri käytetystä ohjauskeinosta.

Periaatteessa lupaehdot voivat vain heijastaa sitä kehitystä joka muutoinkin on ollut tapahtu­

massa. Muut selittävät tekijät kuten teknologian yleinen kehitys, kustannussäästöt tai asiakkaiden vaatimukset on otettava huomioon, vaikka niiden tarkan roolin täsmentäminen on vaikeata. Usean menetelmän samanaikaisella soveltamisella pys­

tyimme osoittamaan, että erilaisilla tekijöillä on

ollut erilainen rooli eri vaikutusten osalta.

1 Vaikutukset 1

---

1 Ennakoidut 1

� ---

1 Kohdealueella 1 Kohdealueen ulkopuolella

1

Myönteisiä .Myönteisiä

esim. Tietyn tyyppislen esim. Ymptirisrötiedon päästöjen vähentyminen kas.u

-

esim. Tiel)n ly),ppisten esim. Tuonnin päästöjen lisäiinl),minen ka.nu

Kuva 1. Ohjauskeinon vaikutusten jäsentely.

3.3 lnterventioteorian merkitys

Edellä selostetun lähestymistavan perusedelly­

tys on interventioteorian määritteleminen.

lnter­

ventioteoria on ohjauskeinojen idealisoitu kuvaus siitä miten sen on tarkoitettu tai ymmärretty toi­

mivan. Se ei siis ole kuvaus niiden todellisesta toiminnasta. lnterventioteoria on teoreettinen työ­

väline, joka ohjaa intervention toteutuksen ja vaikutusten arviointia. lnterventioteoria on ollut tarkastelun kohteena jo varhaisissa systemaat­

tisissa arvioinneissa (Pressman ja Wildavsky 1973) ja se on myös pitkään ollut arvioinnin retorisen käytön keskiössä (Hirschmann 1991).

Uusimmat interventioteorian määritelmät koros­

tavat, että kyseessä on yleiskuvaus oletuksista ja odotuksista, joiden avulla interventio toteutuu ja saavuttaa tavoitteensa (Rossi ym. 1999).

Ohjauskeinojen osalta interventioteoria voi­

daan määritellä lainsäädännön, poliittisten päätösten ja - ylipäätään ohjauskeinojen norma­

tiivisen perustan nojalla. Lainsäädäntö, poliitti­

set päätökset ja muu interventionteorian perusta saattaa sisältää ristiriitaisia ja tulkinnanvaraisia elementtejä, jonka takia yhdestä ohjauskeinosta voidaan esittää toisistaan poikkeavia interven­

tioteorioita. Tutkimuksen johdonmukaisen läpi­

viennin kannalta sen rakentaminen on kuitenkin tarpeellista. Lisäksi eri toimijoiden •omien" inter-

1-

...

•·

1 Ennakoimattomat 1

� Kohdealueen

1 Kohdealueella 1 ulkopuolella

1

Ym pär istövaik utu ksi a Ympäristövaikutuksia esim. Vaikutukset esim. Energian käytön

maisemaan

....

.Muita vaikutuks ia

...

esim. Ympäristö- esim. Muuttuneita

tutoisuuden kauppavirtoja

ka.nu yrityksissä

ventioteorioiden tunnistaminen on hyödyllistä vaikutusmekanismien ymmärtämiselle. Teorian avulla voidaan identifioida vaikutustyypit, joiden on tarkoitettu tai ymmärretty johtuvan ohjauskei­

nosta. Teorian avulla voidaan myös tunnistaa ne toimenpiteet ja ratkaisut, joihin aineiston keruu kohdistetaan.

lnterventioteorialla on erityisasema ympäristö­

poliittisten ohjauskeinojen arvioinnissa (Mickwitz 2000a). Ennen muuta tämä johtuu ongelmien kompleksisuudesta. Laaja empiirinen analyysi vailla interventioteoreettista lähtökohtaa johtaisi todennäköisesti epäluotettaviin ja osittain sattu­

manvaraisiin johtopäätöksiin (Rossi ym. 1999).

Ongelmana on, että monimutkaisten ilmiöiden selittämiseksi on useimmiten lukuisia kilpailevia ja ainakin osittain ristiriitaisia teorioita. Ohjauskeino­

jen oletettuja vaikutusmekanismeja ei välttämättä ole selkeästi muotoiltu missään. lnterventioteo­

rian empiirinen todentaminen on myös vaikeaa, erityisesti ympäristöalalla, joissa sekä ympä­

ristövaikutukset että ohjaus ovat korostetusti pitkän aikavälin kehityksen tulos. lnterventioteo­

rian avulla voidaan löytää analogisia tilanteita, joissa vaikutusmekanismit tunnetaan. Esimer­

kiksi

tiedollisten ympäristöpoliittisten ohjauskei­

nojen arvioinnissa rinnastusten tekeminen on tärkeätä, koska näiden ohjauskeinojen vaikutuk­

sista on niiden uutuuden takia saatavissa vain

MIKAEL HILDEN, PER MICKWITZ, JUKKA SIMILÄ & STEFAN SJÖBLOM 131 rajoitetusti luotettavaa empiiristä aineistoa.

3.4 Laaja-alainen arviointi edellyttää monitie­

teellistä lähestymistapaa ja laajaa arviointiryhmää

Julkisen vallan toimien teoreettisten läh­

tökohtien ja mahdollisten vaikutussuhteiden paikantamisen ohella interventioteoria toimii monimenetelmällisten asetelmien koossapitä­

vänä viitekehyksenä. Monitahoisessa arvioin­

titilanteessa suositellaan usein monimenetelmällisten asetelmien soveltamista vaikutusongelman hallitsemiseksi (Bartlett 1994).

Arviointimme tukee tätä suositusta. Lainsäädän­

nön tarkastelu, tilastollinen analyysi (sekä sektori­

että tehdaskohtaisia tietoja päästöistä, tuotan­

nosta, energian kulutuksesta sekä päästörajoista) ja teemahaastattelu (keskeiset lupaviranomai­

set sekä yritysten edustajat) sekä lupapäätösten laadullinen tarkastelu tukevat toisiaan ja valotta­

vat keskeisiä kysymyksiä eri suunnilta (kuva 2).

Yksittäistä menetelmää soveltaen tiettyjen ilmi­

öiden merkitys voi jäädä vähäiselle huomiolle.

Esimerkiksi pelkästään lupaehtojen tilastollinen analyysi olisi jättänyt verkostojen ja lupahake­

musta edeltävien neuvottelujen merkityksen vaille huomiota. Tässä laadulliset aineistot ovat olleet keskeisessä asemassa. Haastatteluihin ja asia­

kirja-analyysin pohjautuva hallinnollisen proses-

sin analysointi edelleen konkretisoi ja tarkensi vaikutusmekanismien ja vaikutusten arviointia.

Monitieteellinen lähestymistapa antaa luotetta­

vamman kokonaiskuvan.

Toinen monimenetelmällisten asetelmien etu on, että yksittäinen metodi voi johtaa havaintoi­

hin, joiden merkitystä voidaan muilla menetelmillä valaista. Esimerkkinä tästä mainittakoon haas­

tatteluissa esitetty väite, jonka mukaan seuranta­

velvoitteita on käytetty implisiittisenä signaalina tulevista luparajoista. Fosforin osalta voitiin tilas­

tollisten analyysien avulla osoittaa, että seuran­

tavelvoitteet todellisuudessa ennustivat huonosti tulevia päästörajoja. Kvantitatiivisten ja kvali­

tatiivisten menetelmien rinnakkaiskäytön avulla yksittäiseen menetelmään tai tietolähteeseen liit­

tyviä vääristymiä voidaan ainakin osittain neutra­

lisoida. Tämä monimenetelmällisten asetelmien puolesta usein esitetty argumentti näyttää siis tämänkin tutkimuksen valossa puolustavan paik­

kansa.

Monien menetelmien käyttö on myös ongel­

mallista. Tarkasteluissa törmätään sellaisiin ongelmiin, joita rajatuimmissa tarkasteluissa ja arvioinneissa voidaan välttää. Laaja-alainen arvi­

ointi ei voi olla samanaikaisesti syvällinen oikeudellinen, yhteiskunnallinen, taloudellinen ja luonnontieteellinen analyysi. Ongelmat liittyvät mm. aineistojen saatavuuteen ja laatuun, valittu­

jen menetelmien rajoituksiin, erityyppisten aineis­

tojen yhteensovittamiseen sekä eri tieteenalojen

Luadullinl'n analn·si

Prosessil'n rekonstruktio

- Teemal1aastaUeh1ja (JO yleista, 20 hallintajårje.mlmiin keskitt,-neita.)

• Jlmalupia (38 lupa-a.,iakirjaa)

TilastoUinen analyysi

• 6 tehlaan vesih•paproscssien analysointi asiakirjojen avulla (yhteensll 23 lupaa)

- pUstöticdot (tehdas ja 11Cktorikohwscsti) -lupaehdot (k.likld ma'l.sa • ja paperiteollisuuden ,·�lupien mUrlllisc:t pllstöraja1 vuolccn 1998)

Kuva 2. Arviointimme keskeisimmät menetelmät ja esimerkkejä käytetyistä aineistoista.

käsitteiden, lähestymistapojen ja menetelmien yhdistämiseen.

Laaja-alainen tarkastelu edellyttää monentyy':

pisiä aineistoja

2). Ihannetapauksessa arvi­

ointiryhmällä on käytössään samantasoisia ja samoja asioita käsitteleviä tietoja kaikista tar­

kasteltavista ohjauskeinoista. Koska osittain eri viranomaiset ovat vastanneet ohjauksen toteu­

tuksesta on helppo arvata, että tämä ihanne ei toteudu. Arviointimme osoitti myös, että viran­

omaisten omat seurantajärjestelmät eivät aina tuota helposti hyödynnettävissä olevaa tietoa arviointia varten. Laajasti saatavilla olevat jul­

kaistut tiedot eivät aina vaieta kiinnostuksen kohdetta. Esimerkiksi Suomen vesistöjen syvän­

nepisteistä ei säännöllisesti julkaista trendiomai­

sia muutoksia, vaan ainoastaan yksityiskohtaisia kuvauksia vaihteluista vuoden sisällä (Kuusisto 2001). Suomessa ei myöskään ole ollut myr­

kyllisten aineiden päästörekisteriä, joka mm.

Yhdysvalloissa on pidetty sekä tehokkaana ohja­

uskeinona että hyödyllisenä tietolähteenä (Wolf 1996).

Kun aineistoja kerätään eri lähteistä joudutaan yhteensovittamisongelman eteen. Voiko esimer­

kiksi

valtakunnan tasolla yhdistää luvissa asetet­

tuja päästörajoja ja todellisia päästöjä vuositason tarkastelussa? Ongelmana on, että päästörajojen asettamisessa käytetään usein vuotta lyhyem­

pää ajanjaksoa, kun taas päästötiedot on yleensä löydettävissä vuositasolla. Lupaehtojen lasken­

nallinen muuttaminen vuositason arvoiksi vääris­

tää tiedot, koska tehtaiden päästöissä esiintyy usein huomattavaa vaihtelua. Se mikä vuosita­

solla näyttää hyvin väljältä lupaehdolta voi lyhy­

emmällä aikavälillä olla huomattavasti tiukempi.

Resurssien rajallisuus pakottaa tekemään valintoja eri menetelmien välillä. Esimerkiksi haastattelututkimukset ovat hyviä, kun halutaan saada käsitys siitä, miten toimijat näkevät ohja­

uksen ja oman roolinsa siinä. Tutkimusekonomi­

set syyt kuitenkin rajoittavat haastattelun käyttöä.

Ympäristöohjauksen "täydellinen" arviointi olisi edellyttänyt eri toimijaryhmien kattavampaa tar­

kastelua kuin mitä resurssimme sallivat. Jou­

duimme myös jättämään tarkastelun ohjauksen suhteesta yksittäisiin spesifisiin teknisiin ratkai­

suihin vähemmälle ja tyytymään tarkasteluun, jossa lähtökohtana oli yleinen tekniikan kehitys vähäpäästöisempään suuntaan. Vasta yksityis­

kohtaisen historiallisen analyysin pohjalta voi­

daan antaa tyydyttävä vastaus kysymykseen

miksi jokin tietty tekninen ratkaisu valittiin, kuten Laakkonen (2001) osoittaa tutkimuksessaan Hel­

singin kaupungin vesiensuojelusta.

Usean eri ohjauskeinon tarkastelu monesta eri näkökulmasta ja eri menetelmin edellyttää moni­

puolista arviointiryhmää. Yksittäinen tutkija hal­

litsee harvoin kovin monta eri menetelmää tai tutkimusperinnettä. Esimerkkitutkimuksessamme mukana oli taloustieteen, valtiotieteen, oikeus­

tieteen, luonnontieteiden ja ympäristöpolitiikan asiantuntijoita. Tutkimusryhmä koottiin toisaalta yliopistojen toisaalta valtiollisen tutkimuslaitoksen tutkijoista (Suomen ympäristökeskuksen ohja­

uskeinoyksikkö, Helsingin yliopiston Svenska Social- och Kommunalhögskolan ja Uppsalan yli­

opisto). Ympäristöklusteri tutkimusohjelma toimi hankkeen päärahoittajana, mutta lisäksi osal­

listuvat laitokset sijoittivat siihen merkittävästi omia resurssejaan. Koko hankkeeseen käytettiin yhteensä noin 5,5 henkilötyövuotta.

Aidosti monipuolinen analyysi edellyttää, että eri tieteenalojen edustajat keskustelevat keske­

nään ja tuovat omat lähestymistapansa yhteiseen tarkasteluun. Prosessina tämä on opettavainen, mutta se tuo myös omat hankaluutensa arvi­

ointiin. Käsitteiden merkitys vaihtelee tieteen­

alojen välillä. Esimerkiksi "normi" tai "sitovat lupaehdot" tarkoittavat eri asioita hallintotietei­

lijälle, taloustieteilijälle, juristille ja luonnontie­

teilijälle. Arvioinnissa joudutaan sopimaan siitä missä merkityksessä käsitettä käytetään. Ongel­

mia liittyy myös eri tieteenalojen argumentaatio­

tyyliin ja -logiikkaan.

4 TULOKSET MENETELMÄLLISESSÄ VIITEKEHYKSESSÄ

Tutkimuksemme tuloksissa on monenlaisia havaintoja ympäristöpolitiikasta. Tässä yhtey­

dessä nostamme esiin erityisesti niitä havaintoja, jotka kertovat jotakin menetelmällisistä näkökoh­

dista. Käytämme siis arvioinnin (Hilden et. al.

2001) tuloksia esimerkinomaisesti selventämään menetelmien merkitystä. Yleisesti voidaan kui­

tenkin todeta tutkimuksemme osoittaneen, että ympäristöpoliittiset ohjauskeinot ovat edistäneet ympäristöpolitiikan tavoitteiden saavuttamista.

Ohjaus on myötävaikuttanut päästöjen vähen­

tymiseen ja pilaantumisen ehkäisyyn. Samalla tuloksemme kertovat, että tutkittavan teollisuu­

den alojen aiheuttaman ympäristökuormituksen

MIKAEL HILD�N, PER MICKWITZ, JUKKA SIMILÅ & STEFAN SJÖBLOM 133

vähentyminen viimeisten 30 vuoden aikana on vain osittain tutkittujen ohjauskeinojen ansiota.

Monet muutkin seikat, kuten markkinatekijät ja teknologian yleinen kehitys, ovat merkittävällä tavalla vaikuttaneet myönteiseen kehitykseen.

Seuraavassa käsitellään muutamia keskeisiä joh­

topäätöksiä jotka samalla toimivat esimerkkeinä sovelletusta lähestymistavasta. Pääpaino on siis edelleen menetelmällisissä näkökohdissa, ei niin­

kään tuloksissa sinänsä.

4. 1 Vaikutusongelma sekä pää-ja sivuvaikutukset

Vaikutusongelman täydellinen hallitseminen on ongelmallista. Ohjauskeinojen jatkuva muut­

tuminen ja kehittyminen tekee vaikeaksi erilais­

ten syy-seuraussuhteiden erottamisen toisistaan.

Myös ohjauskeinojen välinen vuorovaikutus vaih­

telee. Useita menetelmiä soveltamalla olemme kuitenkin esimerkiksi osoittaneet ohjauksen vai­

kuttaneen eräissä tilanteissa myönteisesti teolli­

suuden päästöjen vähentymiseen, vaikka toisissa tilanteissa muut seikat selittävät tapahtunutta myönteistä kehitystä. Arviointia vaikeuttaa myös ohjauksen ennakkovaikutus. Erityisen selvästi tämä näkyy lupajärjestelmissä, joiden osalta joh­

topäätöksiä ei tulekaan rakentaa vain havain­

toihin lainvoimaisen lupapäätöksen jälkeen tehdyistä päästöjen vähentämistoimista. Teolli­

suus ennakoi kiristyviä lupa-ehtoja ja voi siksi omaksua uusia teknologisia ratkaisuja jo ennen kuin lupa on lainvoimainen. Luvilla voi olla vai­

kutus päästöihin siitä huolimatta, että luparajat huomattavasti ylittävät todelliset päästöt. Vaiku­

tusten analysointi vaatii siis myös lupaprosessien tarkastelua, joko asiakirja-analyysin tai haastat­

teluiden avulla. Tätä kautta tutkimuksessamme on osoitettu ennakoinnin merkitys puhdistustek­

nologian leviämiseen.

Ohjauskeinot ovat edistäneet ympäristöpolitii­

kan tavoitteiden saavuttamista, mutta ei ilman ongelmia. Lupaprosessien pituuden aiheuttamat haitalliset seuraukset ovat yksi esimerkki vesi­

ja ilmansuojelulain merkittävistä ennakoimatto­

mista sivuvaikutuksista. Ongelmat ovat olleet suurimmillaan sisäänajovaiheessa, joka ei ole yllättävää. Sitä vastoin vähemmän odotettua on tämän vaiheen pituus. Vielä 1990-luvulla useat vesilupapäätökset ovat perustuneet yli kymme­

nen vuotta vanhoihin hakemuksiin, vaikka laki

tuli voimaan 1962. Ongelmat johtuvat erilaisista tekijöistä kuten puutteellisista resursseista ja omaksutuista lainsäädännöllisistä ratkaisuista.

Esimerkki lainsäädännöllisten ratkaisujen aihe­

uttamasta tehottomuudesta on se, että yritys on voinut aloittaa toimintansa paljonkin ennen kuin viranomainen on määrittänyt toiminnan ilman­

suojelulain mukaiset ehdot. Lupakäsittelyn ruuh­

kautumiset ovat esimerkki resurssiongelmista.

Osa ongelmista on johtunut poliittisesta halut­

tomuudesta edetä niin nopeasti kuin se tek­

nisesti ja taloudellisesti olisi ollut mahdollista.

Tämä näkyy muun muassa siinä, että eräiden keskeisten päästölähteiden rajoittamisessa oltiin ilmansuojelussa selvästi jäljessä verrattuna Ruot­

siin. Sähköveron ympäristöllistä vaikuttavuutta on vähennetty alhaisilla veroilla ja suurkuluttajia suosivalla veroporrastuksella.

Ohjauskeinon vaikutusta teknologisiin innovaa­

tioihin ja niiden leviämiseen pidetään eräänä sen tärkeimmistä ominaisuuksista (Hahn and Sta­

vins 1992, Freeman and Soet 1997, Sikor and Nordgard 1999, Jaffe et al. 2000). liman tekno­

logisia innovaatioita ja niiden laaja-alaista levi­

ämistä ympäristönsuojelun taso stabilisoituu tai jopa suhteellisesti laskee tuotantotoiminnan ja muun taloudellisen toiminnan kasvaessa. Ohja­

uskeinot ovat vaikuttaneet innovaatioiden syn­

tymiseen ja niiden leviämiseen sekä suoraan kohdealueella että välillisesti. Lupajärjestelmien osalta johtopäätöksemme on, että yksittäiset lupapäätökset eivät ole sanottavasti edistäneet, mutta eivät myöskään estäneet, uusien innovaa­

tioiden syntymistä. Sen sijaan niiden vaikutus puhdistusteknologian leviämiseen on ollut selke­

ästi havaittavissa. Emme havainneet yksittäisillä lupaehdoilla olevan merkittävää vaikutusta pro­

sessiteknologian leviämiseen. Lupajärjestelmä on kuitenkin luonut markkinoita ympäristötek­

nologialle ja tällä tavoin välillisesti edistänyt innovaatiotoimintaa. Esimerkkinä kohdealueen ulkopuolisesta vaikutuksesta voidaan mainita vaikutukset työmarkkinoihin ja koulutusjärjestel­

mään. Lisääntynyt ympäristöasiantuntemuksen kysyntä, alan koulutusohjelmien ja tutkimuksen lisääntyminen ovat luoneet edellytyksiä innovaa­

tiotoiminnalle. Vaikutusten arvioinnin kannalta nämä havainnot tarkoittavat, että lupajärjestel­

män ennakoimattomat vaikutukset innovaatioihin

näyttäisivät olevan tärkeämpiä kuin ennakoidut

vaikutukset.

4.2 lnterventioteoria; poikkeavien syy­

seuraussuhteiden määrittäminen

Ohjauskeinojen interventioteorioilla on usein yhdistäviä piirteitä. Esimerkiksi eri lupajärjestel­

mien interventioteoriat nojautuvat samankaltaisiin perusoletuksin (Hilden ym. 2001, 96). Kuitenkin interventioteorian tarkkaan määrittelemiseen liit­

tyy monia ongelmia, joita käsiteltiin aikaisemmin.

Ongelmista huolimatta interventioteorian merki­

tys on suuri, koska se antaa mahdollisuuden tarkastella poikkeavuuksia oletetuista syy-seu­

raussuhteista. Sivuvaikutusmalliin pohjautuvissa arvioinneissa tämä merkitys korostuu.

Kuten jo aikaisemmin todettiin, tuloksemme tukevat sinänsä yhtä interventioteorioiden perus­

oletuksista, jonka mukaan teollisuuden ympä­

ristövaikutuksia voidaan vähentää ulkoisen sääntelyn kautta. Tämä tuki ei kuitenkaan ole varauksetonta. Monet muutkin tekijät ovat vai­

kuttaneet siihen että päästöt ovat vähentyneet merkittävästi viimeisten 30 vuoden aikana.

Esimerkkinä mainittakoon vesipäästöt. Kustan­

nussäästöt ovat aina olleet keskeinen toimin­

nanharjoittajan motiivi, mutta sen merkitys on kasvanut sitä mukaa kun panosten kustannuk­

set ovat nousseet. Kustannussäästö on näin ollen monen tuotannossa tapahtuneen muutok­

sen kannalta ollut vähintään yhä merkittävä tekijä kuin ohjauskeinot. Asiakkaiden vaatimukset ovat niin ikään kasvaneet erityisesti viimeisten 15 vuoden aikana. Klooripäästöjen vähennykset massatuotannossa ovat tästä yksi esimerkki. On kuitenkin selvää että sekä vesi- että ilmansuoje­

lulailla on ollut vaikutusta päästöjen vähentymi­

seen, mutta etupäässä teknologian leviämisen kautta. Vaikutussuhteet ovat siis interventioteo­

rian oletuksia moninaisemmat.

Toisena esimerkkinä interventioteorian ja ohja­

uskeinojen todellisen toteutuksen välisistä ero­

avaisuuksista mainittakoon toimijaverkostojen merkitys lupaprosesseissa. Organisaatioiden väliset verkostot ovat tärkeitä ympäristönsuojelun ohjauksessa (Daugbjerg 1998). On myös sel­

västi osoitettavissa, että ohjauskeinot ovat myö­

tävaikuttaneet uusien verkostojen syntymiseen.

Sinänsä interventioteorioihin sisältyy oletus.jonka mukaan säännöllinen vuorovaikutus toiminnan­

harjoittajan ja viranomaisten välillä on toimivan sääntelyn edellytys. Suurin merkitys verkostoilla on kuitenkin varsinaista lupamenettelyä edel­

tävässä vaiheessa, ts. ennen varsinaisen pää-

töksentekoprosessin alkua. Tämä on selkeä poikkeama interventioteorian oletuksista. Toimi­

joiden väliset epäviralliset yhteydenpidot ovat sujuvan päätöksentekoprosessin kannalta kes­

keisiä. Arviointimme osoittaa myös, että tapauskohtaisiin neuvotteluihin perustuvassa lupajärjestelmässä riski ns. regulaatioloukusta (regulatory capture)-ts. vahvan toimijan mahdol­

lisuudesta syrjäyttää muiden toimijoiden intres­

sejä - olisi erittäin merkittävä ilman riittävää läpinäkyvyyttä ja tätä edistäviä osallistumismah­

dollisuuksia. Epäviralliset verkostot siis tukevat lakisääteisten menettelyiden sujuvaa sovelta­

mista ja yritys-ja paikkakuntakohtaisten asioiden huomioon ottamista.

Viranomaisten ja yritysten väliset verkostot edistävät myös innovaatioiden leviämistä. Viran­

omaiset eivät kuitenkaan tässä ole keskeisiä toimijoita. Niillä on merkitystä vasta kun inno­

vaatio saavuttaa standardin aseman. Suurteol­

lisuudessa tieto prosessi-innovaatioista kulkee edelleen ennen kaikkea tutkimuksessamme tode­

tuissa tärkeissä yritysten välisissä verkostoissa.

Tämän jälkeen viranomaiset voivat käyttää ja edelleen jakaa näin jo syntynyttä tietoa.

4.3 Ympäristöohjaus arviointikriteerien valossa Useampaan kriteeriin perustuvan arvioinnin etu verrattuna yhden kriteerin seikkaperäiseen tarkasteluun on, että se tuottaa laajempaa ymmärrystä vaikutuksista. Se on myös omiaan tukemaan tasapainoista keskustelua ohjauskei­

nojen toteutuksesta (Baldwin & Cave 1999).

Edelleen monikriteeriasetelma havainnollistaa kriteerien välisiä ristiriitoja, kuten myös yhden kriteerin sisäistä kompleksisuutta. Esimerkkinä jälkimmäisestä mainittakoon tutkimuksessamme suoritettu vaikuttavuuden tarkastelu. Tulokset osoittavat että toteutukseen ja täytäntöönpanoon liittyvät resurssi-ym. ongelmat ovat heikentäneet ohjauskeinojen vaikuttavuutta. Tästä huolimatta lukuisten ympäristötavoitteiden saavuttaminen tukee oletusta jonka mukaan ohjauskeinot ovat olleet vaikuttavia. Vaikuttavuus ymmärrettynä tavoitteiden saavuttamisasteena edustaa kuiten­

kin vain eräänlaista "staattista vaikuttavuutta".

Tämän lisäksi voidaan puhua "dynaamisesta vai­

kuttavuudesta" joka ei pelkästään johda tavoit­

teiden saavuttamiseen vaan kehittää uusia

mahdollisuuksia innovaatioiden ja niiden leviä-

MIKAEL HILD�N. PER MICKWITZ, JUKKA SIMILÄ & STEFAN SJÖBLOM 135

misen kautta.

Myös ohjauskeinojen joustavuutta voidaan tul­

kita usealla tavalla. Yhtäältä se voidaan nähdä ominaisuutena joka mahdollistaa ympäristövaa­

timusten suhteuttamista muuttuviin yhteiskun­

nallisiin preferensseihin. Lupajärjestelmässä viranomaiset asettavat sisällölliset ympäristövaa­

timukset, jonka takia joustavuudella voidaan var­

mistaa vaatimusten ajankohtaisuus, silloin kun lupaehtoja muutetaan. Esimerkiksi vesilain lupa­

järjestelmä onkin ollut verrattain joustava siinä mielessä, että ympäristönsuojeluvaatimuksia on pystytty tiukentamaan lupia uusittaessa ja sään­

telyn piiriin on otettu uusia aineita. Näin on pystytty reagoimaan uusiin ongelmiin (Mickwitz 2000b). Toisaalta tämän ohjauskeinon jousta­

vuuden johdosta tehtaiden lupapäätökset ovat vaihdelleet paljon. Eikä tälle ole suinkaan aina ollut ympäristöllisiä perusteita. Esimerkiksi pääs­

törajat asetettiin numeerisesti - ja siis mitatta­

vasti - ensimmäisen massa- ja paperitehtaan osalta 23 vuotta aikaisemmin kuin viimeisen jo 1960-luvulla toimineen tehtaan osalta. Tälle teh­

taalle asetettiin ensimmäiset numeeriset pääs­

törajat vasta vuonna 1994. llmansuojelulain joustavuutta on heikentänyt päätösten ajallinen rajattomuus.

Tuloksiemme mukaan ohjauskeinojen läpi­

näkyvyys ja osallistumismahdollisuudet ovat vaikuttaneet sellaisen johdonmukaisen toiminta­

politiikan muotoutumiseen, jonka sekä teollisuus että viranomaiset ovat voineet hyväksyä. Tämän lisäksi osallistumisoikeudet antavat asianosai­

sille mahdollisuuden puolustaa etujaan. Tiedot ja resurssit jakaantuvat kuitenkin epätasaisesti.

Tämän takia on epätodennäköistä, että osallis­

tumisoikeudet kokonaan neutralisoisivat regu­

laatioloukkuun liittyviä ongelmia. Arviointimme mukaan verkostoissa on selkeitä resurssieroja viranomaistoimijoiden välillä, erityisesti paikal­

lisella tasolla. Lisäksi keskeinen, päätöksen­

tekoprosessia edeltävä valmisteluvaihe ei ole erityisen läpinäkyvä, sen epämuodollisesta luon­

teesta johtuen. Tämä voi olla omiaan heiken­

tämään päätöksentekoprosessin "muodollisen"

läpinäkyvyyden merkitystä.

5 ARVIOINNIN VASTAANOTTO JA KÄYTTÖ Arvioinnin käyttöön on kirjallisuudessa kiinni­

tetty paljon huomiota (Caracelli ja Preskill 2000,

Valovirta 2000). Havainnot ovat korostaneet arvi­

ointiprosessin merkitystä, sillä koko prosessi vai­

kuttaa tulosten käyttöön ja käyttökelpoisuuteen (Patton 1997). Samalla on käynyt selväksi, että arvioinneilla on monta erilaista käyttömuotoa (Albrek 1995, Weiss 1998). Arviointeja voidaan käyttää paitsi instrumentaalisesti myös lisäämään ymmärrystä (käsitteellinen käyttö) ja oikeutta­

maan toimintaa (legitimoiva käyttö). Arviointien tulosten ja johtopäätösten lisäksi myös menetel­

miä ja käsitteitä sekä arviointiprosessia ja siihen liittyvää oppimisprosessia voidaan käyttää. Hal­

linto voi arvioinnin tilaamisella ja sitä esittele­

mällä antaa itsestään modernin kuvan. Arviointia voidaan käyttää oikeutuksena yhteyksissä, joilla on vain etäinen suhde itse arviointiin. Pahimmil­

laan arvioinnin toteutuksesta tulee itsetarkoitus (Ahonen 1998).

Arviointiraporttiamme ei tätä kirjoitettaessa ole vielä julkaistu. Luonnosraporttimme ja esitel­

mämme ovat kuitenkin jo herättäneet runsaasti reaktioita. Vastaanotto on pääsääntöisesti ollut myönteinen. Monet ovat olleet kiinnostuneita sekä menetelmällisistä näkökohdista että tulok­

sista. Vastaanotto on kuitenkin joskus ollut yllättä­

vääkin. Arvioinnissamme lupajärjestelmien suhde innovaatioihin on eräs eniten reaktioita herättä­

nyt asia. Keskeinen johtopäätöksemme oli, että lupajärjestelmät eivät ole pakottaneet esiin inno­

vaatioita, mutta ne eivät myöskään ole olleet innovaatiovastaisia. Tätä johtopäätöstä on tul­

kittu moni tavoin:

• koko lupajärjestelmä on ollut huono, koska se ei ole tuottanut innovaatiota;

• lupaehtojen olisi pitänyt olla paljon tiukempia pakottaakseen yrityksiä innovoimaan

• ympäristöviranomaisilla pitäisi olla merkittävä rooli innovaatioiden edistämisessä

• tutkijat eivät ole ymmärtäneet, että ympäris­

töviranomaiset ovat itse asiassa merkittävästi edistäneet innovaatioiden syntymistä Johtopäätöksemme siitä, että lupajärjestelmä on ollut innovaationeutraali voidaan siis nähdä monenlaisten silmälasien läpi, mikä tukee Ahosen (1988) johtopäätöstä arvioinnin poliittisuudesta.

Arvioinnin kohde ei ole passiivinen objekti, jonka

"merkitystä, hyödyllisyyttä tai arvoa· voi tarkas­

tella täysin neutraalisti. Se koostuu monista toimi­

joista, joilla voi olla hyvinkin intohimoinen suh�e

tarkasteltavaan toimintaan (Lupia 2000).

On mielenkiintoista, että juuri innovaatiot osoit­

tautuivat (ympäristö)poliittisesti kiinnostavaksi kysymykseksi. Aiheesta ei Suomessa ole aikai­

semmin juurikaan keskusteltu. Muualla, erityi­

sesti Yhdysvalloissa, aihe on jo pitkään ollut merkittävä keskustelunaihe ja hallinto on pyrki­

nyt aktiivisesti tuomaan innovaatioita tukevia jär­

jestelmiä. (Derzko 1996). Osaa julkisen vallan toimista on kritisoitu voimakkaasti, mutta Yhdys­

valloissa ympäristöviranomaisilla (EPAlla) on edelleen innovaatioihin erikoistunut toimistonsa (OPEi 2001).

Kriittinen arvio harjoitetusta politiikasta ymmär­

retään joskus kritiikiksi politiikan tavoitteita kohtaan. Tällaisen ajatussuunnan mukaan esimerkiksi vesilupajärjestelmän kriittinen arvi­

ointi merkitsisi samalla vesiensuojelutavoitteiden kyseenalaistamista. Onneksi tällainen suhtau­

tuminen on harvinaistumassa sitä mukaan kun arvioinneista tulee kehitystyön normaaleja työ­

välineitä. Tällöin arvioinnit voivat muuttaa jonkun käsityksiä tai avata uusia näkökulmia arviointikoh­

teesta. Esimerkissämme erityyppisten arviointi­

kriteerien käyttö näytti saavan monia pohtimaan kysymystä ·mikä on hyvä ohjaus?". Reaktioita herättänyt tematiikka innovaatioista sai myös joskus vastaanoton "Ei tällaista ole aikaisemmin komiteoissa pohdittu". Kokemuksiemme perus­

teella allekirjoitamme Lightin (2001) väittämän, että arvioinnin keskeinen tehtävä on kyseenalais­

taa yleisiä totuuksia ja että käyttäjät arvostavat kriittisiä tuloksia kunhan ne ovat hyvin perustel­

tuja.

6 LOPUKSI

Yleinen johtopäätöksemme on, että ohjaus­

keinojen arvioinneissa on syytä käyttää moniulotteisia arviointeja. Menetelmällinen joh­

topäätöksemme on, että ne tulisi toteuttaa monitieteellisiä ja -menetelmällisiä asetelmia soveltaen. Vaikka esimerkkitapauksemme on koskenut ympäristöpolitiikan keinoja uskomme, että johtopäätökset pätevät moneen muuhun politiikan alaan. Ei liene olemassa sellaista poli­

tiikan aluetta, joka ei olisi monitavoitteinen ja jonka toteuttamiseen ei käytettäisi monenlaisia ohjauskeinoja. Monitieteellisyyteen ja -menetel­

mällisyyteen liittyy toki suuria vaikeuksia. Esimer­

kiksi monimenetelmällisen asetelman yksittäistä osaa voidaan usein kritisoida pinnallisuudesta,

kun sitä tarkastellaan rajatun tieteenalan näkö­

kulmasta.

Ympäristöpolitiikkaa koskeva johtopäätök­

semme on, että ympäristöpolitiikan ohjauskeinoja voi ja tulee arvioida jatkossakin. Ympäristöpoli­

tiikkaa koskeva tutkimus on viime vuosina lisään­

tynyt (Laakkonen 1999, Sairinen et al. 1999, Määttä 2000, Sairinen 2000, Haila ja Jokinen 2001, Kautto et al. 2000, Valtiontalouden tar­

kastusvirasto 2001) ja työmme tuo uuden tar­

kastelun tähän kenttään. Se poikkeaa muista erityisesti siinä, että tarkastelussa on pyritty käyt­

tämään arviointikriteerejä systemaattisesti. Ohja­

uskeinoja koskeva tutkimus on usein teoreettista, jonka takia se voi idealisoida ohjauskeinojen omi­

naisuuksia. Empiirinen tutkimuksemme on tuot­

tanut tietoa ohjauskeinojen, sellaisina kuin ne todellisuudessa on toteutettu, vaikuttavuudesta ja siihen liittyvistä ongelmista.

Tutkimuksemme ei anna vastausta

mykseen, onko jokin ohjauskeino ylivertainen suhteessa muihin ohjauskeinoihin. Se, että tut­

kimamme taloudellinen ohjauskeino, sähkövero, on ollut vaikutuksiltaan vähäinen, ei tarkoita, et­

teikö toisenlainen (esimerkiksi verotasoltaan kor­

keampi) ohjauskeino voisi olla tehokas. Toisaalta se havaintomme, että yksittäiset luvat eivät ole johtaneet innovaatioihin, ei myöskään tarkoita et­

teikö lupajärjestelmää voitaisi kehittää enemmän innovaatioita suosivaksi. Vastauksen etsiminen kysymykseen ohjauskeinojen universaalisesta paremmuudesta ei liene tarpeellistakaan, koska emme usko, että ympäristöongelmia voitaisiin säännellä vain yhdellä ohjauskeinona. Eri ohja­

uskeinojen funktiot vaihtelevat, vaikka jokin osa­

ongelman suhteen ne voivat olla aidosti toisilleen vaihtoehtoisia. Sen sijaan mielekästä on kysyä, mikä ohjauskeino on paras tietyn osa-ongelman ratkaisemiseksi tai mitä seurauksia voi olla tietyn tyyppisen ohjauskeinon valinnasta. Ohjauskei­

nojen systemaattinen arviointi tukee yhteiskun­

nallista keskustelua näistä kysymyksistä.

VIITTEET

1

Tekijät kiittävät Hallinnon Tutkimuksen nimetöntä refereetä rakentavasta kritiikistä.

2

Usein arviolntikirjallisuudessa puhutaan ohjelma­

teoriasta (program theory), mutta mielestämme Vedun­

gin (1997) käyttämä termi "interventioteoria" on parempi

termi, varsinkin silloin kun arvioinnin kohteena ei ole

ohjelma.

MIKAEL HILDi;:N, PER MICKWITZ, JUKKA SIMILÄ & STEFAN SJÖBLOM 137

LÄHTEET

Ahonen, Pertti: Jotta arviointi olisi jotakin, se ei voi olla kaikkea. Hallinnon tutkimus 17 (1998) 4, s.

257-261.

Alb�k Erik: Between knowledge and power: Utilization of social science in public policy making', Policy Sci­

ences, 28 (1995) s. 79 - 100.

Baldwin, Robert and Martin Cave: Understanding Reg­

ulation. Theory, Strategy and Practice, Oxford Uni­

versity Press, Somerset 1999.

Bartlett, Robert V.: Evaluating environmental policy success and failure, teoksessa: Vig, Norman J - Kraft, Muchael E. (toim.): Environmental Policy in the 1990s: Towards a New Agenda. Congressional Quarterly Press, Washington O.C. 1994.

Caracelli, Valerie J. ja Preskill, Hallie (toim.): The expan­

ding scope of evaluation use. New Directions for Evaluation 88. Jossey-Bass, San Francisco 2000.

Derzko Natalie M.: Using lntellectual Property Law and Regulatory Processes to Foster the lnnovation and Diffusion of Environmental Technologies, Harvard Environmental Law Review, 20 (1996) 1, s.3-59.

Oaugbjerg, Carsten: Policy Networks under Pressure.

Pollution Control, Policy Reform and the Power of Farmers, Ashgate, Aldershot 1998.

Freeman Chris ja Luc Soet: The Economics of lndus­

trial lnnovations (3. painos), The MIT Press, Cam­

bridge Massachusetts 1997.

Furubo Jan-Eric ja Sandahl Rolt lntroduction: A Diffusion Perspective on Global Developments in Evaluation, esitelmä esitetty 4. EES konferensissa Lausannessa 12-14.10.2000, ilmestyy johdantona teoksessa: Furubo Jan-Eric, Ray Rist and Rolf San­

dahl (toim.): International Atlas of Evaluation, Trans­

action Publishers (suunniteltu julkaisuvuosi 2002).

Guba, Egon ja Lincoln, Yvonna S.: Fourth Generation Evaluation. SAGE Publications, Newbury Park 1989.

Hahn Robert W and Robert N. Stavins. Economic lncentives for Environmental Protection: lntegrating Theory and Practice, American Economic Review, 82 (1992): 2, s. 464 -468.

Haila Yrjö ja Pekka Jokinen: Ympäristöpolitiikka: mikä ympäristö, kenen politiikka, Osuuskunta Vastapaino, Tampere, 2001.

Harrinvirta, Markku, Uusikylä, Petri and Virtanen, Petri:

Arvioinnin tila valtionhallinnossa, Valtiovarainminis­

teriö, Tutkimukset ja selvitykset, Nro 7/98, Helsinki 1998.

Hilden Mikael, Jukka Lepola, Per Mickwitz, Aard Mul­

ders, Marika Palosaari, Jukka Similä, Stefan Sjöb­

lom, and Evert Vedung: Evaluation of environmental policy instruments - a case study of the Finnish pulp and paper and chemical industries. Manuscript 2001.

Hirschman, Albert: The rhetoric of reaction: perversity, futility, jeopardy. Mass. Belknap Press, Cambridge

1991.

Jaffe Adam B., Richard G Newell ja Robert N. Stavins:

Technological Change and the Environment, Oiscus­

sion Paper 00-47, Resources for the Future, (saa­

tavissa: http://www.rff,org/CFDOCS/djsc papers/

abstracts/0047 htm). 2000.

Kautto, Petrus, Melanen, Matti. Saarikoski, Heli, Ilo­

mäki, Mika ja Yli-Kauppila, Hannele: Suomen jäte­

politiikan ohjauskeinot : vaikutukset, vaikuttavuus ja kehittämistarpeet. Suomen ympäristö 430. Suomen ympäristökeskus, Helsinki 2000.

Kuusisto, Esko (toim.): Pintavedet, Katsaus 2. Ympä­

ristö (2001) 2, s. 17-24.

Laakkonen, Simo: Vesiensuojelun synty - Helsingin ja sen merialueen ympäristöhistoriaa 1878 -1928, Gaudeamus kirja, Tampere 2001.

Light Richard J. (toim.): Evaluation Findings that Surprise, New Directions for Evaluation, 90, Jossey­

Bass Publishers, San Francisco 2001.

Lundqvist Lennart J: Environmental Politics in the Nordic Countries: Policy, Organisation, and Capacity, teoksessa: Christiansen Peter M. (toim.) Goveming the Environment: Politics, Policy, and Organization in the Nordic Countries, Nord 1996:5, Nordic Coun­

cil of Ministers, Copenhagen, 13 - 27. 1996.

Lupia, Arthur: Evaluating Policy Science Research:

lnformation for Buyers and Sellers, PS: Political Sciences and Politics, XXXIII (2000) 1 s. 7-13 ..

(saatavilla myös: http·/twww.apsa.com/PS/marchOO/

lupia cfm}

Mickwitz, Per: Evaluating Environmental Policy lnstru­

ments, esitelmä esitetty konferensissa Evaluation 2000, The annual meeting of the American Evalua­

tion Association, 1-5.11.2000, Waikikissa (2000a).

Mickwitz Per: ls it as bad as it sounds or as good as it looks?-TheexperiencesofFinnish water permits,esi­

telmä esitetty konferensissa "International Societyfor Ecological Economics" 5-8. 7.2000, (2000b) Canber­

rassa, (saatavissa: http://www.yyh.fi/engtresearch/

projects/policyey/lSEE1 htm}

Määttä, Kalle: Energiaveropolitiikka, Kauppakaari, Hel­

sinki 2000.

OECD: Environmental Performance Review ofFinland, Organisation for Economic Co-operation and Oeve­

lopment, Paris, 1997.

Patton, Michael Q.: Utilization-Focused Evaluation.

The New Century Text, SAGE Publications, London 1997.

Pressman, Jeffrey L. ja Wildawsky, Aaron: lmplemen­

tation -How great expectations in Washington are dashed in Oakland; or why it"s amazing that Federal programs work at all. University of California Press, Berkeley, California 1973.

Rombach, Björn ja Sahlin-Andersson, Kerstin (toim.):

Från sanningssökande tili styrmedel. Modema utvär­

deringar i offentlig sektor, Nerenius & Santerus förlag, Stockholm 1995.

Rossi, Peter H., Freeman, Howard E. ja Lipsey, Mark W.: Evaluation: A Systematic Approach, SAGE Pub-

lications, Thousand Oaks 1999.

Sairinen, Rauno: Regulatory reform of Finnish envi­

ronmental policy, Helsinki University of Technology, Centre for Urban and Regional Studies Publications A2.7, 2000.

Sairinen, Rauno, Tytti Viinikainen, Vesa Kanninen and Arto Lindholm Suomen ympäristöpolitiikan tulevai­

suuskuvat. Ympäristöministeriö . Gaudeamus. Hel­

sinki, 1999.

Sikor Thomas ja Richard B. Noordgard: Principles for Sustainability: Protection, lnvestment, Co-ope­

ration and innovation, teoksessa: Köhn Jörg, John Gowdy, Friedrich Hinterberger ja Jan van der Straa­

ten (toim.): Sustainability in Question n the Search for a Conceptual Framework, Advances in Ecologi­

cal Economics, s. 49 - 65, Edward Elgar, Chelten­

ham 1999.

Valovirta, Ville: Kokemuksia valtion virastojen ja laitos­

ten arvioinnista. Valtiovarainministeriö, tutkimukset ja selvitykset (2000) 9.

Valtiontalouden tarkastusvirasto: Itämeren suojeluso­

pimuksen toteuttaminen Suomessa. Valtiontalouden tarkastusvirasto, tarkastuskertomus 8, 2001.

Vedung, Evert: Public Policy and Program Evaluation, New Brunswick, Transaction Publishers 1997.

Vedung Evert: Policy lnstruments: Typologies and The­

ories, teoksessa: Bemelmans-Videc, Marie-Louise, Ray C. Rist and Evert Vedung (toim.) Carrots, Sticks,

& Sermons: Policy lnstruments & Their Evaluation s. 21-58, New Brunswick, Transaction Publishers, 1998.

Virtanen, Petri: Arviointiosaamisen ulottuvuudet julki­

sella ja kolmannella sektorilla, Hallinnon tutkimus 20 (2001) 2, S.144-152.

Weiss Carol H.: Have we learned anything new about the use of evaluation?' American Journal of Evalua­

tion, 19 (1998) 1, s. 21 - 33.

Wolf, Sidney M.: Fear and Loathing About the Public Right to Know: the Surprising Success of the Emer­

gency Planning and Community Right-To-Know Act, Journal of Land Use & Environmental Law, 11 (1996) 2, s. 217 - 325. (saatavilla: http://wwwlaw.fsu.edu/

journals/landusetvoI1121wolf pdf ).