Vaikuttavuusarvioinnin kohteena on Kestävää kasvua ja työtä 2014-2020 – Suomen rakennerahasto-ohjelman valtakunnallisen Osuvaa osaamista toi-menpidekokonaisuuteen kuuluva Sujuvat siirtymät -osion hankkeet. Sujuvat siirtymät -osiossa luodaan ja pilotoidaan toisen asteen ammatilliseen koulu-tukseen valtakunnallisia, koulutuksen järjestäjien yhteistyöhön perustuvia siirtymävaiheiden palveluita ja toimintamalleja.
Arvioinnin osana selvitetään toisen asteen ammatillisen koulutuksen siirtymä- ja nivelvaiheita ke-hittävien hankkeiden tavoitteiden saavuttamista, vaikutuksia koulutuksen toteuttamiseen sekä lisäarvoa kansalliseen toimintaan ja rakennerahastotoimintaan Sujuvat siirtymät -osion tavoittei-den mukaisesti. Lisäksi arvioidaan alueellisten hankkeitavoittei-den toiminnan ja tulosten lisäarvoa valta-kunnalliseen kehittämiseen.
Osana raporttia tuotetaan tiiviit kuvaukset hankkeissa kehitettävistä toimintamalleista ja odote-tuista tuloksista, mutta varsinaisiin hankkeiden tuloksiin ja mallinnuksiin pääsee tutustumaan Saku ry:n ylläpitämästä Arjen arkin menetelmäpankista (http://arjenarkki.fi/menetelmapankki), johon hankkeet mallintavat keskeiset tuloksensa.
Arvioinnin tiedonkeruu on pitänyt sisällään hanke- ja asiantuntija-haastatteluita, minkä lisäksi on hyödynnetty mm. hankkeiden omia ja Zoomi-hankkeen tuottamia aineistoja. Koska arviointi kohdistuu vielä käynnissä oleviin hankkeisiin, voidaan arvioinnissa tuottaa näkemyksiä oletetuista vaikutuksista sekä toimeenpanon ja juur-tumisen edellytyksistä. Tämä on huomioitu myös kysymyksen aset-telussa. Arvioinnin tiedonkeruussa koottua tietoa peilataan hank-keiden kehittämistyön lähtötilanteeseen, oletettuihin muutoksiin sekä tuotetaan näkemyksiä siitä, kuinka hankkeiden vaikuttavuutta voisi lisätä eri toimijoiden yhteistyönä.
Arviointi on käynnistynyt Opetushallituksen toteuttaman
Zoomi-hankkeen toimeksiannosta. Zoomi toimii Sujuvat siirtymät -osion koordinointiZoomi-hankkeena, ja käsillä olevan arvioinnin käynnistäminen on myös osa koordinaatiotehtävää. Arviointi osaltaan palvelee Zoomi-hankkeen tavoitteita nostaa esiin kehittämistarpeita ja suunnata toimenpiteitä Sujuvat siirtymät -tulosten vaikuttavuuden lisäämiseksi. Arviointi on toteutettu kesäkuun 2017 ja maalis-kuun 2018 välisenä aikana. Arvioinnin on toteuttanut Owal Group Oy.
Suuri osa arvioinnin
koh-teena olevista hankkeista
on vielä aktiivisessa
ke-hittämisvaiheessa. Siten
raportissa voidaan
esit-tää osin vain oletuksia
syntyvistä tuloksista ja
vaikutuksista sekä
suosi-tuksia vaikuttavuuden
lisäämiseksi.
6
www.owalgroup.com | info@owalgroup.com
Sujuvat siirtymät -arviointi | Opetushallitus
1.1 Arvioinnin tavoitteet ja tehtävä
Arvioinnin tehtävänä on vastata seuraaviin kysymyksiin:
• Miten 2. asteen ammatillisen koulutuksen siirtymä- ja nivelvaiheita kehittävät valtakunnalliset hankkeet ovat onnistuneet määritellyissä kehittämiskohteissa?
• Mikä on hankkeiden lisäarvo kansalliseen toimintaan ja rakennerahastotoimintaan Sujuvat siir-tymät -osion tavoitteiden mukaisesti?
• Mitä vaikutuksia on tunnistettavissa koulutuksen toteuttamiseen?
• Mikä on alueellisten hankkeiden toiminnan ja tulosten tuki ja lisäarvo valtakunnalliseen kehit-tämiseen?
Tiedon pohjalta tuotetaan suosituksia tulosten laajempaan hyödyntämiseen ja toiminnan kehittä-miseen jatkossa. Hankkeille asetettuja tavoitteita, rahoitettuja hankkeita ja toimintaympäristöä kuvataan laajemmin luvussa 2.
Tässä yhteydessä on jo hyvä tuoda esiin tekijöitä, jotka vaikuttavat arvioinnin toteutukseen: Arvi-ointi kohdistuu hankekokonaisuuteen, jossa kehittämistyö, mutta etenkin juurruttamistyö on kes-ken. Vuonna 2015 käynnistyneiden hankkeiden varsinainen toiminta-aika on päättymässä, ja hank-keet ovat saaneet perustelluista syistä jatkoaikaa keväälle 2018. Tällä jatkoajalla tehdään vielä mallien tuotteistamis- ja levittämistyötä. Vuonna 2016 käynnistyneiden hankkeiden kehittämistyö ja pilotointi ovat vielä arvioinnin tekohetkellä monelta osin kesken. Syksyllä 2017 Zoomin tekemän seurantakyselyn mukaan 8/10 valtakunnallisesta hankkeesta oli edennyt sisällöllisesti alle 75 % suhteessa hankesuunnitelmaan. Tämä tarkoittaa myös sitä, ettei kokemus- ja arviointietoa ole saatavilla toimintamalleista hankkeiden puolelta kuin rajoitetusti. Siten arvioinnissa ei voida ottaa vahvasti kantaa siihen, kuinka onnistuneita itse toimintamallit ovat.
Kuva 1. Hankkeiden itsearvio (syksy 2017) sisällöllisen edistymisen osalta
Arvioinnissa voidaan asemoida tehtyä kehittämistyötä eri lähteiden perusteella suhteessa tarpee-seen; mihin toimintamalleilla on haluttu vastata, ja kuinka tehty kehittämistyö istuu ”valtakunnalli-seen tarpee”valtakunnalli-seen”. Jotta voidaan puhua varsinaisesti vaikuttavuudesta, tulisi voida ennustaa se, kuinka hankkeet saadaan juurtumaan ja leviämään. Painopiste on kokeilu- ja kehittämisvaiheessa laadullisissa vaikutuksissa (mm. prosesseissa, palveluiden kohdentamisessa, eri tahojen huomioimi-sessa palveluita/toimenpiteitä suunniteltaessa ja palvelukokemukhuomioimi-sessa). Vaikutusten odotetaan olevan vähintäänkin paikallisia, ja niihin osallistuvien organisaatioiden hyödynnettävissä myös tule-vaisuudessa. Odotuksena on myös, että onnistuneet mallit voidaan vakiinnuttaa osaksi koulutuksen
1 2 5 2
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Valtakunnallisten hankkeiden vaihe sisällöllisen toteutuksen osalta(N)
1 = alle 25 % 2 = alle 50 % 3 = alle 75 % 4 = yli 75 %
7
www.owalgroup.com | info@owalgroup.com
Sujuvat siirtymät -arviointi | Opetushallitus järjestäjien toimintatapoja. Tässä vaiheessa hankkeiden kehittämiskaarta voidaan lähinnä nostaa esiin asioita, jotka tulisi huomioida laajemmassa levittämis- ja siirtotyössä.
Lähtökohtaisesti nyt rahoitetuissa hankkeissa on kaikissa toteutettu kattoteeman alla lukuisia eri toimenpiteitä. Useampia kehittämisteemoja sisältävissä hankkeissa syntyy joitain yksittäisiä valta-kunnallisesti sovellettavia malleja. Tällöin hyödyntämisarvo riippuu levittämistyöstä ja viestinnästä;
siitä, että tuotokset on helppo löytää ja ottaa käyttöön.
Kuten todettiin, suuri osa hankkeista on vielä aktiivisessa kehittämis-, juurruttamis- ja/tai levittä-misvaiheessa. Arvioinnilla on tuotettu tietoa suhteessa hankkeiden kehittämistyön lähtötilantee-seen, ja oletettuihin muutoksiin, joihin voidaan pitkälti vastata jo hankkeille asetettuihin tavoittei-den kautta. Arvioinnin kohteelle on ominaista, että samanaikaisesti tehdään runsaasti rinnakkaista kehittämistyötä, joiden yhteisvaikutusta hankkeiden tuloksiin ei voida arvioida. Toisaalta sitä ei myöskään suoranaisesti edellytä arvioitaessa, ovatko valtakunnalliset hankkeet vastanneet tavoit-teisiinsa.
1.2 Arvioinnin aineistot ja menetelmät
Arvioinnin käytössä oleva aineisto on laadullinen. Osana arviointia haastateltu kaikkien valtakun-nallisten hankkeiden vastuuhenkilöt ja osallistettu yhteistyökumppaniorganisaatioita joko täyden-tävien haastatteluiden tai ohjausryhmän kautta. Tällöin huomio on myös jäänyt arvioinnissa pie-nempään rooliin. Yhteensä hankkeiden osalta haastatteluihin on osallistunut (n. 60) henkilöä, min-kä lisäksi on tehty täydentäviä tietopyyntöjä.
Aineistona on hyödynnetty hankkeiden hakemuksia ja seurantaraportteja, julkisesti dokumentoituja tuloksia ja havaintoja (blogit, verkkosivut, some), Zoomi-hankkeen toteuttamia seurantakyselyitä, Zoomi-hankkeen väliraporttia, jossa on kuvattu hankkeiden toimintamalleja sekä Zoomi-hankkeen osana toteutettuja vertaisarvioinnin aineistoja. Arvioinnissa on seurattu yhtä Zoomin toteuttamaa vertaisarviointitilaisuutta.
Arvioinnin alussa toteutettiin hankkeiden toimintaympäristöä ja tavoitteita pohjustavia aloitus-haastatteluita (6 kpl). Arvioinnin loppuvaiheessa toteutettiin helmikuussa 2018 Zoomi-hankkeen ohjausryhmän työpaja, jossa on käsitelty ensimmäisiä havaintoja. Lisäksi loppuvaiheessa on tehty täydentäviä asiantuntijahaastatteluita (4 kpl), joissa on peilattu valtakunnallista lisäarvoa eri nä-kökulmista.
Alueellisten hankkeiden toimintaa on sivuttu arvioinnissa lähinnä sekundäärilähteiden perusteella ja kytkemällä hyödyntämisen näkökulmaa valtakunnallisten hankkeiden haastatteluissa. Hankkeista on saatu tietoa Zoomin seurantakyselyistä, Arjen arkki -menetelmäpankista sekä vertaisarvioin-neista, joita on jo tehty osasta hankkeita. Osalle hankkeista on tehty täydentäviä tietopyyntöjä.
8
www.owalgroup.com | info@owalgroup.com
Sujuvat siirtymät -arviointi | Opetushallitus