Kuviossa 8 on kuvattuna arviointityökalun kehittämisprojektin vaiheet.
Kuvio 8. Kehittämisprojektin vaiheet
Arviointityökalun kehittämisen tueksi hyödynnettiin kvantitatiivisen menetelmin kaksivai-heista Webropol-kyselyä, sähköpostihaastatteluja sekä keskusteluja kasvotusten. Tutki-mustulokset havainnollistettiin osin Webropolista suoraan saaduilla kuvilla sekä käyttä-mällä Officen Excel-ohjelmaa ja luomalla sieltä taulukoita.
7.1. Suunnittelu ja arviointityökalun ensimmäinen versio
Syksyllä 2019 nimettiin erilaisia palvelutiimejä kehittämään eri urheilutoiminnon asioita Palloliitossa. Itseni nimettiin Lapsuus- ja nuoruusvaiheen SPL koulutustiimiin (kuvio 9), jonka tehtävä oli kehittää alemman tason valmentajakoulutusta, maalivahtivalmentajien koulutusta, kouluttajakoulutusten kehittämistä alueilla, kurssien dokumentoinnin ja arvioin-nin kehittämistä analysointia sekä päätöksentekoa varten.
47
Kuvio 9. Lapsuus- ja nuoruusvaiheen SPL koulutustiimi (Suomen Palloliitto 2019.)
Tähän palvelutiimiin tuotiin esittelyyn ensimmäisen version kehitellystä arviointityökalusta.
Työkalua esitettiin myös Palloliiton koulutuspäällikölle Matti Lähitielle sekä lapsuusvaiheen valmennusosaamisen päällikölle Santeri Suvalalle, Vierumäen kouluttajalle Maiju Kokko-selle, Kilpa- ja Huippu-urheilun tutkimuskeskuksen tutkijalla Minna Blomqvistille sekä Olympiakomitean Kirsi Hämäläiselle ja heiltä saatiin ideoita työkalun jatkokehittämiseen.
Seurakentältä tulleiden palautteiden perusteella ja palvelutiimin keskustelujen pohjalta ar-viointityökalun kokeilemiselle oli tilausta. Tässä vaiheessa heräsi ajatus tämän arviointi-työkalun kokeilemisesta seuraympäristössä ja tehdä siitä tutkimus. Täten arviointiarviointi-työkalun kehittämisprosessi käynnistyi sekä käyttökokemuksien kyselytutkimus toimivat opinnäyte-työnä. Syyskuussa lähettiin opinnäytetyön aihe ohjaavalle opettajalle ja aihe sai hyväksyn-nän.
7.2. Kehittämisprojektin perusjoukon hankkiminen ja kysymyspattereiden luomi-nen
Lokakuun 1.päivänä 2019 lähetettiin ensimmäinen sähköpostiviesti 35:den seuran val-mennuspäällikölle ja tiedusteltiin seuran kiinnostusta osallistua kyseisen arviointityökalun kehittämiseen (liite 1). Vastausaikaa oli 31.10.2019 saakka. Lokakuun aikana lähetettiin sama viesti samalla sähköpostin jakeluketjulla neljä kertaa. Tavoitteena oli saada vähin-tään kymmenen (10) seuraa ja jokaisesta seurasta viisi (5) valmentajaa mukaan arviointi-työkalun kehittämiseen.
48
Kehittämistyötä varten haluttiin tietää arviointityökalun käyttökokemuksia sekä sitä käyttä-vien henkilöiden taustatietoja. Näitä asioita varten luotiin kaksi kysymyspatteria Webropol-järjestelmään, joista toinen oli tarkoitettu valmentajalle ja toinen valmentajaa arvioivalle henkilölle. Kyselylomake valmentajalle (liite 2) ja valmentajaa arvioivalle henkilölle löytyvät liitetiedostoista (liite 3).
7.3. Kyselytutkimuksen ensimmäinen vaihe
Mukaan ilmoittautui 13 seuraa, joissa 15 arvioijaa ja 62 valmentajaa. 25.11.2019 toimitet-tiin arviointityökalun (Word- ja Excel-osa) sähköpostilla seuroilta saatuihin sähköposti-osoitteisiin (liitteet 4–18). Huomiona, että kyseiset liitteet 4–18 ovat uudistetun arviointityö-kalun Word-osia. Tässä sähköpostiviestissä kuvattiin arviointityöarviointityö-kalun luoneen henkilön taustoja ja arviointityökalun tarkoitusta. Viestissä myös kuvattiin arviointityökalun käytän-nön toimenpiteitä sekä alustavia kehittämisvaiheita (liite 19).
9.12.2019 toimitettiin sähköpostiviesti samalla jakelulla ja viestillä, johon oli lisätty vielä ky-selytutkimuksen linkit. Palautusaika kyselytutkimuksiin osallistumisessa oli 17.1.2020.
Vastausajan umpeutumista ennen oli edellä mainittu sähköposti toimitettu neljä (4) kertaa samalla jakelulla muistuttamaan vastaamisesta.
Joulukuussa saatiin tietoon, että kahden arvioijan kohdalla tuli muutoksia työsuhteissa ja he eivät jatkaneet seurassa. Myös arvioijien oma ajankäyttö tuotti haasteita ja he sovelsi-vat toteutusmallia. Yksi arvioija ei esimerkiksi käynyt tässä vaiheessa seuraamassa harjoi-tustapahtumia vaan otti valmentajan suoraan keskustelemaan arviointityökalussa esille tulleista asioista.
7.4. Arviointityökalun kehittäminen
Kyselytutkimuksien tulosten sekä kehitysehdotuksien perusteella tehtiin muutoksia arvi-ointityökalun osaamiskriteereihin. Osaamiskriteereitä muutettiin yksinkertaisempaan muo-toon sekä kehittymisen seurannasta tehtiin yksi osaamisosa. Osaamiskriteereitä yksinker-taistettiin niin, että jokaiseen osaamisosaan tuli samoja osaamisen verbejä. Perusosaa-mista (arvosanat 1–2) kuvasi verbi tunnistaa, kehittämisosaaPerusosaa-mista (arvosana 3) kuvasi verbi osaa ja vaikuttavuusosaamista (arvosanat 4–5) kuvasivat verbit arvio / kehittää.
Nämä muutokset toimitettiin 17.2.2020 seitsemälle henkilölle kommentoitavaksi. Näistä seitsemästä henkilöstä neljä oli aiemmin käyttänyt arviointityökalua, yksi henkilö halusi tästä vaiheesta eteenpäin käyttää työkalua, yksi henkilö oli valmentaja ja yksi henkilö oli
49
entinen Palloliiton koulutustoiminnon työntekijä. Valmentaja oli nähnyt 1. version arviointi- työkalusta ja kommentoinut sitä (lokakuu 2019) ennen sen lähettämistä seuroille. Vastaa- jilta pyydettiin kommentteja helmikuun loppuun mennessä. Tämän jälkeen arviointityöka- lua viimeisteltiin ennen arviointityökalun uuden version toimittamista seuraympäristöön.
7.5. Kyselytutkimuksen toinen vaihe, kansainvälinen kartoitus, internetpohjaisen sovelluksen tiedustelu ja lisäotannan hankkiminen
11.3.2020 lähettiin uudistettu version arviointityökalusta kyselytutkimuksen 1.vaiheeseen ilmoittautuneille. Toiveena oli myös saada enemmän vastauksia kyselyihin ja arviointityö-kalua hyödynnettiin UEFA A pienryhmässä (4 henkilöä) sekä UEFA B koulutusryhmällä (16 henkilöä).
Alkuperäinen ajatus oli, että huhtikuun aikana olisi ollut mahdollista vastata arviointityöka-lun käyttökokemuksen kyselyihin. Korona-pandemia alkoi juuri näihin aikoihin Suomessa ja sulki joukkuetoiminnan. Kyselytutkimus julkaistiin vasta 22.4.2020 ja vastausten takara-jaa pidennettiin 19.7. asti. Tämän oli tarkoitus mahdollistaa se, että joukkueet pystyisivät aloittaa harjoittelun ja arvioijilla olisi mahdollisuus käydä seuraamassa valmentajan toimin-taa kentällä. Vastausajan umpeutumista ennen oli edellä mainittu sähköposti toimitettu kuusi (6) kertaa samalla jakelulla muistuttamaan vastaamisesta.
Kotimaisten ihmisten vastausten ja kommenttien lisäksi arviointityökalun kehittämiseen haluttiin saada kansainvälistä näkökulmaa valmentajan kokonaisvaltaisen valmennus-osaamisen arviointityökalujen olemassaolosta. Yhdeksän maan jalkapalloliittoa (Ruotsi, Tanska, Hollanti, Belgia, Skotlanti, Yhdysvallat, Kanada, Saksa ja Englanti) lähestyttiin sähköpostitiedustelulla heidän mahdollisesta käyttämästään arviointityökalusta. Kyselyyn vastasivat Hollannin ja Saksan jalkapalloliitto. Saksa oli käynnistämässä kokonaisvaltai-sen arviointityökalun hyödyntämistä omissa valmentajakoulutuksissaan ja olivat kiinnostu-neita tästä arviointityökalusta. Heille toimitettiin englanninkielinen tiivistelmä luodusta arvi-ointityökalusta. Hollannista lähestyi Peter van Dort, joka toimii liiton kouluttajana UEFA A ja PRO tasolla. Hänen kanssaan pidettiin tunnin TEAMS-videopalaveri, jossa jaettiin aja-tuksia kouluttamisesta ja arvioinnista. Hollannissa hyödynnetään Bloomin taksonomian verbejä aktiivisesti valmentajakoulutuksessa ja arviointia tehdään koko koulutuksen ajan eri tahojen osalta. Arviointiin osallistuu koulutettava, kouluttaja, koulutettavan seura, pe-laajat ja vanhemmat. Tämä arviointi on upotettu heidän internetpohjaiseen valmentajakou-lutusjärjestelmäänsä.
50
Tästä saadun idean perusteella tiedusteltiin internetpohjaisen sovelluksen kehittämismah-dollisuuksia arviointityökalulle sekä hintaa mahdolliselle sovellukselle. Tiedustelu asiasta lähetettiin neljään it-alan yritykseen ja kahdelta yritykseltä saatiin myös hinta-arvion mah-dolliselle sovellukselle. Ajatus internetpohjaisesta sovelluksesta esitettiin Palloliiton koulu-tustoiminnon johtoihmisille, he kokivat asian erittäin hyväksi, mutta kokivat ajankohdan olevan vielä liian aikainen. Perustoiminnan vakiinnuttaminen paremmalle tasolle koettiin olevan tärkeintä tällä hetkellä ja internetpohjainen sovellus tukee varmasti kouluttautu-mista tulevaisuudessa.
Ensimmäisellä vastauskierroksella vastaajien määrä kyselytutkimuksessa oli jäänyt pie-neksi, joten haluttiin lisää vastaajia niin valmentajien kuin valmentajaa arvioineiden otok-seen. Toukokuun lopussa arviointityökalu laitettiin vielä avoimeksi kaikille, kuitenkin eh-tona oli se, että valmentaja saa itselleen arvioijan ja molemmat vastaisivat kyselyihin. Tä-män kautta mukaan ilmoittautui vielä 21 valmentajaa ja arvioijaa.
7.6. Tulosten analysointi ja arviointityökalun tulevaisuus
Tulosten analysointi aloitettiin heinäkuun lopussa ja samalla alkoi opinnäytetyön viimeiset vaiheet (mm. tulosten havainnollistaminen ja analysointi sekä opinnäytetyön pohdinta-osuuden kirjoittaminen).
Syyskuussa arviointityökalun tuloksista keskusteltiin liiton koulutustoiminnan johtohenkilöi-den kanssa ja mietittiin, kuinka arviointityökalua voitaisiin tulevaisuudessa hyödyntää.
51