Laaditun lomakkeen esitestaus toteutettiin yhden päivän aikana Yritys X:n Vantaan toimipisteessä. Vaikka lopullinen asiakastyytyväisyyskysely toteutetaan useassa toimipisteessä, todettiin esitestaukseen riittävän yhdestä toimipisteestä saadut vastaukset. Oletettiin, että huolellisesti suoritettuna esitestauksesta saatujen kommenttien ei tulisi vaihdella merkittävästi eri toimipisteiden välillä. Esitestaus toteutettiin haastatteluina, joissa pyrkimyksenä oli löytää asiakastyytyväisyys-lomakkeesta asiakkaiden palautteen kautta puutteita tai kehittämistä vaativia osa-alueita. Haastatteluiden lisäksi pyrittiin havainnoimaan vastaajien käytöstä lomakkeen täytön aikana ja täten keräämään lisätietoa haastattelujen vastausten tueksi.
6.3.1 Otos
Esitestauksessa käytetyn otoksen koko oli kahdeksan haastateltavaa aikuista.
Lisäksi pyydettiin yhteensä 12:n seurueisiin kuuluneen lapsen koetäyttävän lomakkeen oman ikäryhmänsä kysymysten osalta. Aikuisista haastatelluista kuusi oli naisia sekä kaksi miehiä, ja heidän ikänsä vaihtelivat 26 – 40 vuoden välillä.
Aikuisten osalta haastatellut kuvastivat suhteellisen monipuolisesti Yritys X:n tyypillistä asiakaskuntaa otoksen pienuudesta huolimatta. Lasten kohdalla alle 4-vuotiaita vastaajia oli 5 henkilöä, 4 – 6-4-vuotiaita 5 henkilöä sekä kouluikäisiä 2 henkilöä. Alle kouluikäisten vastaajien osuus oli esitestauksen kannalta tavoiteltu, mutta kouluikäisissä jäätiin hieman tavoitteesta. Haastattelupäivänä kouluikäisiä oli tavallista vähemmän asiakkaina, mahdollisesti testauspäivän aurinkoisen sään vuoksi.
Puolet haastatteluista tehtiin aamupäivän ja puolet iltapäivän sekä illan aikana.
Tähän ratkaisuun päädyttiin ensinnäkin sen vuoksi, että tyypillinen asiakaskunta eroaa huomattavasti päivän mittaan; aamulla asiakaskunta koostuu lähinnä seurueista, joissa on alle 4-vuotiaita lapsia – iltapäivällä teemapuiston puolestaan täyttävät tarha- ja kouluikäiset työssäkäyvine aikuisineen. Toiseksi, iltapäivisin ja iltaisin teemapuiston asiakasmäärät ovat huomattavasti aamupäivää suuremmat, mikä kuvastaa paremmin lopullisen lomakkeen täyttämistilannetta; lomakkeen täyttö voi helposti keskeytyä tai keskittyminen on vaikeaa muiden tekijöiden, kuten melun, vuoksi.
6.3.2 Käytetty menetelmä
Esitestauksessa päädyttiin käyttämään menetelmää, jossa vastaajalle kerrottiin etukäteen esitestaustilanteesta. Kyseisen menetelmän käyttöön päädyttiin käytännön syistä; vastaajia ei olisi ollut yhtä helppo saada haastatteluihin, lisäksi osa vastaajista olisi voinut kokea tulleensa huijatuksi. Myös kysymyslomakkeita olisi pitänyt jakaa kaikille halukkaille, mikä olisi tarkoittanut huomattavaa hukkaan heitettyä paperimäärää. Tilanteessa päätettiin siis olla mahdollisimman avoimena ja kertoa tutkimuksen aiheesta sekä esitestauksen tarkoituksesta. Esitestauksesta kertominen vähensi esitestaukseen halukkaiden määrää; osa piti ilmoitettua
esitestauksen kestoa (n. 30 min) liian pitkänä. Tätä ongelmaa esiintyi kuitenkin vasta iltapäivän aikana.
Esitestattavien annettiin ensin täyttää kyselylomake ohjeenaan puuttua heti epäselviin kysymyksiin, sanoihin, ilmaisuihin, ohjeisiin ja vastausvaihtoehtoihin. Tällä pyrittiin saamaan haastateltavalta ensireaktio epäselvään tai häiritsevään tekijään.
Uskottiin myös, että näiden asioiden kysyminen vasta lomakkeen täytön jälkeen ei kirvoittaisi yhtä paljon saati yhtä monipuolisia kommentteja. Koska esitestattavien täytön yhteydessä antaman palautteen määrä vaihteli huomattavasti vastaajien kesken, kysyttiin täytön jälkeen jokaiselta haastateltavalta vielä joukko lisäkysymyksiä, joilla pyrittiin varmistamaan palautteen saanti jokaiselta valitulta osa-alueelta. Lista täytön jälkeisistä lisäkysymyksistä löytyy Liitteestä 1.
6.3.3 Esitestauksen tulokset
Esitestattavilta saadut palautteet kerättiin haastattelujen sekä havaintojen pohjalta.
Koska vapaan, täytön yhteydessä sekä haastattelijan lisäkysymyksillä saadun palautteen menetelmä osoittautui tehokkaaksi kommenttien keräämistavaksi, palautteen määrä oli hyvin kattava ja vastaajien mielipiteet vaihtelivat runsaasti.
Esitestaustuloksille oli tyypillistä, että joukosta nousi esiin samoja, lähes joka haastateltavan mainitsemia positiivisiksi ja negatiivisiksi koettuja tekijöitä. Tuloksissa oli kuitenkin selvää hajontaa, sillä jokaisella vastaajalla oli myös omia mielipiteitä, jotka eivät toistuneet muilla haastateltavilla.
Esitestauksen kommentit on tiivistetty Liitteeseen 2. Taulukkoon on valittu ainoastaan ne kommentit, jotka ovat toistuneet vähintään kahdella eri haastateltavalla. Yksittäisten kommenttien paljouden vuoksi niitä ei ole sisällytetty kyseiseen taulukkoon. Lomakkeen järjestystä piti moni haastateltava ensin hyvänä, mutta jatkokysymykset aiheesta saivat monen vaihtamaan mieltänsä. Yleisesti toivottiin lasten osion siirtämistä aivan lomakkeen loppuun. Esimerkiksi haastateltava 5 koki lomakkeella häiritseväksi aikuisen täytettävän osuuden katkeamisen kesken kaiken lasten osuuteen. Kaksi vastaajaa myös toivoi kaikkien esitietokysymysten, toisin sanoen demografisten ja palvelun käyttöä koskevien kysymysten, siirtämistä lomakkeen alkuun. Osioiden ryhmittelyä palveluun,
mielialaan, lapsiin sekä demografisiin ja palvelun käyttöä koskeviin tekijöihin pidettiin selkeänä ja positiivisena asiana.
Esitestattavat 1 ja 2 toivoivat lomakkeelle kysymystä käynnin ajankohdasta. Heidän näkemyksensä mukaan osassa palvelu-osion väittämissä oma vastaus riippui täysin käynnin ajankohdasta, ts. aamu- ja iltapäivästä tai arkipäivästä ja viikonlopusta.
Tällaisena väittämänä koettiin mm. ”Vieraillessani Yritys X:ssä en joudu odottamaan turhaan”. Muita lisäkysymystoiveita haastateltavat eivät esittäneet. Sen sijaan turhana osiona koettiin mieliala kokonaisuudessaan (esitestattava 5 ja 6). Juuri
kyseiset haastateltavat kuitenkin käyttivät puheessaan asiakastyytyväisyystutkimuksen sijaan sanaa ”asiakaspalaute”, mikä voi viitata
siihen, etteivät haastateltavat ymmärtäneet kyselylomakkeen tarkoitusta. Mieliala-osion kohdalla kyse oli nimenomaan siitä, etteivät haastateltavat ymmärtäneet, miksi tunnetiloja pitää kysyä.
Lomakkeen pituutta kysyttäessä yllättäen vain kaksi haastateltavaa koki kyselyn liian pitkäksi. Lomakkeen keskimääräinen täyttöaika esitestauksessa oli n. 17 minuuttia, mikä teemapuiston kaltaisessa ympäristössä on suhteellisen paljon. Kyseinen minuuttimäärä ei kuitenkaan kerro koko totuutta, sillä esitestaustilanteessa haastateltavat antoivat samalla lomakkeesta palautetta, joten keskimääräinen täyttöaika todellisuudessa olisi n. 10 – 15 min. Useat vastaajat myös lisäsivät, ettei aika olisi este täyttämiselle ainakaan silloin, jos vastaamisesta palkittaisiin esim.
kahvilatuotteella tai alennuksella seuraavasta pääsymaksusta.
Suurimmat ongelmat lomakkeella aiheutti vastaajien mielestä liian tiivis ja sekava ulkonäkö. Erityisesti haastateltavat kaipasivat lisää riviväliä tai tyhjiä rivejä (6 henkilöä) sekä osa myös suurempaa fonttia (2 henkilöä). Useimmilla vastaajista (7 henkilöä) ollut ongelma pysyä oikealla rivillä johtuikin todennäköisesti juuri edellä mainituista ongelmista. Ulkonäköä kuitenkin kiiteltiin lasten osiossa, jossa vastaajat kokivat piirretyt kasvojen kuvat ilahduttaviksi ja lapset huomioon ottaviksi. Aikuiset haastateltavat myös poikkeuksetta kokivat lasten kysymykset hyviksi sekä laadultaan että määrältään ja lasten helposti ymmärrettäviksi.
Itse lomakkeen kysymysten osalta esitestauksessa ei tullut esille yhtäkään kokonaista kysymystä, joka olisi aiheuttanut epäselvyyttä tai vastaamisen vaikeutta haastateltavissa. Vain joitakin epäselviä ilmaisuja esiintyi, kuten sana
”demografinen” ja ”vapaan leikin alue”. Jälkimmäinen johtui ennemminkin siitä, etteivät vastaajat tienneet sen sijaintia kuin siitä, etteivät he olisi ymmärtäneet sanan varsinaista merkitystä. Käänteiset, negatiiviset väittämät palvelu-osiossa herättivät vastaajissa ristiriitaisia tunteita. Kaksi esitestattavaa huomioi kyseiset väittämät kuitenkaan niistä ärsyyntymättä kuten vastaajat 2, 5 ja 6. Käänteisten väittämien sanottiin vaativan liikaa keskittymiskykyä, lisäksi yksi vastaaja koki niiden käytön
”vastaajan aliarvioimisena”.
Vastausvaihtoehdoissa pidettiin rasti ruutuun –kysymysten helppoudesta. Sen sijaan 7-portainen Likert-asteikko koettiin hankalaksi ja vastaajan keskittymistä vaativaksi.
Viisi haastateltavaa kahdeksasta suosikin 5-portaista Likert:iä seitsemän sijaan.
Vaikka vastaajat itse kokivat 5-portaisen mittaustavan riittäväksi omalle tunneskaaloilleen, huomattiin haastateltavien vastausten perusteella kaikkien käyttäneen lomakkeellaan myös äärivaihtoehtoja 1 ja 7, mikä soti haastateltavien omia kommentteja vastaan. Lisäksi SERVQUAL-kysymyksiin palvelu-osiossa kaivattiin ”en osaa sanoa / ei ole kokemusta” –vaihtoehtoa, sillä sen puuttuessa joutui rastimaan vaihtoehdon ”4=ei samaa eikä eri mieltä”. Esimerkiksi SERVQUAL-item ”Yritys on ymmärtäväinen ja myötätuntoinen ongelmatilanteissa” koettiin ongelmalliseksi, mikäli ongelmatilanteita ei ollut syntynyt. Lasten vaihtoehdot koettiin hyvinä ja lasten ymmärrettävissä olevina, vaikka havainnoinnin ja haastateltavien palautteen perusteella todettiin lasten useimmiten valitsevan vain ääripäitä (”tosi kivaa” tai ”tosi tylsää”).