• Ei tuloksia

OSA III: EMPIIRISEN TUTKIMUKSEN TOTEUTTAMINEN

8 METODOLOGISET VALINNAT JA NIIDEN PERUSTELU

8.3 Delfoi –menetelmä

Tämän tutkimuksen ydin on Delfoi kyselytutkimus. Seuraavaksi kä-sitellään Delfoi menetelmää ja sen käyttöä tässä tutkimuksessa.

Aluksi esitellään lyhyesti Delfoi menetelmän historiaa. Seuraavaksi

käsitellään varsinaista Delfoi menetelmää ja sen sovellutusta Argu-ment Delphi menetelmää. Kolmannessa vaiheessa esitellään Delfoi menetelmään kohdistuvaa kritiikkiä. Neljänneksi perustellaan meto-dologista valintaa ja lopuksi perustellaan tutkimukseen osallistujien ja osallistumistavan valintaa sekä tutkimuskierrosten määrän valin-taa.

Delfoi menetelmä on saanut nimensä antiikin Kreikan historiasta tutusta Delfoin oraakkelista. Historian mukaan Maan jumalatar Gaia asui Delfoissa Kreikassa lohikäärme Pythoksen suojelemana. Zeuk-sen poika Apollo tappoi PythokZeuk-sen ja teki itsestään Delfoin valtiaan.

Apollo oli kuuluisa harvinaisen tulevaisuuden ennalta näkemisen kykynsä ansiosta. Nimi ”Delfoi” tulee sanasta delfiini, joksi Apollo muutti itsensä hankkiakseen ensimmäiset papit oraakkelilleen. Del-foista kehittyi legendan ansiosta antiikin Kreikan tärkeimpiä paikko-ja. Se sijaitsi Parnassos vuoren rinteillä luoteis Ateenassa. Apollon ennustuksia välittivät Pythiaat, eli transsitilassa olevat nuoret naiset.

Papit tulkitsivat heitä oraakkelin ennustuksina. (Kemppainen et al 2002, 204-205.)

Delfoi menetelmää on käytetty jo 1920 –luvulla, mutta kunnolla se on otettu käyttöön 1950 –luvulla Yhdysvalloissa. Ensimmäiset tutki-mukset olivat salaisia sotilaallisia sovellutuksia. Menetelmän kehitti-vät Helmer ja Dalkey vuonna 1953, jota Linstone ja Turoff jatkokehit-tivät. Suomenkielisinä synonyymeina on käytetty nimiä Delfi- ja Delphi menetelmä. (Kemppainen et al 2002, 2005). Ensimmäisen jul-kisen Delfoi -tutkimuksen tekivät Gordon ja Helmer vuonna 1964. He tutkivat tieteen ja teknologian kehitystä ja vaikutuksia yhteiskunnan tulevaisuuteen. Heidän tutkimuksessaan kysely lähetettiin 150 asi-antuntijalle, joista 82 osallistui vähintään yhteen kyselykierrokseen.

Kyselykierrokset toteutettiin kahden kuukauden välein. Delfoi metodi on nimenomaan tulevaisuudentutkimuksen piirissä kehitetty ja so-vellettu menetelmä. Sitä on alunperin soso-vellettu paljon suunnittelun ja päätöksenteon tukena. Nykyään Delfoi menetelmää sovelletaan laajasti, esimerkiksi tulevaisuusbarometrien laadinnassa. Delfoi tut-kimusta on toteutettu myös reaaliaikaisena tietokonekonferenssina.

Delfoi menetelmä koki selvän renessanssin 1990 –luvulla, parin-kymmenen vuoden hiljaisemman jakson jälkeen. (Mannermaa 1999a, 146-147.)

Delfoi menetelmällä voidaan löytää ja tiivistää mahdollisimman suuri yksimielisyys tutkimuskohteesta. Näin ei ole tietenkään aina.

Jos esimerkiksi Delfoi menetelmän avulla tuotetaan vaihtoehtoisia skenaarioita tai arvioidaan niitä, tämä ei ole itsestään selvää. Poik-keavien käsitysten esittäminen ja perusteleminen on mahdollista.

Delfoi tutkimuksen tuloksilta ei tule odottaa yksityiskohtaista tie-toa, vaan yleisempää viisautta, hyödyllisiä tuloksia ja harkittuja arvi-oita tulevaisuudesta tilanteissa, joissa analyyttisten metodien käyttö ei ole perusteltua. (Mannermaa 1991, 138-139.) Näihin arvioihin liite-tään korkea luotettavuus. Tulevaisuudentutkimus on aina jossain määrin tulevaisuuden tekemistä ja vaikuttamista inhimilliseen pää-töksentekoon. Tämä on tulevaisuudentutkimuksen tekemisen pe-rimmäinen motivaatio. (Vapaavuori 1993, 21.)

Delfoi menetelmä on hyvä sellaisissa tilanteissa, joissa deskriptii-visen tulevaisuudentutkimuksen voidaan arvioida tuottavan hyödyl-listä tietoa. Siinä pyritään ennustamaan tulevaisuutta suhteellisen kapea-alaisen asiantuntemuksen avulla. Oletuksena on, että men-neisyyden asiantuntemus (asiantuntijoille kumuloitunut tietämys) tuottaa päteviä tulevaisuuden ennusteita. (Mannermaa 1991, 139-140.)

Mannermaa (www.onet.tehonetti.fi/mannermaa/onet/) mukailee Linstonea ja Turofia (1975, 4) ja toteaa, että Delfoi menetelmän käyt-tö on perusteltua esim. seuraavissa tilanteissa:

1. Jos tutkimusongelma on sellainen, että sitä ei voi tarkastella analyyttisilla menetelmillä.

2. Kollektiiviset subjektiiviset arviot ovat oletettavasti hyödyllisiä tutkimusongelman ratkaisussa tai kun arvioidaan tulevaisuu-den peruskehitystä.

3. Jos tutkimusongelma on laaja tai kompleksinen sekä tieteiden-välinen.

4. Jos asiantuntijoita ei saada saman pöydän ääreen.

5. Jos asiantuntijoita ei haluta saada saman pöydän ääreen.

Lähinnä kriteerit kaksi-neljä soveltuvat tässä tutkimuksessa sosi-aali- ja terveysjohtajien tulevaisuuden osaamistarpeiden tutkimiseen.

Subjektiiviseen asiantuntija-arviointiin liittyy oletus menneisyy-den säännönmukaisuumenneisyy-den jatkumisesta tulevaisuudessa. Asiantunti-jalla on kumuloitunut tieto omalta alalta. (Metsämuuronen 2000 a, 52). Käytettäessä tätä tietoa Delfoi tutkimuksessa, implisiittisenä ole-tuksena on, että se sisältää sellaista tietoa, joka erottaa asiantuntijan maallikosta. Tämän tiedon uskotaan sisältävän sellaisia ominaisuuk-sia, että se kantaa pitkälle tulevaisuuteen. Käytettäessä asiantuntijan tietoa ennustamistarkoituksessa, joudutaan olettamaan, että men-neisyydestä tunnistettu muoto ja säännönmukaisuus ovat relevantte-ja myös tulevaisuudessa. Asiantuntirelevantte-jat voivat tuottaa myös merkittä-västi erilaisia tulevaisuudenkuvia. Ei voi siis olettaa, että asiantuntija aina ajattelee lähiajan trendien jatkuvan myös tulevaisuudessa. De-skriptiivisellä tulevaisuudentutkimuksella on painoarvoa myös tule-vaisuudessa. Se muodostaa hyvän yhtymäkohdan eri tieteenalojen ennustamispyrkimysten ja tulevaisuudentutkimuksen välille. (Man-nermaa 1999, 142, Rubin 1995: 6-7.)

Delfoi tutkimuksella voidaan tunnistaa orastavia muutossuuntia ennen kuin ne ovat toteuttavia kehityssuuntia. Se soveltuu käytettä-väksi, kun arvioidaan pitkän aikavälin yhteiskunnallista ja teknolo-gista kehitystä, julkisen instituution toimintaympäristöä ja normatii-visia tavoitteita sekä toimintaohjelmia. Se soveltuu myös potentiaalis-ten toimenpiteiden löytämiseen ja keksimiseen, jonkin tietyn toimin-taohjelman täsmentämiseksi. Sillä voidaan vertailla vaihtoehtoisia toimintaohjelmia ja tukea päätöksentekoa. (Kivelä&Mannermaa 1991, 20, Sivistyksen tulevaisuusbarometri 1997, 12.)

Delfoi tutkimuksen toteuttamiseen pitää olla vähintään kaksi ky-sely- tai haastattelukierrosta. Tutkimus voidaan toteuttaa myös asi-antuntijapaneelina. Tulosten muuttuminen kahden kierroksen välillä on yleensä melko vähäistä. Tutkimuksen kannalta on tärkeää löytää

asiantuntijoita, jotka ovat motivoituneita sitoutumaan tutkimustyö-hön. (Mannermaa 1999, 151.) Delfoi tutkimuksessa asiantuntijoiden määrä on vaihdellut suuresti. (Metsämuuronen 1998, 55.) Delfoi -tutkimus on siis asiantuntijoille suunnattu yleensä vähintään kaksi-vaiheinen strukturoitu tai puolistrukturoitu tutkimus, jossa asian-tuntijoiden tuottamaa tietoa syntetisoidaan tulevaisuustiedoksi. En-simmäinen tutkimuskierros muodostaa toisen kierroksen perustan.

Tulokset esitetään usein tilastollisina jakaumina tai yhteenvetona tu-loksista.

Delfoi tutkimuksen tavoitteena on etsiä luotettavinta mahdollista mielipiteiden konsensusta asiantuntijaryhmässä perättäisten ja in-tensiivisten kyselylomakkeiden sekä kontrolloidun palautteen avulla.

(Mannermaa 1991, 127, Metsämuuronen 1998, 53.)

Delfoi tutkimuksessa on usein seuraavia piirteitä (Kemppainen et al 2002, 206-207, Metsämuuronen 1998, 53, Kuusi 1993, 135). Nä-mä piirteet ovat käytössä myös tässä tutkimuksessa.

1. Anonymiteetti. Asiantuntijoiden arviot ja argumentit esitetään ano-nyymisti. Tässä tutkimuksessa asiantuntijat ovat anonyymejä suh-teessa toisiinsa, mutta anonymiteettia ei ole vastanneiden ja tutkijan välillä.

2. Iterointi. Tutkimuksessa on useampia kierroksia, joiden aikana asiantuntija voi korjata kannanottojaan. Kierroksia jatketaan niin kauan kunnes löydetään riittävä konsensus tai vastausten stabili-suus.

3. Feedback. Asiantuntija voi muuttaa esitetyn aineiston perusteella kannanottojaan tutkimuksen kuluessa.

Tämän tutkimuksen asiantuntijat vastaavat anonyymisti mittarin väittämiin ja heille annetaan mahdollisuus muuttaa kantaansa. Del-foi tutkimukseen liittyy anonymiteetti ja konsensus. Anonymiteetti tarkoittaa, että ryhmän jäsenet eivät tiedä toistensa mielipiteitä. Tä-mä menettely mahdollistaa jäsenten tasavertaisuuden toteutumisen eli vahvojen persoonallisuuksien liiallisen vaikutusmahdollisuuden

eliminoimisen. Delfoi tutkimus ehkäisee arvovalta- ja intressiristirii-tojen vaikuttamisen tutkimuksen tuloksiin. Konsensuksen tavoitte-leminen ei ole itseisarvo. Edellytykset konsensuksen löytymiseen kasvavat, kun Delfoi kierroksia lisätään. Pyrkimys yksimielisyyteen voi johtaa jopa tärkeän informaation katoamiseen. (Kuusi 1993, 136, Metsämuuronen 2000 a, 54, Metsämuuronen 1998, 54.) Delfoi tek-niikalla saatuja tuloksia voidaan täydentää seminaarityöskentelyllä.

Seminaareja voidaan järjestää myös kyselykierrosten välillä.

Delfoi tutkimukseen on helppo yhdistää kvantitatiivinen ja kvali-tatiivinen tutkimusote. Se on kuitenkin selkeästi kvalitatiivista tietoa tuottava menetelmä. (Metsämuuronen 1998, 54-55.) Delfoi tutkimuk-sen aineistoa analysoidaan tilastollisesti ja kvalitatiivisesti. Tutkimus voidaan määritellä laadulliseksi analyyttisen otteensa perusteella.

Laadullisessa tutkimuksessa keskitytään yleensä merkitysten etsimi-seen. Tutkimusongelmiin haetaan vastauksia vertailemalla, tulkin-nalla ja ymmärtämisellä. Tulkintaa seuraavalla ymmärtämisellä tar-koitetaan tutkimuskohteen tematisoivaa luomista uudeksi kokonai-suudeksi.

Delfoi tutkimuksessa on Mannermaa (1991, 132-137) mukaan seuraavia ominaisuuksia.

 Hajonta suhteessa ennusteen ajalliseen etäisyyteen (mielipide-erot kasvavat tulevaisuuteen kauemmaksi mentäessä).

 Ennusteiden tarkkuus (asiantuntijoilla on taipumus olla opti-mistisia nykyhetkessä ja pessimistisiä pitkällä aikavälillä). En-nusteet ovat tarkimmillaan muutoskohdassa, jolloin ennuste muuttuu optimistisesta pessimistiseksi ja päinvastoin.

 Vastaajien intuitiivisten ennusteiden perusta (mitä hyödylli-semmäksi uusi idea koetaan, sitä aikaisemmaksi sen toteutta-minen valitaan).

 Ennustetta voidaan parantaa asiantuntijoiden itsearvioinnilla.

 Mielipiteen stabilisuus konsensuksen mittarina (alle 15% muu-tos kahden kyselykierroksen välillä on merkki riittävästä stabi-lisuudesta). Vaatimuksesta yksimielisyyteen pääsemisestä on luovuttu.

 Dogmatismin rooli (itseään asiantuntijana pitävä henkilö ei helposti muuta mielipidettään). Henkilö, joka ei pidä itseään asiantuntijana, omaksuu nopeasti ryhmän vastauksen omaksi mielipiteekseen.

 Diskonttaus (ihmisten diskonttauskorko on erilainen). Tilanne kahdenkymmenen vuoden päässä tulevaisuudessa ei näyttäydy vastaajien mielissä yhtä merkittävänä kuin samanlainen tilan-ne kahden kuukauden kuluttua.

 Ryhmän jäsenet preferoivat varmuutta ja yksinkertaisuutta ennen epävarmuutta ja monimutkaisuutta. Varmuuden ja yk-sinkertaistamisen tavoitteluun liittyy pyrkimys ajautua toi-veajatteluun todennäköisesti järkevältä kuulostavaan ennus-teeseen.

 Kyselylomakkeita luetaan eri tavalla lukijan taustasta riippuen.

Tässä tutkimuksessa pyritään parantamaan ennustetta asiantun-tijoiden itsearvioinnilla. Toisaalta mielipiteen stabilisuutta mitataan

kyselykierrosten välillä. Itsearviointiin ja stabilisuuteen liittyviä tu-loksia esitellään luvussa kahdeksan.

Seuraavaksi kuvataan Niemeä (1990), Jarnilaa (1998), Kuusea (1999), Mannermaata (1991) ja Metsämuurosta (2003) mukaillen Del-foi prosessin päävaiheet. Tämän DelDel-foi tutkimuksen vaiheet esitel-lään luvussa seitsemän ja kahdeksan.

1. Tutkimusaiheen valinta.

2. Ryhmän tai paneelin valinta.

3. Kyselylomakkeen rakentaminen, testaus ja korjaus.

4. Asiantuntijat muotoilevat ensimmäisellä kyselykierroksella kantansa väitteisiin tai kysymystenasetteluun.

5. Ensimmäisen kyselykierroksen jälkeen koodataan vastaukset, lasketaan tilastolliset tunnusluvut ja analysoidaan tulokset.

6. Asiantuntijoille välitetään anonyymisti kirjallisesti toisten asi-antuntijoiden kannanotot. Palaute voidaan antaa tilastollisena tai yhteenvetona vastauksista.

7. Tarvittaessa voidaan järjestää työseminaari tulosten arvioimi-seksi.

8. Toisen kyselykierroksen lomakkeen rakentaminen ja mahdolli-nen testaus. Asiantuntijat muotoilevat toisella kyselykierrok-sella kantansa väitteisiin tai kysymyksenasetteluun.

9. Toisen kyselykierroksen jälkeen koodataan vastaukset, laske-taan tilastolliset tunnusluvut ja analysoidaan tulokset.

10.Tämän jälkeen on mahdolliset lisäkierrokset. Niitä jatketaan niin kauan, kunnes vastausten stabilisuus on riittävä. Lopuksi raportoidaan tutkimuksen tulokset.

Argument Delphi menetelmä on Kuusen (1999) kehittämä ja se pe-rustuu ns. Policy Delphi lähestymistapaan. Siinä nostetaan esiin poikkeavista intresseistä johtuvat ristiriidat. Se on kehitetty erityises-ti teknologian mahdollisuuksia selvittäneiden tutkimusten pohjalta.

(Kemppainen et al 2002, 213). Tätä menetelmää käytettäessä noste-taan korostuneesti esiin mielipiteiden taustalla oleva argumentaatio.

Paneeliin osallistuvat argumentoivat anonymiteetin säilyttäen, mutta tietävät kuitenkin muut paneeliin osallistuvat. Olennaista on, että paneeliin osallistuvat edustavat tutkittavaa aihetta mahdollisimman kattavasti. Kuusi (1999, 187) korostaa paneeliin osallistujien viestin-nän avoimuutta. Siihen vaikuttavat panelistin henkilökohtainen osaaminen ja hänen edustamansa organisaation normit sekä enna-kointiprosessin toteuttajataho.

Tälle menetelmälle on luonteenomaista, että ensimmäinen kysely-kierros korvataan asiantuntijoiden haastattelulla tai asiantuntijasta saatu teksti, jossa hän erittelee vapaamuotoisesti tutkittavaa ongel-maa. (Kamppinen et al 2002, 213.) Kun asiantuntijoiden haastattelu korvaa ensimmäisen kyselykierroksen, voidaan näin vastausprosent-teihin vaikuttaa merkittävästi enemmän kuin perinteisessä Delfoi menetelmässä. Toisaalta asiantuntijat voidaan sitouttaa Argument Delphi menetelmällä paremmin tutkimukseen kuin Delfoi menetel-mällä.

Argument Delphi tutkimuksessa tutkija muotoilee vapaamuotoisen aineiston pohjalta asiantuntijoiden näkemyksiä heijastelevia ratkai-suvaihtoehtoja. Toinen kyselykierros toteutetaan postitse tai tietoko-neen välityksellä. Asiantuntijat arvioivat sekä väitteitä että anonyy-meinä esitettyjä perusteluja väitteille sekä esittävät lisänäkökulmia.

Kolmannella kierroksella asiantuntijat tapaavat ja silloin arvioidaan saatuja tuloksia. Kolmannen kierroksen ei anneta vaikuttaa toisen kierroksen tuloksiin, mutta se auttaa tulosten tulkinnassa. Argument Delphi menetelmän tavoitteena on saada mahdollisimman monipuo-linen ja realistinen kuva tutkimusongelmasta valitsemalla asiantunti-joita, jotka täydentävät toisia asiantuntijoita. Tavoitteena on myös löytää uusia mielekkäitä kysymyksenasetteluja ja näkökohtien esit-tämistä anonyymisti. Tällä menetelmällä voidaan peräkkäisiin kyse-lyihin perustuvia menetelmiä paremmin ottaa huomioon se, että mi-ten asiantuntijan ominaisuudet ja intressit vaikuttavat tulevaisuus-arviointeihin. (Kemppainen et al 2002, 213-14, 216.)

Delfoi menetelmään on kohdistettu paljon kritiikkiä, josta suurelle osalle on antanut aiheen Delfoi menetelmän huono käyttö. Huonosti

toteutettu Delfoi tutkimus saa aikaan epäoikeudenmukaista kritiik-kiä menetelmää kohtaan. (Gavigan&Scapolo 2001, 103). Ehkä tun-netuin Delfoi menetelmän kriitikko on Harold Sackman (1975).

Sackman on kritiikissään käsitellyt Delfoi menetelmää huonosti to-teutettuna kysely- ja mielipidetutkimuksena (Mannermaa 1991, 138, Kuusi 1993, 1999.) Mannermaa (http://onet.tehonetti.fi/mannermaa /onet/) on tiivistänyt Sacmanin kritiikin seuraavasti:

1. Delfoi tutkimuksissa ei kuvata asiantuntijoiden valintaa.

2. Tutkimusongelmat ovat epäselviä.

3. Kyselylomakkeen väitteet ovat epämääräisiä.

4. Tutkimustulosten tilastollista merkitsevyyttä ei esitetä.

5. Tutkimuksissa pyritään ohjattuun konsensukseen.

6. Menetelmä vapauttaa tutkijan omasta vastuusta.

7. Jopa gallup tutkimus on tieteellisesti pätevämpi kuin Delfoi tutkimus.

Tässä tutkimuksessa kuvattiin asiantuntijuutta alaluvussa 2.2 ja asiantuntijoiden valintaa kuvataan alaluvussa 9.1 sekä mittaria ala-luvussa 9.2. Tutkimusongelmat on pyritty tekemään selkeiksi ja ky-selylomakkeen väitteet ovat mahdollisimman ymmärrettäviä. Delfoi tutkimuksen aineiston analyysi on alaluvussa 9.3 ja tutkimuksen tu-lokset sekä johtopäätökset osassa neljä. Tässä tutkimuksessa ei pyri-tä ohjattuun konsensukseen. Delfoi menetelmä ei ainakaan pyri-tässä tutkimuksessa vapauta tutkijaa vastuusta. Seitsemäs kritiikin kohta ei päde tähän tutkimukseen, koska tämän tutkimuksen kaltaista tie-toa ei ole saatavissa gallup tutkimuksella.

Metsämuuronen (1998, 55-57) toteaa, että tutkimuksen luotetta-vuuden takaamiseksi on kiinnitettävä erityistä huomiota asiantunti-joiden valintaan, ensimmäisen Delfoi kierroksen kysymysten oikeaan valintaan, iteraatioiden määrän valintaan, konsensukseen, tutki-muksen toistettavuuteen, tulosten tulkintaan, asiantuntijan mielipi-teen stabilisuumielipi-teen ja tulosten mahdollisiin systemaattisiin virheisiin.

Metsämuuronen (1997b, 68-70) esittää lähinnä terveystieteen

kirjal-lisuuteen liittyvää Delfoi kritiikkiä. Ensimmäinen kriittinen kohta on asiantuntijoiden valinta, eli kuka pystyy sanomaan kuka on riittävä asiantuntija ja kuinka monta asiantuntijaa tulee olla. Toinen kriitti-nen kohta on ensimmäikriitti-nen Delfoi kierros. Mikä on otoksen kato ja miten se vaikuttaa tutkimuksen tulokseen. Kolmas ongelma liittyy konsensukseen, eli mitä pidetään konsensuksena. Neljäs keskeinen ongelma on tutkimuksen toistettavuus, eli olisivatko toiset asiantun-tijat antaneet toisenlaisen lopputuloksen. Viiden kritiikin kohde on varsinaiset tutkimustulokset ja niiden tulkinta. Kuudes ja viimeinen kritiikki kohdistuu mielipiteen pysyvyyteen. Eli milloin muutos asian-tuntijan mielipiteestä johtuu asiantuntijasta itsestään ja milloin itse ilmiössä tapahtuvasta muutoksesta. (Metsämuuronen 2000 b, 36-37.)

Mielenkiintoiseksi ja vaativaksi Delfoi menetelmän käytön tekee se, että kierrosten vastausten analysointiin ei voi olla yhtenäistä mene-telmää. Tämä tarkoittaa sitä, että tutkija joutuu aina erikseen selvit-tämään kyseiseen mittariin ja tutkimusongelmaan sopivat analyysit.

Tämän vaiheen suunnittelu ja toteutus edellyttävät hyvää tilastotie-teellistä ja matemaattista osaamista.

Tässä kappaleessa perustellaan Delfoi menetelmän käyttöä. Ta-voitteena on tehdä deskriptiivinen tutkimus asiantuntijoiden tulevai-suuskäsityksistä suhteellisen rajatun ilmiön suhteen. Samalla toteu-tetaan iteratiivinen kyselysarja ja saadaan kattavampi kuva tulevai-suudenkäsityksistä kuin vain normaalilla yhdellä kyselykierroksella.

Käytettävissä on hyviä esimerkkejä vastaavista tutkimuksista, vaikka ei juuri saman ilmiön osalta. Menetelmää koskea kriittinen keskuste-lu on tuottanut pohjan arvioida toteutettavan tutkimuksen reliabili-teettia ja validireliabili-teettia. Delfoi menetelmällä saadaan perinteistä kyse-lytutkimusta enemmän tietoa.

Osallistumistavaksi valittiin postikysely, koska asiantuntijoita oli-si ollut vaikea saada saman pöydän ääreen. Yleensä valtaosa enoli-sim- ensim-mäisen kierroksen kysymyksistä jätetään toiselle kierrokselle. Osaa-mistarpeiden analyysin ja kommenttien pohjalta kysymyksiä voidaan poistaa, lisätä tai muuttaa. (Metsämuuronen 2003, 241.) Näin

teh-dään myös tässä tutkimuksessa. Kyselylomakkeen väittämien valin-nassa käytettiin apuna laajaa aihealuehahmottelua ja tutkijan omaa koulutus- ja työkokemustaustaa. Väittämät on kehitelty kirjallisuu-den ja tutkijan näkemysten perusteella. Työ eteni alustavien kysy-mysaiheiden kautta lopullisten kysymysten muotoiluun. Tutkimus-kysymykset rajattiin viimeaikaisen julkishallintoa käsittelevän kes-kustelun ja sitä koskevan tutkimuksen avulla.

Yleensä rajattujen kohdeilmiöiden suhteen jo kaksi Delfoi kierrosta voi olla riittävä määrä. Tässä tutkimuksessa ei määritelty etukäteen tutkimuskierrosten lukumäärää, vaan kriteerinä oli jatkaa kierroksia niin kauan, että stabiliteettikerroin on riittävä.

Ensimmäisen Delfoi kierroksen kyselylomakkeet postitettiin hel-mikuun alussa 2003. Toisen kierroksen lomakkeet lähetettiin touko-kuun puolessa välissä 2003. Delfoi tutkimusten välissä oleva aika on vaihdellut kahdesta kuukaudesta vuoteen. Yleensä ei suositella puol-ta vuotpuol-ta pidempää ajanjaksoa kierrosten välille. Esimerkiksi Narisel-la (2000) kului kolmikierroksiseen Delfoi tutkimukseen aikaa noin puoli vuotta.