Tutkimuksen luotettavuutta arvioidaan yleensä validiteetin sekä reliabiliteetin kautta. Validiteetilla on perinteisesti kvantitatiivisessa lähestymistavassa tarkoitettu, että tutkimuksessa tutkitaan sitä mitä on tarkoitus tutkia. Reliabiliteetti puolestaan viittaa tutkimuksen toistettavuuteen. Toisin sanoen reliabiliteetilla tarkoitetaan, että kahdella samankaltaisella tutkimuskerralla saadaan
samankaltaiset tulokset. (Gummesson 2000, 91) Validiteetin ja reliabiliteetin käsitteitä on tulkittu kvalitatiivisessa yleisesti eri tavoin kuin kvantitatiivisessa lähestymistavassa. Eskolan ja Suorannan (1998, 211 212) mukaan edellä mainitut käsitteet eivät sinällään sovellu kvalitatiivisen tutkimuksen arviointiin, vaan tutkimuksen luotettavuuden arvioinnissa on tarkasteltava koko tutkimusprosessia.
Tutkijan subjektiiviset tulkinnat korostuvat kvalitatiivisen tutkimuksen luotettavuuden arvioinnissa, ja tutkimuksen pääasiallinen luotettavuuden kriteeri on tutkija itse (Eskola & Suoranta 1998, 211 212). Tulkinnallisuus korostuu erityisesti Merriamin (2002, 25 31) määrittelemissä sisäisessä validiteetissa sekä reliabiliteetissa, jotka ovat kvalitatiivisen tutkimuksen arviointiin soveltuvia käsitteitä. Merriamin tulkinnan mukaan kvalitatiivisen tutkimuksen sisäinen validiteetti tarkoittaa tutkimustulosten vastaavuutta todellisuuden kanssa, ja todellisuus käsitetään kvalitatiivisessa tutkimuksessa tulkinnallisena käsitteenä. Koskinen ym. (2005, 254 255) esittävät, että sisäinen validiteetti merkitsee kvalitatiivisessa tutkimuksessa tulkinnan loogisuutta sekä ristiriidattomuutta.
Reliabiliteetti puolestaan tarkoittaa kvalitatiivisen tutkimuksen näkökulmasta tutkimustulosten vastaavuutta kerätyn tutkimusaineiston kanssa (Merriam 2002, 25 27).
Tässä tutkimuksessa tutkijan omilla tulkinnoilla oli merkitystä erityisesti brändikarttojen muodostamisprosessissa, koska tutkijan oma tulkinta korostuu tutkimusaineiston visuaalisissa esityksissä (Lurie & Mason 2007, 160 174). Analyyttisessä kartoitusmenetelmässä tutkijan tulkinnan merkitys on suuri, koska kuluttajat eivät pääse vaikuttamaan brändikarttojen muodostamiseen kuten kuluttajakeskeisessä kartoitustekniikassa (John ym. 2006, 549 550). Tässä tutkimuksessa tutkijan subjektiivisuus tulkinnoissa korostui erityisesti vapaan assosioinnin analyysissä, vaikkakin sen pohjana olivat kuluttajien omin sanoin ilmaisemat ajatukset (Hussey &
Duncombe 1999, 23). Vapaan assosioinnin hyödyntäminen on tehokas tapa saada esiin brändiassosiaatioita sekä niiden tyyppejä sekä ryhmittymiä, mutta vapaan assosiointitekniikan perusteella voidaan ainoastaan tehdä avoimia tulkintoja brändiassosiaatioiden ulottuvuuksista, lukuun ottamatta assosiaatioiden voimakkuutta (Keller 2003b, 435 436). Luotettavuuden parantamiseksi haastatteluihin sisällytettiin vapaan assosioinnin lisäksi myös muita teemahaastattelukysymyksiä.
Tutkimuksen analyysiprosessin tuloksena muodostettu brändikartta on yksinkertaistettu malli kuluttajien monimutkaisista ajatusprosesseista. Sen vahvuus on tutkimustulosten esittäminen selkeässä ja tiivistetyssä muodossa siten, että yhdessä mallissa nähdään kokonaisvaltainen kuva
brändistä (Henderson ym. 1998, 325). Lurien ja Masonin (2007, 160 174) mukaan tutkimusaineiston kokoaminen visuaaliseen muotoon voi helpottaa aineiston tulkintaa ja antaa erityisesti kohdeyrityksen edustajille uusia näkökulmia. Toisaalta tutkimuksen luotettavuus voi heikentyä visuaalisten esitysten analyysin kautta. Brändikartassa ei voida nähdä kaikkia ajatusprosessien sisältöjä tai syy-seuraussuhteita, ja jotkut kuluttajien ajatusprosessien osat voivat jäädä ottamatta huomioon. Tutkija voi näin ollen korostaa visuaalisen esityksen kautta liikaa tiettyjä aineiston osia ja tiettyjen aineiston osien keskinäistä vertailua (Lurie & Mason 2007, 160 174).
Yleisellä tasolla kvalitatiivisessa tutkimuksessa tutkittavan ilmiön kannalta keskeiset ja tärkeät asiat määrittyvät myös tutkijan omien tulkintojen kautta (Bryman & Burgess 2002, 216). Tässä tutkimuksessa vahvimmiksi brändiassosiaatioiksi nostettiin ne assosiaatiot, jotka esiintyivät useimmin haastatteluissa, ja joita haastateltavat erityisesti painottivat. Vastausten yleisyyden periaate on yleisesti käytetty kvantitatiivisten tutkimusaineistojen analyysissä, ja sitä sovelletaan yleisesti myös kvalitatiiviseen analyysiin (Bryman & Burgess 2002, 224). Samoin vapaan assosioinnin tekniikassa erityisesti assosiaatioiden vahvuutta mitataan juuri sen perusteella, kuinka monta kertaa tietty assosiaatio esiintyy vastauksissa (Hunt & Ellis 2004, 162).
Lurie ja Mason (2007, 160 174) esittävät, että tutkimusaineiston visuaaliseen esittämiseen liittyvät luotettavuutta heikentävät tekijät voidaan minimoida esittämällä ja analysoimalla tutkimusaineistoa visuaalisten esitysten lisäksi myös muilla tavoin. Tässä tutkimuksessa brändikarttojen lisäksi aineistoa esitettiin ja analysoitiin myös kirjallisesti. Tällöin pyrittiin ottamaan huomioon myös sellaiset aineiston osat, jotka jäivät mahdollisesti brändikarttojen korostamien tekijöiden ulkopuolelle. Lisäksi koottiin myös kooste koko tutkimusaineistosta, johon sisältyi kaikki tutkimuksessa esille tulleet brändiassosiaatiot.
Tapaustutkimusta on kritisoitu erityisesti sen puutteellisesta yleistettävyydestä (Gummesson 2000, 88). Samoin yleisesti kvalitatiivisessa tutkimuksessa yksi luotettavuuden arvioinnin käsitteistä on ulkoinen validiteetti, jonka Merriam (2002, 28) määrittää synonyymiksi yleistettävyydelle.
Koskisen ym. (2005, 254 255) mukaan ulkoinen validiteetti merkitsee sitä, voidaanko tulkinta yleistää muihinkin kuin tutkittuun tapaukseen. Yleistettävyys ei kuitenkaan ole kvalitatiivisen tutkimuksen tai tapaustutkimuksen keskeinen tavoite, vaan jotkut tapaukset ovat niin ainutlaatuisia, ettei niitä voida tai ole tarkoituksenmukaista yrittää yleistää koskemaan muita ilmiöitä tai tapauksia.
Tapaustutkimuksessa ei ole tarkoituskaan tehdä tilastollisia yleistyksiä, vaan olennaista on aineistosta tehtävien tulkintojen kestävyys ja syvyys (Eskola & Suoranta 1998, 67 68). Tässä tutkimuksessa tutkimuskohteena olleet rakennustarviketuotteet ja niiden pakkaukset muodostavat
sinänsä omanlaisensa tarkastelukohteen, johon liittyviä tutkimustuloksia ei voida yleistää koskemaan kaikkia pakkauksia. Brändiassosiaatiot voivat usein olla ainutlaatuisia, ja siksi yleistettävyys ei ainakaan laajemmalti ollut tässä tutkimuksessa tarkoituksenmukaista.
Haastattelujen toteuttaminen rakennustarvikepakkausten luonnollisessa ympäristössä, eli rautakaupoissa saattoi sekä lisätä että heikentää tutkimuksen luotettavuutta (Young 2000, 35).
Haastattelujen toteuttaminen haastateltavien kanssa kasvotusten mahdollisti kokonaisvaltaisen viestinnän haastattelijan ja vastaajien välillä. Tutkimusten suorittamispaikka kuitenkin korosti pakkausten myyntitilanteessa syntyviä brändiassosiaatioita. Toisaalta tutkimusta olisi ollut hankala toteuttaa erillisessä paikassa siten, että haastatteluihin olisi saatu osallistumaan perusjoukkoon kuuluvia kuluttajia. Myyntitilanne todettiin rakennustarvikepakkausten kannalta tärkeäksi brändiassosiaatioiden syntytilanteeksi, ja siksi pakkausten myyntipisteen oletettiin olevan tässä tutkimuksessa tarkoituksenmukaisin paikka haastatteluille. Tutkimuksen luotettavuutta saattoi heikentää myös se, että vaikka haastattelun toimeksiantajan korostamista pyrittiin välttämään, Kiilto Oy:n rooli kävi ilmi haastattelun aikana. Haastateltavien suhde Kiiltoon saattoi vaikuttaa haastattelukysymyksiin suhtautumiseen. Tiedolla toimeksiantajasta saattoi olla vaikutusta joidenkin haastateltavien vastauksiin siten, että esimerkiksi kielteisiä lausumia Kiillon pakkauksista välteltiin tai vaihtoehtoisesti tiettyjä vastauksia pyrittiin korostamaan. Kuluttajan suhde brändiin vaikuttaa kuitenkin myös luonnollisissa olosuhteissa syntyneisiin brändiassosiaatioihin, joten tämän seikan vaikutus tutkimuksen luotettavuuteen voidaan olettaa olevan melko pieni.
Lisäksi tutkimuksen luotettavuuteen saattoi yhdistyä se, että Kiillon valmisliisteriastian kohdalla vertailukohtana käytettiin kahden eri kilpailijan pakkausta eri myymälöissä. Tämä seikka ei kuitenkaan vaikuttanut juurikaan tutkimustuloksiin. Lisäksi käyttämällä vertailukohteena kahta eri kilpailijan pakkausta saatiin laajempialaista tietoa, kuin käyttämällä vain yhtä vertailukohdetta.