Testaamisessa tapahtuvat virhelähteet voidaan Collierin ja Eppsin (1999, 42) mukaan luokitella kahteen päätyyppiin. Nämä ovat määriteltävät ja määrittämättömät virheet.
Määriteltävät virheet voidaan jakaa kolmeen osa-alueeseen, jotka ovat tutkimuksen teossa käytettyihin laitteisiin, valittuun tutkimusmenetelmään sekä tutkijan persoonaan liittyvät seikat. Määrittelemättömiin virheisiin luetaan osuudet, joihin tutkija pysty vaikuttamaan.
Näitä ovat esimerkiksi testattavan materiaalin luontaiset ominaisuuksien vaihtelut.
Validiteetti ja reabiliteetti kuvaavat Anttilan (2005, 511−517) mukaan kvantitatiivisessa tutkimuksessa luotettavuutta. Validiteetti kuvaa tutkimuksen luotettavuutta sekä pätevyyttä laajemmin, ja reliabiliteetti tutkimuksessa käytetyn tutkimusmenetelmän ja mittareiden luotettavuutta. Koska tässä tutkimuksessa haluttiin luoda mateennahasta analyyttistä materiaalitietoutta, voidaan sanoa, että laboratoriotestaus on tutkimukselle validi aineistonkeruutapa. Kvasikokeellisella testimenetelmällä voitiin olettaa saavutettavan tutkielmalle tarkoituksenmukaisia tuloksia. Menetelmä oli tarkoituksenmukainen myös siihen nähden, että testeissä oli mukana osa-alueita joihin testeissä ei voitu vaikuttaa.
Kvasikokeellisen tutkimuksen mukaisesti kaikkia muuttujia ei ollut tarkoituksenmukaista kontrolloida, ja ne kaikki pyrittiin tuomaan raportissa esille. Kvasikokeellinen menetelmä pyrkii mittaamaan ilmiöitä kokeellisen tutkimuksen tapaan, joten menetelmä voidaan pitää reliaabelina. (Anttila 2005, 274) Tässä tutkimuksessa pyrittiin minimoimaan mahdollisten muuttujien määrää. Kontrolloitavia variansseja ovat kokeen tuottaman varianssin maksimointi, ulkopuolisen varianssin kontrollointi ja virhevarianssin minimointi. Varianssin maksimointiin pyritään tekemällä koetilanteesta niin monipuolinen kuin mahdollista ja korostetaan hypoteesien suuntaisia olosuhteista. Näin pyritään osoittamaan teoriataustaisten hypoteesien suuntaista tulosta. Tässä tutkimuksessa hypoteesina on ollut, että materiaalin
pesunkesto ei ole standardienmukainen mutta se saattaa kestää sitä tietyillä ehdoilla. Näiden ehtojen hakeminen on osa tutkimusta.
Tutkimuksen luotettavuutta pyrittiin lisäämään sillä, että laboratoriotesteihin liittyviä muuttujia pyrittiin kontrolloimaan. Kontrollia lisäävät standardinmukaisesti suoritetut testit ilmastoidussa laboratoriossa. Testausvälineistön kalibrointi ja standardinmukainen analyysi lisäävät tutkimuksen luotettavuutta. Mittauksia voidaan pitää reliaabeleina siihen nähden, että ne voidaan toistaa täysin samanlaisina, samoissa olosuhteissa. (Anttila 2005, 515−519.) Voidaan myös olettaa, että testien tulokset eivät olleet sattumanvaraisia, vaan ne noudattivat kaikissa samoja linjoja (ks. esim. Anttila 2005, 253).
Ennen testejä mateennahan todettiin olevan vaihteleva materiaali, ja tulosten hajonnan oletetaan johtuvan siitä. Materiaalin vaihtelevuus asettaa tutkimustulosten yleistettävyydelle rajoitteensa. Tuloksia ei voida yleistää mateennahan ominaisuuksiksi, mutta niiden avulla voidaan selvittää jatkotutkimusaiheita ja suuntaviivoja mateennahan kehitystyölle.
Jotta tutkimukseen valittu kvasikokeellinen ote voisi toteutua paremmin, koepalojen määrän olisi pitänyt olla suurempi kaikissa testeissä, ja testeihin valittujen nahkojen paksuuden ja laadun olisi pitänyt olla samankaltaisempi. Etenkin hankauksenkestotestin tulokset ovat vain viitteellisiä, sillä testiin valitut nahat olivat hyvin heterogeenisiä. Kokonaisuudessaan testitulokset kuitenkin näyttävät oikeilta, ja verratessa aiempiin testituloksiin ne eivät poikkea oletetusta. Ainoastaan repäisytestin tulos yllätti poikkeamalla oletetusta. Tältä osin niitä voidaan pitää validina. Testien tulokset vastasivat tutkimuskysymyksiin, joten testien valintaa voidaan pitää validina tutkielmalle.
Tutkielman aineistonkeruun validiteettia laskee se, että osaan testeistä ei ollut käytettävissä oikeaa laitteistoa, kuten koepalaleikkuria tai paksuusmittaria, tai laite ei toiminut. Virhettä pienentää kuitenkin, että kaikki poikkeamat standardeihin selostettiin tarkasti aineistonkeruun ja testitulosten selosteissa. Poikkeama toistuu myös kaikissa testiaineistona käytetyissä koepaloissa, joten testin tulokset ovat vertailukelpoisia keskenään. Paksuuden mittaamiseen ei ollut standardin mukaista laitetta, mutta käytetyn laitteen mittatarkkuus oli standardia vastaava. Martindale-testi tehtiin nahalle standardin mukaisesti. Mittaustarkkuutta on hankala standardoida, sillä Martindale-testin tarkastelu tehtiin silmämääräisesti kolmena eri vuotena,
jolloin niin tutkijan havainnointi, kuin muisti ja arviointikyky voivat vaikuttaa mittarin tarkkuuteen.
Tutkielman validiteettia voi laskea materiaalin luontainen vaihtelu nahan eri kohdissa, mikä vaikutti testituloksiin. Vuoden 2013 testauserän nahat olivat 2-laatuisia. Lisäksi testattava materiaali oli varastoitu epäasianmukaisesti, ja sitä oli ennen testaamista myös silitetty, mikä saattoi vaikuttaa niiden testaustuloksiin. Myöhempiin testeihin käytetyt nahat olivat 1-luokkaisia. (Juola 2014b, 52). Vuonna 2016 testattu nahka oli 1- laatuista. Sitä oli säilytetty noin vuoden ajan normaalissa huoneenlämmössä ennen kuin sitä testattiin, ja se ilmastoitiin standardin mukaan ennen testejä. Voidaan myös olettaa, että Kumpulainen on valinnut nahoistaan laadukkaan otoksen, joka vastaa hänen parasta laatuaan. Testimateriaalin vaihtelu liittyi pääasiassa nahan paksuuteen, ja pintakäsittelyaineen määrään. Tutkielmassa testatun kasviparkitun mateennahan hionta tapahtuu käsin, joten on ymmärrettävää, että nahkaa ei saada tasalaatuiseksi kauttaaltaan. Myös pintakäsittelyaineen määrä voi vaihdella käsin levitettäessä. (Kumpulainen 2014.) Toisekseen, materiaali on luonnontuote, joten on luonnollista, että se on vaihtelevaa.
Collierin ja Eppsin (1999, 43) mukaan testauksessa testien suorittajan persoonaan liittyviä seikkoja ovat tietämättömyys, välinpitämättömyys, ennakkoluulot ja fyysisyyteen liittyvät seikat, kuten koepalojen leikkaaminen. Laboratoriotesteissä mittarit ovat käytännössä muuttumattomia, mutta kaikki muutokset materiaalissa, jotka vaativat silmämääräistä tarkastelua, ovat riippuvia tutkijan omasta huomiokyvystä. Tutkijan vaikutus tuloksiin voi siis olla äärimmäisen suuri, jos kappaleita tutkitaan esimerkiksi eri päivinä tai eri vireystilassa.
Osassa tämän tutkielman aineistonkeruun satunnaisvirheissä persoonaan liittyviä seikkoja voidaan pitää suhteellisen vähäisenä johtuen kahdesta havainnoijasta. Standarditestien testausohjeita noudatettiin mahdollisimman tarkasti. Ennen varsinaisten testien suorittamista, laitteiden käyttöä harjoiteltiin sekä laitteiston toimivuus testattiin. Testitulokset tarkastettiin vastaamaan oletettua tekemällä uusintamittauksia ja toistamalla. Lisäksi vuoden 2014 ja 2016 testauksessa laitteiston käyttö oli sujuvampaa johtuen aikaisemmasta kokemuksesta, jonka Collier ja Epps (1999, 43) mainitsevat virheen määrää vähentävänä tekijänä.
Martindale-testissä tarkastelu tehdään silmämääräisesti. Tulosten yhdenmukaisuutta ja oikeellisuutta voidaan pitää tarkempana vuonna 2013 ja 2014 kahden testaajan tarkasteltua koepalojen kulumista kuin vuonna 2016, jolloin tutkimusta toteutti vain yksi tutkija.
Repäisylujuutta mittaavassa testeissä kokeen suorittaja vaikuttaa fyysisesti testiin koepalojen kiinnityksellä laitteistoon. Värinmuutosta ja tuntuominaisuuksien muutosta tarkasteltaessa kokeen suorittaja on täysin vastuussa arvioinnista, vaikka käytettävissä onkin harmaasävyasteikko ja valokaappi, jossa tarkasteluvalaistus on oikea.
5 TUTKIMUSTULOKSET
Tutkimustulokset ovat paikkansapitäviä vain tässä joukossa tutkittuja mateennahkoja.
Yleistystä voidaan tehdä pienellä varauksella myös muihin Ossi Kumpulaisen kasviparkitsemiin mateennahkoihin.