Tutkimusmenetelmiä

The effects of usability and web design attributes on user preference for e-commerce web sites

Tutkimusaineistona saaduista käyttäjien sivustoille antamista arvosanoista ja testien suorittamisnopeuksista laskettiin kaikille sivustoille keskiarvot ja keskihajonnat. Tulosten avulla eri sivustoja voitiin vertailla keskenään. Hypoteesien (joita oli neljä, esim. ”ensivaikutelma korreloi tehtävien suorittamiseen kuluvan ajan kanssa”) paikkansapitävyyttä analysoitiin käyttämällä Kendallin, Spearmanin ja Pearsonin korrelaatioanalyysejä. Aineiston käsittelyyn käytettiin myös muita tilastollisia analyysimenetelmiä kuten regressioanalyysiä. Tutkimuksen menetelminä käytettiin siis määrällisiä menetelmiä rankalla kädellä, varsinkin tilastotiede oli vahvasti edustettuna.

Mental models for web objects: Where do users expect to find the most frequent objects in online shops, news portals, and company web pages?

Aineistoksi saatua määrällistä dataa analysoitiin SPSS 17 –ohjelmalla, ja tuloksia muodostettiin erilaisilla tilastotieteen menetelmillä, esimerkiksi Speamanin korrelaatioanalyysillä. Simppelisti sanottuna vastaajien verkkosivuston elementtien sijoittelut tarkastettiin ja lopulta ne yhdistettiin yksinkertaistetuiksi kuviksi, joissa näkyy elementtien suosituimmat sijainnit. Näistä kuvista muodostettiin viitteelliset mentaalimallit erityyppisistä sivustoista.

The Impact of Language and Culture on Perceived Website Usability

Tutkimuksessa siis pyrittiin selvittämään, onko englanninkielisten ja ranskankielisten käyttäjien sivuston käytettävyydestä ja palvelun laadusta antamien arvosanojen välillä eroja, kun englanninkieliset käyttävät alkuperäistä englanninkielistä sivustoa ja ranskalaiset ranskaksi käännettyä versiota sivustosta. Sama toistettiin toisin päin. Tutkimuksen aineistoa analysoitiin laskemalla sekä englanninkielisten että ranskankielisten käyttäjien sivustoista antamien arvosanojen eroja. Kummistakin kieliryhmistä laskettiin arvosanojen keskiarvot, t-value ja tilastollinen merkitsevyys. Näitä tuloksia tulkitsemalla arvioitiin, vaikuttaako sivuston käännös käytettävyyteen.

Evaluating C2C e-commerce Website Usability in Malaysia from Users’ Perspective: A Case Study

Käytettävyystestin aineisto luokiteltiin Caon verkkokaupan käytettävyysperiaatteiden listan luokkiin, joita olivat System Quality, Service Quality, Information Quality ja Attractiveness. Käyttäjien Likertin asteikolla antamista arvioista esitettiin keskiarvo ja keskihajonta em. luokissa. Löydetyt käytettävyysongelmat käytiin läpi syineen ja seurauksineen.

---

Valitsemieni tutkimusten tutkimusmenetelmät olivat hyvin määrällispainotteisia: kaikissa tutkimuksissa laskettiin keskiarvoja, keskihajontoja jne. Kaksi ensimmäistä tutkimusta tukeutuivat todella vahvasti tilastotieteellisiin menetelmiin, kahdessa viimeisessäkin niitä käytettiin mutta vähemmän. Totta puhuakseni odotin, että käytettävyystutkimuksessa laadullisia menetelmiä käytettäisiin enemmän (tai ainakin että menetelmät olisivat vähemmän tilastollisia) kuin näistä tutkimuksista nyt on käynyt ilmi. Ilmeisesti tilastolliset menetelmät käytettävyystutkimuksessa kuitenkin toimivat, kun niitä käytetään näin monissa tutkimuksissa.

Tutkimusaineistoja

Tässä postauksessa käsittelen valitsemieni tutkimusten aineistoja ja aineiston hankinnan menetelmiä.

The effects of usability and web design attributes on user preference for e-commerce web sites.

Aineiston hankinnan menetelmänä tutkimuksessa käytettiin käytettävyystestausta ja kyselyjä. Aluksi kyselyllä hankittiin kymmenestä testiin osallistuvasta opiskelijasta tausta-aineistoa, jota hyödynnettiin käytettävyystestauksen testien kokoamisessa. Käytettävyystestauksella tutkittiin yhdeksän Yhdysvaltalaisen verkkokirjakaupan käytettävyyttä eri tehtävien avulla, ja suorituksista saatu informaatio muodosti osan tutkimuksen aineistosta. Loput aineistosta saatiin kyselyillä, joilla käyttäjien oli arvioitava verkkokirjakauppoja 10-portaisella Likert-asteikolla. Tutkittaviksi verkkokirjakaupoiksi oli valittu yhdeksän testikäyttäjille tuntematonta sivustoa, jotta käyttäjien aikaisemmat kokemukset eivät vaikuttaisi tuloksiin.

Mental models for web objects: Where do users expect to find the most frequent objects in online shops, news portals, and company web pages?

Tutkimukseen kerättiin aineistoa kolmessa vaiheessa ja kahdella tavalla: kyselyillä ja käyttäjätestauksella. Ensimmäisessä vaiheessa 136 käyttäjältä kysyttiin verkkokyselynä heidän mielestään yleisimpiä erityyppisillä verkkosivustoilla olevia elementtejä, joista suosituimmat sitten valittiin varsinaiseen tutkimukseen. Varsinainen tutkimusaineisto kerättiin verkossa ohjelmalla, jolla käyttäjien (516 kpl) piti sijoittaa verkkosivuston elementit heidän mielestään luontevimpiin paikkoihin sivustolla. Lopuksi käyttäjiltä kysyttiin vielä heidän tietokoneen ja Internetin käyttöönsä liittyviä kvantitatiivisia kysymyksiä.

The impact of language and culture on perceived website usability

Aineiston keräämiseen käytettiin tässäkin tutkimuksessa käytettävyystestausta. 204 käyttäjää arvioi valvotussa testissä kahta verkkosivustoa, jotka olivat destina.ca ja belairdirect.com. Molemmista sivustoista oli sekä englannin- että ranskankieliset versiot, mutta toisen sivustoista oli tehnyt englantia äidinkielenään puhuva henkilö ja sivusto oli käännetty ranskaksi, toisen taas oli tehnyt ranskaa äidinkielenään puhuva henkilö ja sivusto oli käännetty englanniksi. Sivustoja testasivat äidinkieleltään sekä englannin- että ranskankieliset käyttäjät. Käytettävyystestauksen jälkeen käyttäjät vastasivat kvantitatiiviseen kyselyyn sivuston käytettävyydestä ja palveluiden laadusta.

Evaluating C2C e-commerce Website usability in Malaysia from users’ perspective: A case study

Myös tässä tutkimuksessa käytettiin aineiston hankkimiseen käytettävyystestausta ja kyselyä. Tutkimuksen kohteeksi valittiin kaksi Malesialaista C2C-verkkokauppaa, joilla viisi testikäyttäjää suoritti tuotteen ostamiseen liittyviä tehtäviä. Tehtävien suorittamisen jälkeen käyttäjien piti vielä arvioida sivustoa yksityiskohtaisesti 5-portaisella Likert-asteikolla.

---

Kuten yllä olevista tutkimuksista ilmenee, käytettävyystutkimuksissa käytetään aineiston hankinnassa runsaasti käytettävyys- ja käyttäjätestausta. Käytettävyystestauksessa yleensä käyttäjät testaavat olemassa olevaa verkkosivustoa esimerkiksi suorittamalla niillä tehtäviä, käyttäjätestauksessa taas kysytään enemmän kohderyhmän mielipiteitä. Käytettävyystestausta tutkimuksissa suoritettiin valvotuissa laboratorio-oloissa, ja käyttäjätestausta tehtiin verkossa.

Käytettävyys- ja käyttäjätestauksen edut käytettävyystutkimuksessa ovat selkeät: kun tavalliset käyttäjät suorittavat testauksen, aineistoksi saadaan tietoa, joka on merkityksellistä käyttäjien, eli verkkosivujen todellisen kohderyhmän kannalta. Jos testauksen suorittaisi esimerkiksi sivuston suunnittelija, monia ongelmia voisi jäädä huomaamatta, koska suunnittelija on usein tullut sokeaksi luomalleen sivustolle ja sen ongelmille.

Toinen yleinen aineiston hankinnan menetelmä oli kvantitatiiviset kyselyt. Kyselyillä kerättiin määrällistä aineistoa sekä ennen käyttäjätestauksia että niiden jälkeen. Määrällisillä kyselyillä saadaan käytettävyystutkimuksissa helposti vertailtavissa olevaa tietoa esimerkiksi verkkokaupan elementeistä. Olin hieman yllättynyt, ettei valitsemissani tutkimuksissa kyselyissä kysytty laadullisia kysymyksiä. Varsinkin tutkimuksissa, joissa käyttäjän mielipide tärkeä, laadullisen aineiston luulisi olevan hyvin käyttökelpoista. Ehkäpä määrällistä aineistoa sitten on vain paljon helpompi ja kätevämpi käsitellä tällaisissa tutkimuksissa?