Tutkimusmenetelmiä

The effects of usability and web design attributes on user preference for e-commerce web sites

Tutkimusaineistona saaduista käyttäjien sivustoille antamista arvosanoista ja testien suorittamisnopeuksista laskettiin kaikille sivustoille keskiarvot ja keskihajonnat. Tulosten avulla eri sivustoja voitiin vertailla keskenään. Hypoteesien (joita oli neljä, esim. ”ensivaikutelma korreloi tehtävien suorittamiseen kuluvan ajan kanssa”) paikkansapitävyyttä analysoitiin käyttämällä Kendallin, Spearmanin ja Pearsonin korrelaatioanalyysejä. Aineiston käsittelyyn käytettiin myös muita tilastollisia analyysimenetelmiä kuten regressioanalyysiä. Tutkimuksen menetelminä käytettiin siis määrällisiä menetelmiä rankalla kädellä, varsinkin tilastotiede oli vahvasti edustettuna.

Mental models for web objects: Where do users expect to find the most frequent objects in online shops, news portals, and company web pages?

Aineistoksi saatua määrällistä dataa analysoitiin SPSS 17 –ohjelmalla, ja tuloksia muodostettiin erilaisilla tilastotieteen menetelmillä, esimerkiksi Speamanin korrelaatioanalyysillä. Simppelisti sanottuna vastaajien verkkosivuston elementtien sijoittelut tarkastettiin ja lopulta ne yhdistettiin yksinkertaistetuiksi kuviksi, joissa näkyy elementtien suosituimmat sijainnit. Näistä kuvista muodostettiin viitteelliset mentaalimallit erityyppisistä sivustoista.

The Impact of Language and Culture on Perceived Website Usability

Tutkimuksessa siis pyrittiin selvittämään, onko englanninkielisten ja ranskankielisten käyttäjien sivuston käytettävyydestä ja palvelun laadusta antamien arvosanojen välillä eroja, kun englanninkieliset käyttävät alkuperäistä englanninkielistä sivustoa ja ranskalaiset ranskaksi käännettyä versiota sivustosta. Sama toistettiin toisin päin. Tutkimuksen aineistoa analysoitiin laskemalla sekä englanninkielisten että ranskankielisten käyttäjien sivustoista antamien arvosanojen eroja. Kummistakin kieliryhmistä laskettiin arvosanojen keskiarvot, t-value ja tilastollinen merkitsevyys. Näitä tuloksia tulkitsemalla arvioitiin, vaikuttaako sivuston käännös käytettävyyteen.

Evaluating C2C e-commerce Website Usability in Malaysia from Users’ Perspective: A Case Study

Käytettävyystestin aineisto luokiteltiin Caon verkkokaupan käytettävyysperiaatteiden listan luokkiin, joita olivat System Quality, Service Quality, Information Quality ja Attractiveness. Käyttäjien Likertin asteikolla antamista arvioista esitettiin keskiarvo ja keskihajonta em. luokissa. Löydetyt käytettävyysongelmat käytiin läpi syineen ja seurauksineen.

---

Valitsemieni tutkimusten tutkimusmenetelmät olivat hyvin määrällispainotteisia: kaikissa tutkimuksissa laskettiin keskiarvoja, keskihajontoja jne. Kaksi ensimmäistä tutkimusta tukeutuivat todella vahvasti tilastotieteellisiin menetelmiin, kahdessa viimeisessäkin niitä käytettiin mutta vähemmän. Totta puhuakseni odotin, että käytettävyystutkimuksessa laadullisia menetelmiä käytettäisiin enemmän (tai ainakin että menetelmät olisivat vähemmän tilastollisia) kuin näistä tutkimuksista nyt on käynyt ilmi. Ilmeisesti tilastolliset menetelmät käytettävyystutkimuksessa kuitenkin toimivat, kun niitä käytetään näin monissa tutkimuksissa.

Tutkimusaineistoja

Tässä postauksessa käsittelen valitsemieni tutkimusten aineistoja ja aineiston hankinnan menetelmiä.

The effects of usability and web design attributes on user preference for e-commerce web sites.

Aineiston hankinnan menetelmänä tutkimuksessa käytettiin käytettävyystestausta ja kyselyjä. Aluksi kyselyllä hankittiin kymmenestä testiin osallistuvasta opiskelijasta tausta-aineistoa, jota hyödynnettiin käytettävyystestauksen testien kokoamisessa. Käytettävyystestauksella tutkittiin yhdeksän Yhdysvaltalaisen verkkokirjakaupan käytettävyyttä eri tehtävien avulla, ja suorituksista saatu informaatio muodosti osan tutkimuksen aineistosta. Loput aineistosta saatiin kyselyillä, joilla käyttäjien oli arvioitava verkkokirjakauppoja 10-portaisella Likert-asteikolla. Tutkittaviksi verkkokirjakaupoiksi oli valittu yhdeksän testikäyttäjille tuntematonta sivustoa, jotta käyttäjien aikaisemmat kokemukset eivät vaikuttaisi tuloksiin.

Mental models for web objects: Where do users expect to find the most frequent objects in online shops, news portals, and company web pages?

Tutkimukseen kerättiin aineistoa kolmessa vaiheessa ja kahdella tavalla: kyselyillä ja käyttäjätestauksella. Ensimmäisessä vaiheessa 136 käyttäjältä kysyttiin verkkokyselynä heidän mielestään yleisimpiä erityyppisillä verkkosivustoilla olevia elementtejä, joista suosituimmat sitten valittiin varsinaiseen tutkimukseen. Varsinainen tutkimusaineisto kerättiin verkossa ohjelmalla, jolla käyttäjien (516 kpl) piti sijoittaa verkkosivuston elementit heidän mielestään luontevimpiin paikkoihin sivustolla. Lopuksi käyttäjiltä kysyttiin vielä heidän tietokoneen ja Internetin käyttöönsä liittyviä kvantitatiivisia kysymyksiä.

The impact of language and culture on perceived website usability

Aineiston keräämiseen käytettiin tässäkin tutkimuksessa käytettävyystestausta. 204 käyttäjää arvioi valvotussa testissä kahta verkkosivustoa, jotka olivat destina.ca ja belairdirect.com. Molemmista sivustoista oli sekä englannin- että ranskankieliset versiot, mutta toisen sivustoista oli tehnyt englantia äidinkielenään puhuva henkilö ja sivusto oli käännetty ranskaksi, toisen taas oli tehnyt ranskaa äidinkielenään puhuva henkilö ja sivusto oli käännetty englanniksi. Sivustoja testasivat äidinkieleltään sekä englannin- että ranskankieliset käyttäjät. Käytettävyystestauksen jälkeen käyttäjät vastasivat kvantitatiiviseen kyselyyn sivuston käytettävyydestä ja palveluiden laadusta.

Evaluating C2C e-commerce Website usability in Malaysia from users’ perspective: A case study

Myös tässä tutkimuksessa käytettiin aineiston hankkimiseen käytettävyystestausta ja kyselyä. Tutkimuksen kohteeksi valittiin kaksi Malesialaista C2C-verkkokauppaa, joilla viisi testikäyttäjää suoritti tuotteen ostamiseen liittyviä tehtäviä. Tehtävien suorittamisen jälkeen käyttäjien piti vielä arvioida sivustoa yksityiskohtaisesti 5-portaisella Likert-asteikolla.

---

Kuten yllä olevista tutkimuksista ilmenee, käytettävyystutkimuksissa käytetään aineiston hankinnassa runsaasti käytettävyys- ja käyttäjätestausta. Käytettävyystestauksessa yleensä käyttäjät testaavat olemassa olevaa verkkosivustoa esimerkiksi suorittamalla niillä tehtäviä, käyttäjätestauksessa taas kysytään enemmän kohderyhmän mielipiteitä. Käytettävyystestausta tutkimuksissa suoritettiin valvotuissa laboratorio-oloissa, ja käyttäjätestausta tehtiin verkossa.

Käytettävyys- ja käyttäjätestauksen edut käytettävyystutkimuksessa ovat selkeät: kun tavalliset käyttäjät suorittavat testauksen, aineistoksi saadaan tietoa, joka on merkityksellistä käyttäjien, eli verkkosivujen todellisen kohderyhmän kannalta. Jos testauksen suorittaisi esimerkiksi sivuston suunnittelija, monia ongelmia voisi jäädä huomaamatta, koska suunnittelija on usein tullut sokeaksi luomalleen sivustolle ja sen ongelmille.

Toinen yleinen aineiston hankinnan menetelmä oli kvantitatiiviset kyselyt. Kyselyillä kerättiin määrällistä aineistoa sekä ennen käyttäjätestauksia että niiden jälkeen. Määrällisillä kyselyillä saadaan käytettävyystutkimuksissa helposti vertailtavissa olevaa tietoa esimerkiksi verkkokaupan elementeistä. Olin hieman yllättynyt, ettei valitsemissani tutkimuksissa kyselyissä kysytty laadullisia kysymyksiä. Varsinkin tutkimuksissa, joissa käyttäjän mielipide tärkeä, laadullisen aineiston luulisi olevan hyvin käyttökelpoista. Ehkäpä määrällistä aineistoa sitten on vain paljon helpompi ja kätevämpi käsitellä tällaisissa tutkimuksissa?

Tutkimusten aiheita

Tässä postauksessa esittelen valitsemani neljän verkkokaupan käytettävyyteen liittyvän tutkimuksen aiheita ja tavoitteita. Tutkimusten tarkemmat tiedot löytyvät Tutkimukset-välilehdeltä.

Julkaisuja selatessa tuli selväksi, että verkkosivujen, ja siinä samalla verkkokauppojen käytettävyydestä on 2000-luvulla tehty runsaasti tutkimusta. Tutkimusten kirjo on myös laaja. Tutkimukset levittyvät aina yksittäisten verkkokauppojen käytettävyystestauksista ja heuristisista arvioinneista kokonaisiin ohjesääntöihin asioista, joihin tulisi kiinnittää huomiota verkkokauppaa suunniteltaessa. Valitsin tuosta sillisalaatista melko uusia, minua kiinnostavia ja erityyppisiä tutkimuksia (joilla on kuitenkin eräs yhteinen seikka, selviää myöhemmin :)), jotta saisin kattavan kuvan verkkokaupan käytettävyyteen liittyvistä seikoista ja tutkimuksista.

Ensimmäinen valitsemani tutkimus on vuonna 2010 julkaistu The effects of usability and web design attributes on user preference for e-commerce web sites. Tutkimuksen tavoitteena on tutkia verkkokaupasta saatavan ensivaikutelman, tehokkaan käytön ja käyttäjien tyytyväisyyden välillä olevia suhteita, sekä selvittää, mitkä verkkokaupan rakenteelliset elementit ovat tärkeimpiä tyytyväisyyden kannalta. Tutkimus oli hieman tavanomaisesta poikkeava, koska siinä yhdistellään monia käytettävyyden kannalta tärkeitä asioita (ensivaikutelmaa, tehokkuutta, tyytyväisyyttä, verkkokaupan elementtejä) ja tarkastellaan niiden suhteita toisiinsa. Yleensä tutkimuksissa keskitytään vain yhteen tai muutamaan käytettävyyteen vaikuttavaan asiaan, jolloin niiden suhteista toisiinsa ei saada uutta tietoa.

Toinen käsittelemäni tutkimus on Mental models for web objects: Where do users expect to find the most frequent objects in online shops, news portals, and company web pages? Tutkimus on vuodelta 2009 ja sen tavoitteena on selvittää, millaisia mentaalimalleja ihmisille on muodostunut erityyppisistä verkkosivustoista (verkkokauppa, uutissivusto, yrityksen kotisivut). Tutkimus on erityisen mielenkiintoinen, koska vaikka asiaa ei ehkä laajalti tiedosteta, käyttäjien mieliin muodostuneet mentaalimallit vaikuttavat käytettävyyteen paljon, ja niitä pitäisi ehdottomasti ottaa huomioon verkkokauppoja suunniteltaessa.

Kolmas valitsemani tutkimus on The impact of language and culture on perceived website usability vuodelta 2008. Tutkimuksen aiheena on kielen ja kulttuurin suhde verkkosivujen, etenkin verkkokauppojen, käytettävyyteen. Tutkimuksen tavoitteena on selvittää, riittävätkö pelkät verkkosivujen käännökset tuottamaan hyvää käytettävyyttä toisesta kulttuurista tulevalle käyttäjälle vai vaadittaisiinko hyvään käytettävyyteen kokonaisvaltaisempaa lokalisointia. Esimerkkinä kielellisesti hyvästä verkkosivustosta tutkimuksessa mainittiin suomalaisen Honka-firman sivut, joilla sisältö ja kielenkäyttö on suunniteltu sen mukaan, mistä käyttäjä tulee.

Neljäs ja viimeinen tutkimus on Malesiasta vuodelta 2010 oleva Evaluating C2C e-commerce Website usability in Malysia from users’ perspective: A case study.  Tutkimus on melko perinteinen verkkokaupan käytettävyystutkimus, mutta siinä on otettu huomioon käyttäjän näkökulmaa käytettävyyteen. Kyseisen tutkimuksen tavoitteena on tutkia C2C-verkkokauppojen käytettävyyttä ja selvittää ongelmia, joita käyttäjät kohtaavat ostaessaan verkosta. C2C-verkkokauppa on paikka, jossa käyttäjät myyvät tuotteita toisille käyttäjille. Esimerkiksi verkkohuutokaupat (Huuto.net) ovat C2C-verkkokauppoja.

---

Vaikka ensisilmäyksellä valitsemieni tutkimusten aihepiirit ovat melko erilaisia, ne kaikki sisältävät ainakin yhden tärkeän yhdistävän tekijän: käyttäjän. Ensimmäisessä tutkimuksessa käyttäjän tyytyväisyydellä on suuri rooli, toisessa tutkimuksessa paneudutaan käyttäjien mieliin muodostuneisiin mentaalimalleihin, kolmannessa tutkimuksessa tarkastellaan käyttäjien kieli- ja kulttuuritaustan merkitystä ja neljännessä tutkimuksessa testataan verkkokauppaa käyttäjän näkökulmasta. Valitsin tarkoituksella erityyppisiä tutkimuksia, joissa on kuitenkin otettu huomioon käyttäjän näkökulmaa käytettävyyteen, sillä mielestäni verkkokauppojen käytettävyyttä pitäisi rakentaa juuri käyttäjien ehdoilla. Käyttäjän subjektiivinen mielipide sivustosta on kuitenkin loppupeleissä se, mikä ratkaisee.

Verkkokauppa.com uudistuu

Huomasin tuossa, että Suomen suurimpiin verkkokauppoihin lukeutuva Verkkokauppa.com on uudistamassa verkkosivujaan. Tällä hetkellä muutos on menossa beta-vaiheessa (http://beta.verkkokauppa.com/fi). Yleensä kun verkkokaupat uusivat ilmettään, muuttuu myös niiden käytettävyys ainakin jollain tasolla. Mitään syväanalyysiä en ole Verkkokauppa.comin uudesta ulkoasusta tehnyt, mutta ainakin se näyttäisi olevan vanhaa tilavamman ja selkeämmän näköinen, ja mikäs sen parempaa käytettävyyttä ajatellen.

Erittäin hyvä idea on sivuilta löytyvä palautefoorumi, jonne käyttäjät voivat antaa palautetta ja kehitysehdotuksiaa. Käyttäjät voivat myös äänestää muiden käyttäjien antamia kehitysehdotuksia ja näin antaa ehdotuksille lisää painoarvoa. Ylläpitäjät näyttäisivät ottavan palautteen tosissaan ja myös kommentoivan niitä. Kerrankin käyttäjää kuunnellaan ja annetaan mahdollisuus vaikuttaa, kun muutosta tehdään!

Mitä muut olette mieltä uudistuksesta, näyttääkö onnistuneelta vai onko Verkkokauppa.com menossa metsään uudistuksensa kanssa? Vanha - Uusi

EDIT: Näköjään verkkokauppa siirtyi nyt käyttämään uutta ulkoasua, joten vanha ulkoasu ei ole enää käytettävissä.

300 miljoonan dollarin nappi

Tuli tuossa aihetta selatessani vastaan tällainen pari vuotta vanha postaus:
http://www.uie.com/articles/three_hund_million_button/

Lyhyesti siis jutussa oli kyse siitä, että eräs verkkokauppa poisti sivuiltaan rekisteröitymispakon tilausta tehdessä, mikä lisäsi firman vuotuista liikevaihtoa 300 miljoonaa dollaria. Aiemmin uudet asiakkaat olivat kaikonneet, kun olivat kohdanneet rekisteröitymispakon. Vanhoilla asiakkailla oli taas ollut vaikeuksia muistaa käyttäjätunnuksiaan.

Itselläni on hyvin samansuuntaisia kokemuksia. Monesti mahdollinen ostotapahtuma on tyssännyt liian aikaisin tulevaan rekisteröitymisvaatimukseen. Rekisteröitymiseen kannattaisi kannustaa jonkinlaisilla porkkanoilla, mutta pakottaminen on aina huono ratkaisu. Hyvä esimerkki kannustamisesta on on24.fi-verkkokauppa, joka kannustaa rekisteröitymiseen antamalla uusille rekisteröityjille ilmaista rahaa 10e-15e, jonka voi sitten käyttää vaikka ostoksiin. Tuonnehan rekisteröityi ihan mielellään, kun sopiva tuotekin oli bongattu. :)

Alustusta

Blogini aiheena on siis verkkokaupan käytettävyys. Aihetta lienee paikallaan avata hieman, vaikka se on varmasti monille ainakin jollain tasolla tuttu.

Verkkokaupoista on tullut kansalle viimeisen kymmenen vuoden aikana lähes yhtä tavanomaisia kuin perinteisistä kivijalkakaupoista. Verkkokaupat tarjoavat kätevän vaihtoehdon paikan päällä tapahtuvalle liiketoiminnalle: verkkokauppoja on laidasta laitaan, tuotevalikoimat ovat suuret, hinnat ovat yleensä kivijalkakauppoja alhaisemmat jne. Verkkokauppa mahdollistaa muun muassa vaivattoman tavoitettavuuden, nopean siirtymisen kauppojen välillä ja fyysisestä sijainnista riippumattoman ostomahdollisuuden. Verkkokaupat ovat myös laajentaneet kaupankäyntiä, sillä niistä saa tuotteita ja palveluita, joita kivijalkakaupat eivät tarjoa (mp3, streamauspalvelut jne).  

Käytettävyyden tärkeydestä verkkokaupoissa on alettu puhua samaa tahtia verkkokauppojen yleistymisen kanssa. ISO 9241-11 -standardissa käytettävyys määritellään seuraavasti: "Se vaikuttavuus, tehokkuus ja tyytyväisyys, jolla tietyt määritellyt käyttäjät saavuttavat määritellyt tavoitteet tietyssä ympäristössä". 

• "Vaikuttavuudella tarkoitetaan miten tarkoin ja täydellisesti käyttäjä saavuttaa tavoitteensa.
• Tehokkuus tarkoittaa tavoitteiden saavuttamista suhteutettuna käytettyihin resursseihin.
• Tyytyväisyydellä tarkoitetaan käyttäjän tyytyväisyyttä laitteen tai järjestelmän käyttöön, tyytyväisyyttä vuorovaikutuksen sujuvuuteen ja sen tulokseen."

Verkkokaupoissa em. asiat korostuvat, koska verkkokaupan vaihtaminen toiseen on helppoa ja nopeaa: jos jokin ei miellytä, seuraava kauppa on vain muutaman klikkauksen päässä. Hyvä käytettävyys yksistään ei toki takaa menestystä verkkomarkkinoilla, mutta se on yksi menestyvän verkkokaupan kulmakivistä.

Mitä verkkokaupalta sitten edellytetään, että se on käytettävä? Seuraa blogia, niin asia selvinnee. ;)