Markkinatutkimus, Meiltä kysyttyä, Tutkimus, Yleinen

Meiltä kysyttyä osa 7 – Voiko eri maissa tehtyjen kyselytutkimusten tuloksia verrata toisiinsa?

Teemu Putto
10.5.2022

Yksinkertaisimmillaan vastaus tähän on ”riippuu kysymyksistä”.

Jos kysymys mittaa yksinkertaista tosiasiaa (”Käytätkö tuotetta X?”) tai tiettyä yksittäistä valintaa (”Jos olisit nyt valitsemassa itsellesi uutta puhelinta, niin minkä merkin todennäköisimmin valitsisit?”), niin tulosten voidaan hyvinkin olettaa olevan vertailukelpoisia.

Sen sijaan, jos puhutaan mielipiteistä tai yleisemminkin asioita, joita mitataan esimerkiksi Likert-astekolla tai erikoistapauksena NPS-asteikolla, vastaus on ”EI!”.

Mustan ja valkean välillä on toki harmaan sävyjä. Esimerkiksi Suomen ja Ruotsin tulokset voivat olla hyvinkin vertailukelpoisia, mutta jos lähdetään vertaamaan Suomessa tehdyn tutkimuksen tuloksia Aasiaan, Etelä-Eurooppaan tai vaikkapa Yhdysvaltoihin, on vertailulla lähinnä viihdearvoa, ja senkin olemassaolo on kyseenalaista.

Miksi näin?

Vastaamiskäyttäytyminen eri kulttuureissa eroaa toisistaan. Syitä taustalla voi olla lukuisia yleisestä asenneilmapiiristä siihen, millä perusteella ja millaisella asteikolla koulussa arvosanoja on annettu. Mutta kiistämätön tosiasia on se, että vastausskaaloja käytetään eri maissa hyvinkin eri tavoilla. Jossain halutaan käyttää hanakammin skaalan ääripäitä, jossain taas mieluummin pysytään keskivaiheilla. Jossain halutaan olla asioiden kanssa mieluummin samaa mieltä, jossain taas asioihin suhtaudutaan kriittisemmin.

Siksi esimerkiksi NPS-tulosten vertailu eri maiden välillä on täydellisen harhaanjohtavaa. Jotkut toimijat ovat jopa käyttäneet ”eurooppalaista NPS:ää”, jonka luokittelussa suosittelijaksi luokitellaan myös arvosana 8 ja passiiviksi arvosana 6. Skaalakäyttäytymisen näkökulmasta tämä voikin olla sopivampi tapa erityisesti pohjois- ja keskieurooppalaisiin kulttuureihin, mutta jos tavoitteena on tehdä mittarista vertailukelpoisempi esimerkiksi Yhdysvaltoihin nähden, puhutaan kuitenkin lähinnä silmänlumeesta.

Siitä, miten vastausskaaloja eri maissa käytetään, on paljon pohjatietoa. Näin ollen myös erilaisia standardointimenetelmiä vastauskäyttäytymisen erojen poistamiseksi on kehitetty. Standardoiminen on silti aina riskipeliä, sillä taustalla vaikuttaa aina myös se, millaisia asioita on tutkittu. Standardointi perustuu useimmiten yleistettyihin olettamuksiin, joiden paikkansapitävyydestä tapauskohtaisesti ei voida olla täysin varmoja – joten standardointi saattaa myös poistaa todellisista mielipide-eroista johtuvia asioita, ja lapsi lennähti pois pesuveden mukana.

Joten: jos kysymystutkimusten tuloksia halutaan vertailla eri maiden välillä, on tämä huomioitava vahvasti kysymyslomakkeita suunniteltaessa. Vastaamiskäyttäytymisen erot on pyrittävä minimoimaan, ja Likertit/NPS:t on unohdettava.

Mikä on suositeltava kysymystapa, riippuu sitten tutkittavasta asiasta. Jos asioiden tärkeyttä halutaan mitata, on tärkeysjärjestykseen laittaminen yksi toimiva tapa, jos se vain on mittaamistarkkuudeltaan riittävä. Ja jos tarkempia mittareita tarvitaan, voidaan esiin kaivaa esimerkiksi skaalavapaat trade-off -menetelmät, kuten MaxDiff.