Email matias@matter.fi Soita +358 40 709 6651

6 kysymystä tiedon luotettavuuden arviointiin

 

Tietoa on saatavilla valtavia määriä eri lähteistä kerättynä ja eri toimijoiden keräämänä. Tutkimuksia esitetään mielellään markkinoijille päätöksenteon tueksi, mutta usein myös tukemaan tiedon esittäjän omia tarkoitusperiä. Joko puutteellisista resursseista, tulosten venyttämisestä, tai turhan vapaamielisistä tulkinnoista johtuen kaikki tutkimukset, saati niiden johtopäätökset, eivät aina ole aivan täyttä timanttia.

 

Kokosimme tähän kuusi kysymystä, joiden avulla voi arvioida esitettyjen tutkimusten ja niistä saadun tiedon luotettavuutta ja sen pohjalta tehdä paremmin perusteltuja päätöksiä omista markkinointitoimenpiteistä.

 

1. Kuka on kerännyt tiedot?

Valistunut lukija miettii aina sitä, että mikä on tutkimuksen tekijöiden tavoite, kun he ovat tutkimusta tehneet. Yliopistojen ja tutkimuslaitosten julkaisut ovat yleensä riippumattomia rahoittajan toiveista ja haluista, mutta Tapetointi ja Kone Oy:n toteuttama tiedonkeruu palvelee luultavasti heidän myyntitavoitteitaan, eikä jaloa totuuden etsintää.

 

2. Onko tutkittu sitä ongelmaa, jota yritetään ratkaista?

Kärjistetty esimerkki varsin tyhjänpäiväisestä ”tutkimuksesta” on käyttäjien tyytyväisyys uuteen tuotteeseen. Esimerkiksi Tapetointi ja Kone Oy haluaisi Robomatic-tapetointikoneesta koekäyttäjiltä ylistävää palautetta. He tekisivät luonnollisesti niin, että antavat 150 koekäyttäjälle vain Robomatic-koneen käyttöön ja tapetointiurakan jälkeen kysyvät, että ”Robomatic-tapetointikone helpotti tapetointityötäni selvästi”, johon koekäyttäjät vastaavat kyllä tai ei. Lopulta voimme ihastella tuloksia, jossa 85 % vastaajista vastasi, että kyllä Robomatic-helpotti kummasti tapetointiamme.

Oikeastihan tässä olisi pitänyt valita 150 vastaajan joukosta satunnaisesti puolet, joille annetaan ihan vain liisteriä, tapettiveitsen ja liisteriharjan työkaluiksi. Sitten verrattaisiin, että oliko Robomaticia ja perinteisiä työvälineitä käyttävien välillä eroa kokemuksissa. Silloin oltaisiin edes vähän lähempänä jotenkin uskottavia tuloksia. Tämä vaatii aikaa, vaivaa ja resursseja, mutta myös rehellisyyttä ja nöyryyttä omaa tuotetta ja palvelua kohtaan.

 

3. Onko tietoa kerätty oikeilta ihmisiltä ja onko heistä riittävän moni vastannut?

Halutessamme tietää, mitä potentiaaliset Robomatic-tapetointikoneen käyttäjät olisivat sellaisesta mieltä, on ensin määriteltävä mahdollisimman tarkasti, että millaiset henkilöt siitä olisivat kiinnostuneita. Luultavasti Robomaticista olisivat kiinnostuneet 25 – 35 vuotiaat ihmiset, joilla on omakotitalo ja he asuvat Riihimäellä. Silloin Robomaticin kiinnostavuudesta ei kannata kysyä Pihtiputaan mummon ja Vantaan vaarin kavereilta.

Robomaticin käyttäjiä ei siis potentiaalisesta ole kovin paljon, ehkäpä noin 1000 henkilöä. Silloin oikein toteutetulla noin 100 henkilön otoksella saisimme jo kohtuullisen luotettavan kuvan Robomaticin houkuttelevuudesta. Vastausten virhemarginaali saattaa jäädä vähän isoksi, mutta resursseja ei kulu ainakaan liikaa kyselyn toteuttamiseen.

 

4. Mitä lähteitä tutkimuksessa on käytetty?

Jos tutkimuksessa on esitetty johtopäätöksiä suuntaan tai toiseen, niin perustuvathan ne varmasti joko esitettyyn tutkimukseen tai muihin lähteisiin? Katso ettei tutkimuksesta löydy kohtaa jollaiseen allekirjoittanut itse kerran törmäsi: johtopäätökset oli tehty “based on the knowledge of the NN (tutkimuksen tekijä)”. Suottaa olla siis vedetty hatusta tai suottaa olla olemattakin.

 

5. Miten yleistettävissä tiedot ovat omaan tilanteeseen?

”Suunnitteletko kodinelektroniikan ostamista seuraavan 6 kuukauden aikana?” Melko klassinen kysymys esimerkiksi medioiden yleisötutkimuksissa. Mikäli 50 % vastaa kyllä, ja markkinoit tiettyä televisiomerkkiä ja saat tämän eteesi, niin mitä teet? Vain puolet yleisöstä itse asiassa sanoi suunnittelevansa ostoa, mutta emme tiedä kumpi puoli, eikä televisioistakaan puhuttu mitään. Emme tästä tiedä siis mitä he suunnittelevat, emmekä sitä, päätyvätkö he oikeasti ostamaan vai suunnittelevatko vain, ja mikä itse asiassa ostopäätökseen lopulta vaikuttaa.

 

6. Selittävätkö tulokset sitä mitä haluttiin selvittää?

Ovatko syy-seuraussuhteet todistettu oikeiksi? Asioita voidaan saada näyttämään vaikka miltä jos halutaan. Tässä oiva esimerkki: alla oleva kaavio esittää korrelaatiota Googlessa “HBO”-hakusanalla tehtyjen hakujen ja Tilastokeskuksen selvittämän kuluttajien kestokulutushyödykkeiden oston otollisuuden välillä.

 

 Lähde: Google correlate

Hätäisesti voisi ajatella, että .79 vahvuinen korrelaatio näiden kahden välillä osoittaa kiistattomasti näiden välillä vallitsevan yhteyden. Tarkempi kuvion tarkastelu osoittaa, että yhteys on selkein vasta tarkastelujakson loppupuolella. Lisäksi ajanjakso on tarkoitushakuisesti valittu vuosille 2013 – 2016, jolloin tuo yhteys tuli esille.

Toisin sanoen, yhteys luultavasti on sattumasta johtuvaa. Mikäli kuitenkin uskoisimme, että sattumasta ei ole kyse, niin luultavasti näiden kahden asian välillä on jokin kolmas tekijä, joka selittää yhteyden. Todennäköisesti asia on niin yksinkertainen, että kun ihmisillä menee taloudellisesti hyvin, niin he ovat ylipäätään valmiimpia kuluttamaan enemmän palveluita ja hankkimaan erilaisia tuotteita. Tämän toki tiedämme ilman hienoja käppyröitä ja Google Correlate työkalun käyttöäkin.

 

 

Tutkimuksia on eritasoisia ja niillä tavoitellaan eri asioita. Jos mitään tietoa ei ole käytettävissä ja jotain tarvitsee saada selvitettyä, voi kevyempikin selvitystyö antaa vastauksia tekemisen tueksi. Mikäli ollaan tekemässä suuria tai pitkävaikutteisia päätöksiä esimerkiksi yrityksen koko markkinointia koskien, kannattaa käytettävien tietojen analysoimisen lisäksi analysoida myös sitä, miten tiedot on kerätty, ja miten luotettavia eri tutkimukset ylipäänsä ovat.

 

Jukka Utriainen

 

Samu Watanen

 

Mitä pidit artikkelista? Jos tykkäsit, niin lukaise myös aikaisemmat juttumme:

https://matter.fi/koneoppiminen-markkinoinnissa/

https://matter.fi/oppimispsykologia-inbound-markkinointi/