Keskustelu mediassa siitä mitä ovat ne elintavat joilla on merkitystä terveydelle käy usein kiivaana. Erityisesti ravitsemusasioissa tuodaan julki erilaisia mielipiteitä ruokien ja ravintoaineiden merkityksestä eri tahojen lausumina, niin että maallikon on vaikea tietää ketä tai mitä pitäisi uskoa.
Helsingin Sanomat puuttui tähän mielenkiintoisella artikkelilla “Kuka tietää, mikä on paras ruokavalio?” (HS 23.11.2014). Artikkelissa toimittaja toteaa: “Suurista linjoista vallitsee ravitsemustieteilijöiden parissa melko selvät sävelet, mutta silti jatkuvasti tulee tutkimuksia, jotka tuntuvat kumoavan vanhaa tietoa.”
Mediassa käytävän keskustelun ongelmakohta tiivistyy juuri tuohon ilmaisuun “tuntuvat kumoavan” vanhaa tietoa. Tutkijoille on selvää, että vain harvoin yksi yksittäinen tutkimus sellaisenaan muuttaa täydellisesti siihen asti kerääntyneen tiedon. Maallikoiden ja median puolestaan on helppo poimia tutkimustulosten yhteenvedoista yksittäisiä lauseita ja käyttää niitä virheellisesti argumentteina sille, että nyt jotain vanhaa olisi muka kumottu.
HS:n artikkelissa lääkäri Antti Heikkilä sanoo: “Ensinnäkin asia on niin, että vaikka olisi 10 000 tutkimusta, niin jos yksi tutkimus osoittaa päinvastaista, silloin kaikki romuttuu”. Tämä on virheellinen käsitys; tieteenfilosofiassa tällaisesta lähestymistavasta käytetään termiä ”naiivi falsifikationismi”. Professori Mikael Fogelholm käy HS:n artikkelissa läpi useita syitä miksi tutkimuksissa hyvinkin saatetaan saada “päinvastaisia” tuloksia.
Yleisessä keskustelussa monille on myös epäselvää, mitä tutkimuksessa jonkin asian päinvastaiseksi osoittaminen oikeasti tarkoittaa.
Jos yhteyttä ei pystytä osoittamaan, tutkimus usein kertoo hyvin vähän
Tutkimuskysymykset muotoillaan hypoteeseina jotka on tehty testattavaksi ja hylättäviksi. Jos tutkimuksessa saadaan “merkittävä tulos”, tarkoittaa se, että tutkimuksessa on havaittu jokin yhteys. Merkittävä tulos on (suurella todennäköisyydellä) myös oikea todellinen havainto – tilastotieteen menetelmiin perustuen.
Tutkimuskirjallisuudesta löytyy valtava määrä tutkimuksia joissa osoitetaan tupakoinnin haitallinen vaikutus terveyteen, esimerkiksi syövän riski kasvaa; nämä ovat ”merkitseviä tuloksia”. Etsimällä löytyy kuitenkin myös sellaisia tutkimuksia joissa tätä yhteyttä tupakoinnin ja syövän välillä ei ole pystytty osoittamaan. Tällaiset tulokset tunnistaa usein raportoinnissa käytetyistä sanamuodoista ”ei merkitsevä tulos”, ”nollatulos”, “yhteyttä ei pystytty osoittamaan”, ja kaikkein huonoimmassa tapauksessa tulos tiivistetään yksinkertaisesti muotoon “yhteyttä ei ollut”.
Monien maallikoiden käsityksen mukaan tällainen “ei merkitsevä” nollatulos on osoitus päinvastaisesta näytöstä. Näin käy varsinkin jos tutkimuksen tiivistelmässä tutkija on vetänyt mutkat suoriksi kirjoittamalla tuloksen muotoon ”yhteyttä ei ollut”. Mutta tarkalleen ottaen “ei merkitsevä” tulos tarkoittaa että molemmat vaihtoehdot ovat edelleen mahdollisia, ja johtopäätös tulisi ilmaista “yhteyttä ei pystytty osoittamaan tässä tutkimuksessa, mutta on edelleen mahdollista että yhteys joko on olemassa tai sitten ei”. Tästä syystä nollatulos ei useimmiten ole ristiriidassa jo osoitettujen yhteyksien kanssa. Tästä väärästä tulkinnasta johtuu useat mediassa näkyvät vastakkaiset näkemykset eri asioiden terveellisyydestä.
Uusi tieto kerääntyy monen tutkimuksen tuloksista
Elintavan ja terveyden (tai sairauden) yhteyden osoittaminen vaatii yleensä merkittävän tuloksen useista eri tutkimuksista. Jos useissa, hyvin asetetuissa tutkimuksissa aiemmin osoitettua yhteyttä ei havaita ja nollatulokselle ei löydy muuta syytä, aiempi tutkimustieto kyseenalaistetaan. Jatkotutkimuksista kertyvä tieto saattaa näin kumota aiemman käsityksen, joskin useimmiten tuloksena on aiemmin havaitun yhteyden yksityiskohtien täsmentyminen.
Nollatulosten ongelman tiivistää hyvin englanninkielinen sanonta “Absence of evidence is not evidence of absence“, ja tämä sanonta on hyvä muistaa – myös ja erityisesti tutkijoiden itsensä aina kun tutkimustuloksia raportoidaan sanamuodoin “yhteyttä ei ollut”, “eroa ei ollut” tai vastaavilla ilmaisuilla, joilla oikeasti osoitetaan näytön puutetta.
Lue lisää aiheesta englanniksi:
Understanding why “absence of evidence is not evidence of absence”
Statistics notes: Absence of evidence is not evidence of absence