Teadus on raske

Mulle meeldib vabal ajal lugeda empiirilise teaduse protsessist. Lood ebaõnnestumistest on mõnikord päris meelelahutuslikud, aga ka protsess iseenesest on põnev. Mõned väidavad, et tõde polegi olemas, aga inimkonna pidev püüd sellele lähemale jõuda ning oma vigadest õppida, on minu jaoks paeluv. Olen paar korda sellel teemal loetust ettekande pidanud ning mõtlesin ettekande artikliks vormistada. Osaliselt võib see niisama põnev lugemine olla, aga teisalt võiks see aidata skeptilisemalt tõlgendada meedias, internetis ja diskussioonides kõlanud väiteid teaduslikest avastustest.

Näide oma elu elama hakanud ebakindlast väitest: power posing

Psühholoog Amy Cuddy koos kolleegidega leidsid, et enesekindlas poosis seismine tekitab inimesele jõulise enesetunde, tõstab testosterooni ning langetab kortisooli taset [1]. Selle nähtuse kohta öeldakse power posing ning sellest sai alguse Amy Cuddy coaching’u karjäär. Ta on kirjutanud New York Timesi bestselleri, andnud koolitusi tuntud organisatsioonides ning on kõige enam vaadatud TED Talk’ide nimistus teisel kohal.

Aastal 2015 püüdis rühm psühholooge katset suurema valimi peal korrata. Nad ei saanud sama tulemust [2]. Seejärel lahvatas diskussioon psühholoogia teadustulemuste usaldusväärsuse üle. Üks hilisem metaanalüüs (sama küsimust puudutavate uuringute analüüs) leidis tõendeid, et positiivsed power posing’u tulemused on valikulise raporteerimise tagajärg [3]. See tähendab, et enam publitseeritakse positiivseid tulemusi, kuid negatiivse tulemusega katsed jäävad teadusartikliks kirjutamata. Esialgse artikli üks autoritest, Dana Carney, tunnistas, et nende uurimuses oli mitmeid puudujääke ning ta otsustas järeldust enam mitte toetada.

See ei osutunud aga probleemiks ja power posing on jätkuvalt populaarne enesabi meede.

Ego depletion: veel üks eneseabi meede nõrkadel jalgadel

Ego depletion on idee, et enesekontrolli ja tahtejõu kasutamine kulutab mingit piiratud vaimset ressurssi. Roy Baumeister koos kolleegidega tegid katse, kus katsealused pidid lahendama võimatut mõistatust. Üks grupp pidi enne katset vältima šokolaadi söömist ning leppima redistega ning teisel grupil piiranguid polnud. Grupp, kes pidi šokolaadi vältimiseks enesekontrolli kasutama, andis mõistatust lahendades kiiremini alla. Ego depletion’ist sai omaette nähtus ning seda on erineva formaadiga katsetes korratud enam kui 200 uuringus. Ilmselgelt on tõendid väga üksmeelsed ja me kõik võiksime oma igapäevaelus selle nähtusega arvestada?

Aastal 2016 ilmus artikkel huvitavast ego depletion’i uurimiseks tehtud katsest, kus fikseeriti katse protokoll ja analüüs ennem katset ning sama protsessi läbisid 23 erinevat rühma. Tulemus leidis, et ego depletion’it ei eksisteeri [4].

Kuidas võis see juhtuda? Miks ei õnnestu alati kinnitada juba aksepteeritud tõdesid nagu power posing või ego depletion? On mitmeid erinevaid efekte, mis võisid seda põhjustada. Arvatakse, et positiivse tulemusega artiklit on kergem publitseerida. Praegune teaduse publitseerimise süsteem ja teaduse meedias kajastamise praktika pooldab uusi avastusi. Seega võivad jääda negatiivse tulemusega artiklid avaldamata. Selle nähtuse kohta öeldakse publication bias. Väikese valimi peal katset korrates tulevad paratamatult mõned tulemused juhuslikult positiivsed. Selleks, et leida kõikide tulemuste konsensust, kasutatakse metaanalüüsi meetodit, kuid see ei toimi, kui me ei näe negatiivseid tulemusi.

Teine probleem on liigne paindlikkus katse ning analüüsi meetodite valikul. Kuna replitseerimise katsetes oli protokoll fikseeritud, siis polnud võimalik valida erinevate analüüsivõimaluste seast sellist, mis annaks positiivse tulemuse.

Üks lahendus on artiklite publitseerimine otsus teha uuringu protokolli põhjal enne katse läbiviimist. Sellisel juhul saaks hiljem kontrollida, kas autorid järgisid protokolli ning ka negatiivsed tulemused saaksid publitseeritud. Seda lähenemist propageerib Center for Open Science.

Milline osa psühholoogia teadustulemustest on tõene?

Arst ja nö “teadusskeptik” John Ioannidis on kirjutanud põneva essee, kus ta argumenteerib matemaatilise statistika ning empiiriliste hinnangute abil, et üle poole teadusartiklite tulemustest on valed [5]. Tema argumendid on natuke keerulised, et neid siin kokku võtta, aga kindlasti oli see essee omal ajal väga intrigeeriv. Kuidas me saaksime tema väites veenduda?

Aastal 2015 ilmus põnev artikkel, kus 270 teadlast püüdsid reprodutseerida 100 erineva 2008. aastal ilmunud psühholoogiaartikli tulemust [6]. Eesmärk oli esialgsete katsete meetodeid võimalikult täpselt jäljendada. Sama tulemus õnnestus saada vaid 39% katsetest. Eeldusel, et esialgseid katseid õnnestus korrektselt jäljendada, õnnestus neil minu silmis Ioannidise analüüsi usaldusväärsust tõsta.

Miks sa ainult psühholoogia kallal võtad?

Psühholoogia on põnev valdkond ja selle õnnestumistest ning ebaõnnestumistest lugemine on huvitav, aga hoolimata väidetest, et psühholoogia on pseudoteadus, esinevad sellised probleemid ka paljudes teistes valdkondades, millesse esmapilgul nii kriitiliselt võib-olla ei suhtuta.

Ravimitootja Amgen püüdis korrata 53 katset, mis puudutasid vähiravi bioloogiat. Neil õnnestus kinnitada vaid 11% avastustest [7]. Sarnase uuringu viis läbi ravimitootja Bayer, kes kordas 67 katset. Neil õnnestus enda valitud katsetest kinnitada 25% [8]. Farmakoloogia esialgsed uuringud, mis veel otsivad bioloogilisi mehhanisme haiguste raviks, on selline pimedas kompamine, et ravimitootjad ei saa teaduskirjandust usaldada, vaid peavad sageli alustama iga ravimi tootmisel teadustööga nullist.

John Ioannidis on uurinud New England Journal of Medicine’is (NEJM) aastatel 2001-2010 publitseeritud artiklite järeldusi. NEJM on üks hinnatumaid meditsiini teadusajakirju. Artiklitest, mis hindasid juba kasutusel olevat meditsiinipraktikat, kinnitasid 38% selle tõhusust ning 40.2% lükkasid selle ümber [9]. Kui see peegeldaks üldist taset meditsiinis, siis tõenäosused, et arsti soovitatud protseduur on kasutu või kasulik, on võrdsed. Siiski võib spekuleerida, et reaalsus nii kole ei ole, sest NEJM võib meelsamini publitseerida intrigeerivaid tulemusi, mis mõne levinud praktika kahtluse alla seavad.

Meetodite liigne paindlikkus

Aastal 2015 ilmus ajalehe Daily Mail veebiväljaandes artikkel pealkirjaga (ligikaudne tõlge) “Ulata šokolaadi! Uus uuring paljastab, et šokolaadi söömine ei mõjuta sinu kehamassiindeksit… ja võib aidata isegi kaalu KAOTADA!”. Artikkel kajastas katset, kus määrati kaks katsealuste gruppi süsivesikutevaesele dieedile. Üks grupp pidi lisaks sööma iga päev tahvli tumedat šokolaadi. Šokolaadi söönud grupp kaotas kaalus kiiremini ja neil olid paremad kolesterooli näidud [10]. Praeguseks on artikkel tagasi võetud.

Kuigi see katse oli reaalne, oli autorite tegelik eesmärk näidata, kui kerge on suvalisi seoseid publitseerida. Nad mõõtsid katsealuste peal kokku 18 erinevat tervist puudutavat tunnust ning kontrollisid, kas mõni nendest on šokolaadi söömisega seotud. Kui eeldada, et ühe seose kontrollimisel on 5% tõenäosus saada juhuslikult positiivne tulemus, siis tõenäosus, et 18 seosest vähemalt üks on juhuslikult positiivne, on 60%. Kui katsetada andmete peal erinevaid seoseid ning raporteerida artiklis vaid positiivsed tulemused, on võimalik suhteliselt suvalisi seoseid “tõestada”.

Positiivse tulemuse jahtimist nimetatakse vahest p-hacking’uks või noise-mining’uks. Probleem ei pruugi isegi olla tingitud ebaaususest. Ka heas usus valikuid tehes võime kogemata valida analüüsimeetodi, mis annab juhuslikult positiivse tulemuse [11].

Veebilehel FiveThirtyEight on mäng, kus tuleb tõestada, et üks või teine USA partei mõjub USA majandusele kas positiivselt või negatiivselt. Valides sobivad mõõdikud või poliitiku positsiooni on alati võimalik endale meelepärane tulemus saada. Rakenduse taga on päris andmed. Rakendusega mängides saab ise selle efektiga tutvuda.

Kontekst on oluline

Järgneval joonisel on välja toodud erinevate toodete tarvitamise ja mingi vähkkasvaja riski seoste relative risk’id või odds ratio’d [12–15]. Lihtsustatult näitab odds ratio (OR) mitu korda suurem on katsegrupis risk. OR 1 tähendab, et riskid on samad, väärtus alla ühe tähendab, et risk langeb ja väärtus üle ühe, et risk tõuseb. Suure andmestiku korral on relative risk ja odds ratio ligikaudu võrdsed. Mõnel juhul on tegu kaitsva seosega (D-vitamiin, kiudained), mõnel juhul on toote tarvitamine kahjulik (sool, tubakas).

Kui keegi soovib väita, et liigne soolasöömine põhjustab maovähki, siis pole tal raske tõendeid leida. Omaette küsimus on, kas me peaksime sellepärast muretsema. Efekti olemasolu iseenesest pole piisav. Selleks, et järeldusi teha, peaksime selle mõju konteksti panema. Nagu näeme, siis soola söömise risk on suurusjärk väiksem tubakasuitsetamise riskist.

Spinatis leidub opioid rubiscolin 5 [16]. Oleme ilmselt kõik kuulnud, et opioidid on kõrge sõltuvuspotentsiaaliga ning mitmetel neist on suhteliselt kõrge üledoosi risk. Seega on spinat ohtlik ning me peaksime seda vältima? Tegelikult on seda opioidi spinatis nii vähe, et 70kg kaaluv inimene peaks sööma ligi 10kg spinatit korraga, et see aine talle mõjuks. Konteksti tundes on absurdne väita, et spinat seetõttu ohtlik oleks.

Efekti suuruse ja konteksti abil saab igaüks ise otsustada, milline risk on tema jaoks aksepteeritav selle asemel, et öelda dihhotoomselt, kas miski on kahjulik või mitte.

Üks vastuargument oleks, et isegi, kui spinatis leiduva rubiscolin 5 tase on madal, siis mida vähem seda tarvitada, seda parem. Selle vastu argumenteerimiseks vaatame ühte hüpoteetilist dose-response curve’i.

X-teljel on aine doos ja Y-teljel mõju ulatus. Näiteks võib sellise joonise teha vererõhku alandava ravimi doosi ja vererõhu languse seosest. Tavaliselt on dose-response curve S tähe kujuline nagu sellel joonisel. Threshold dose on minimaalne doos, mille tarvitamisel on mõõdetav efekt. Sellest väiksemad kogused mõju ei oma. Kui me vähendame kahjuliku aine tarbimist, siis mingist hetkest oleme kahju minimeerinud ning edasine vähendamine ei oma tähtsust. Efekti suurust ja doosikõverat võiks meeles pidada, kui keegi hirmutab meid mingi aine kahjulikkusega. Viide aine mingis koguses kahjulikkust kinnitavale uuringule ei ole veel piisav põhjus seda vältida.

Kõik uuringud pole võrdsed

Vaatlusuuring analüüsib andmeid, mis on subjektidelt kogutud. Näiteks küsitakse inimestelt, mida nad söövad ja mõõdetakse nende tervisenäitajaid ning seejärel uuritakse, kas mõni tervisenäitaja on mõne toiduainega seotud. Vaatlusuuringust parem on katse, kus jagatakse inimesed juhuslikelt gruppidesse ning gruppidele antakse erinevad soovitused. Näiteks üks grupp haigeid tarvitab ravimit ja teine suhkrutabletti.

Miks on vaatlusuuringud halvad? Näiteks leiavad vaatlusuuringud sageli, et suures koguses C-vitamiini tarvitamine vähendab südamehaiguste ja erinevate vähkkasvajate riski. Kuid katsetes ei õnnestu selliseid efekte demonstreerida [17]. Põhjuseks võib olla C-vitamiini tarbimise seos majandusliku staatusega lapsepõlves. Jõukamate perekondade lapsed saavad mitmekülgsemat toitu ning parem majanduslik olukord tähendab, et näiteks ei pruugi nad tervisele kahjulikku tööd teha ning võivad saada vajadusel paremat arstiabi. Ka näiteks auto omamine korreleerub C-vitamiini tarvitamisega [17]. Vaatlusandmetel leitud seoste puhul on raske olla kindel, et ükski kõrvaline efekt seda ei põhjusta. Selle nähtuse kohta öeldakse confounding.

See probleem esineb eriti tugevalt toitumist puudutavates uuringutes. Selleks, et toitumine mõju omaks, tuleks kindlal toitumisrežiimil olla pikemat aega. Mitmeaastased katsed oleksid väga kulukad ning aastakümnete pikkused katsed pole teostatavad. Ühtlasi oleks raske eetiliselt põhjendada inimestele potentsiaalselt ohtliku toitumise määramist. Seetõttu tehakse paljud toitumist puudutavad uuringud vaatlusandmete põhjal. Vaatlusandmed jagunevad veel omakorda alamgruppidesse. Näiteks cross-sectional uuringus kogutakse andmed ühel hetkel, aga kohordiuuringutes (cohort study) kogutakse andmeid ühelt inimgrupilt perioodiliselt (näiteks iga 5 aasta järel).

Kuigi kohordiuuringud on usaldusväärsemad, võib ka nendega probleeme esineda. Selliste andmete kogumine on kulukas, mistõttu püütakse neid võimalikult palju ära kasutada. Uus-Meremaa linnas Dunedinis hakati 70ndatel jälgima 1037 lapse elukäiku. Dunedini kohordi andmetest on kirjutatud üle 1200 artikli. See teeb rohkem kui üks artikkel iga inimese kohta. Ühe seose kontrollimisel on võimalik juhuslikult saada positiivne tulemus. 1200 seose kontrollimisel on täiesti kindlasti mingi osa positiivsetest tulemustest juhuslikult positiivsed.

Viidete noppimine

Järgneval joonisel olen reastanud mõned odds ratio’d artiklitest, mis uurivad kohvi joomise ja mõne vähkkasvaja riski seost [18–24].

Näeme, et kohvi joomine võiks korraga nii põhjustada vähkkasvajaid kui ka ennetada kasvajate teket. Kui ma kirjutan blogipostituse ja soovin “tõestada”, et kohv on kasulik, siis valin ühest vasemale jäävad uuringud. Kui soovin “tõestada”, et kohv on kahjulik, valin ühest paremale jäävad uuringud. Mõlemal juhul on mu väited teaduslike artiklitega põhjendatud. Kuidas saaks mulle vastu vaielda? Seetõttu on asjalik otsida ise metaanalüüse (millest tuleb hiljem juttu), mis võtavad mingit küsimust puudutavad uuringud kokku.

Tähelepanek: sellel joonisel ning tubaka, soola, kiudainete ja D-vitamiini joonisel on teadlikult tehtud viga. Osades viidatud uuringutes on kasutatud odds ratio’t, osades hazard ratio’t, osades relative risk’i ja ühes rate ratio’t. Kodune ülesanne statistikahuvilisele lugejale on uurida nende sarnasusi ja erinevusi.

Kui juba toidust juttu on, siis igasuguste toiduainete ohtlikkust on võimalik “teaduslikult tõestada”. John Ioannidis kirjutas kolleegiga analüüsi, kus nad otsisid kokaraamatust juhuslikult valitud 50 hariliku toiduaine ja vähi seost käsitlevaid uuringuid. Nad leidsid, et nendest 40 peaksid põhjustama vähki [25]. Vähiga hirmutamine on meedias nii populaarseks saanud, et on koostatud lausa andmebaas Daily Maili artiklitest, mis seostavad midagi vähitekke või vähi ennetamisega.

Isiklikud huvid

Paratamatult on ka teadlased oma arvamustega inimesed. Isegi, kui uuring on ausalt läbi viidud, siis järelduste tegemisel ning artiklit meedias kajastades on autoritel vaba voli oma arvamust kasutada. Ühes uuringus vaadeldi antidepressantide metaanalüüside järeldusi. Leiti, et ravimitootjatega seotud autorid raporteerisid 22 korda harvemini ravimi negatiivseid kõrvaltoimeid [26]. Mõnikord tuleb paratamatult ka jälgida, millised on autori huvid.

Õhku täis puhutud meediakajastus

Ajakirjanikele ei paku huvi kaalutletud ja ettevaatlikud järeldused. Inimesed tahavad lugeda revolutsiooniliste avastuste kohta. Seetõttu kannatab sageli objektiivse teadustöö aus kajastus. Toome ühe näite antidepressantide näol. 2008. aastal ja 2018. aastal tehtud metaanalüüsides leiti, et antidepressantide efekti suurus on vastavalt 0.32 ja 0.30 (Coheni d) [27, 28]. Coheni d on üks statistik efekti suuruse mõõtmiseks. Praegu on ainult oluline panna tähele, et need väärtused on sisuliselt identsed. Vaatame aga kuidas kajastas neid artikleid ajakiri The Guardian.

Samast tulemusest on tehtud täpselt vastupidised järeldused. Tegelikult ei saa siinkohal Guardiani süüdistada, sest nemad kirjutasid oma artiklid teadusartiklite järeldustest. Kuna antidepressantide mõju on küllaltki väike, siis võib subjektiivselt vaielda nende tarvitamise vastu või poolt. Aga oluline on meelde jätta, et pealkirjad meedias stiilis “Teadlased avastasid, et …”, ei ole usaldusväärsed.

Metaanalüüsid

Metaanalüüs on mitme uuringu tulemusi kombineeriv statistiline analüüs. Metaanalüüsi metoodika võimaldab arvutada vaatluse all oleva seose efekti suuruse, mis võtab kokku kõigi käsitletud uuringute tulemused. Kui üksikud uuringud võivad seost kinnitada või ümber lükata, siis metaanalüüs võiks meile anda teaduse konsensuse. Kui mind huvitab mingi seos, siis kõigepealt püüan otsida, kas selle kohta on kirjutatud metaanalüüse. Tervist puudutavate küsimuste osas on väga hea allikas Cochrane’i andmebaas.

Siiski ei saa ka metaanalüüsi pimesi uskuda. Mitmed kirjeldatud probleemid puudutavad ka metaanalüüse. Näiteks võib metaanalüüsi autor järelduste tegemisel isiklikku arvamust kasutada. Publication bias’i tõttu võib analüüsi sisendiks olevate uuringute kvaliteet vilets olla, sest negatiivse tulemusega uuringud on jäänud publitseerimata. Näiteks võib leida metaanalüüse, mis kinnitavad, et inimesed saavad tulevikku ennustada [29] ja homöopaatilised ravimid töötavad [30]. Statistika meetodite puhul tuleb meeles pidada GIGO põhimõtet – garbage in, garbage out.

Bayesian inference

Mitmed teadlased peavad probleemiks uuringute disainis ja andmeanalüüsis kasutatud filosoofilist lähenemist. Kuigi koolis õpetatakse, miks nii mõelda ei saa, kiputakse statistikat ikkagi nägema oraaklina, kellele andmeid söötes saab jah/ei vastuseid. Iga katse kas tõestab või lükkab ümber midagi.

Nö klassikalise statistika maailmavaate kohta öeldakse frequentist, mis tuleneb sõnast frequency (sagedus). Näiteks populaarne nullhüpoteeside testide loogika on lihtsustades selline:

1. Eeldame, et efekti pole olemas.
2. Arvutame andmestiku tõenäosuse põhinedes sellel eeldusel.
3. Kui see tõenäosus on väga väike (ehk me poleks tõenäoliselt pidanud sellist andmestikku saama), siis oli ilmselt efekti puudumise hüpotees vale.

Kui loogikas kehtib implikatsioon A järelikult B, siis B mittekehtimine seab tõesti A kahtluse alla, aga siin pole tegu loogikaga, sest me tegeleme juhuslike sündmustega. Praktika näitab, et nullhüpoteeside testidega võib väga sageli saada juhuslikult positiivseid tulemusi.

Üks idee oleks lasta otsustamise tõenäosuse piir (olulisusnivoo) allapoole [31]. See on kompromiss, mis võimaldab statistikatarkvara oraaklina edasi kasutada, aga loodetavasti vähendab valepositiivsete tulemuste hulka.

Teine idee on lähtuda alternatiivsest maailmavaatest – Bayesian inference’ist, mis on nime saanud matemaatik Thomas Bayesi järgi. Selles maailmavaates ei ole tõenäosus mitte sündmuse toimumise sagedus vaid mingi väite uskumise tugevus. Bayesian inference õpetab, kuidas uskumuse tugevust muuta uute andmete ilmumisel. Kõige lihtsam näide oleks münt, mis maandub enam ühele küljele. Enne katsete tegemist võtan ma kulli ja kirja tõenäosuseks 50%. Kui ma saan mündiviskel pärast esimest katset kulli, tõstan oma uskumust kulli suhtes. Kui ma saan pärast teist katset kirja, langetan kulli uskumust. Kui ma olen näiteks pärast sadat katset saanud 70 korda kulli, siis on minu usk mündiviskel kulli saamisesse tugev. Samamoodi võiksime suhtuda teadusuuringutesse:

• Uuringu eesmärk pole väidet tõestada ega ümber lükata vaid koguda andmeid.
• Ükski väide pole tõene või väär. On vaid väited, millesse meil on tugevam või nõrgem usk.
• Bayesian lähenemise eelis on ka eelduste tõenäosused. Kui mingi väide on andmeid nägemata teoreetiliselt väga kahtlane, siis ma saan uskumuse tugevuse, mida ma uuendama hakkan, seada sellele vastavalt.

Lisaks filosoofilisele aspektile on Bayesian inference metoodika loonud ka matemaatilisi vahendeid, mis on alternatiiviks klassikalistele frequentist meetoditele [32]. Need vahendid on aga keerulisemad ning nõuavad mõnikord suuremat arvutusressurssi, mistõttu need pole seni väga populaarseks saanud. Nullhüpoteeside testide probleemidest ja lahendustest on põneva artikli kirjutanud Andrew Gelman koos kolleegidega [33].

Kokkuvõte

Teadust on raske teha ning tõlgendada.

Need negatiivsed näited on tegelikult hea uudis, sest see näitab, et protsess töötab – teadlased avastavad probleeme ja püüavad protsessi parandada. Teadus ei ole Piibel, mis ütleb meile, mis on õige ja vale, vaid see on protsess, mis enda parandamise läbi jõuab tõele lähemale.

Kui sa juba polnud teaduse kajastuse suhtes kriitiline, siis loodan, et pärast nende näidete lugemist suhtud skeptilisemalt meedias, internetis ja raamatutes levivasse infosse. Kõige turvalisem on parema info puudumisel uskuda, et ühtegi seost pole olemas. Nii on ka endal kergem elada, sest ei pea kogu aeg midagi kartma.

Allikad