Psykologiset tutkimukset todettiin vääriksi yli 50 prosentissa tapauksista

2024 Kirjoittaja: Seth Attwood | [email protected]. Viimeksi muokattu: 2023-12-16 16:04

On olemassa "vahvoja asentoja", jotka rakentavat luottamusta ja vähentävät stressihormoneja. Kun ihmiset pitävät kuppia lämmintä juomaa kädessään, heistä tulee ystävällisempiä ympärillään olevia kohtaan. Tahdonvoima on resurssi, jonka käytämme vastustaessamme kiusausta. Kyky lykätä palkitsemista määrää lapsen tulevan menestyksen.

Nämä lausunnot ovat hyvin samankaltaisia keskenään: niiden takana on tunnettu psykologinen tutkimus, populaaritieteelliset bestsellerit, kolumnit suosittuihin aikakauslehtiin ja TED-puheita.

Heillä on myös yksi yhteinen piirre: ne kaikki osoittautuivat vääräksi.

Uusittavuuskriisi on kyseenalaistanut kokonaisia tieteenaloja. Monia tiedotusvälineissä laajasti lainattuja tuloksia pidetään nyt liioiteltuina tai väärinä. Kun tutkijat yrittivät toistaa sekä klassisia että viimeaikaisia psykologisia kokeita, tulokset olivat yllättävän johdonmukaisia: noin puolet tapauksista onnistui ja toinen puoli epäonnistui.

Kriisi tuli lopulta ilmi vuonna 2015, kun Brian Nosekin johtamat tutkijat tarkastivat 100 psykologista tutkimusta. He pystyivät saavuttamaan alustavat tulokset vain 36 tapauksessa. Lancetin päätoimittaja Richard Horton totesi pian:

”Syytökset tiedettä vastaan ovat varsin yksinkertaisia: vähintään puolet tieteellisestä kirjallisuudesta on yksinkertaisesti väärää. Pienen otoskoon tutkimuksista, niukoista vaikutuksista ja virheellisistä analyyseistä sekä kyseenalaisen merkityksen muotivirtausten pakkomielleestä kärsinyt tiede on kääntynyt tietämättömyyteen.

Uusittavuus on yksi tieteellisen tiedon keskeisistä vaatimuksista. Mitä paremmin tulos toistetaan, sitä luotettavampi se on - tämä on ainoa tapa erottaa todelliset kuviot yksinkertaisista sattumuksista

Mutta kävi ilmi, että tämä vaatimus ei aina täyty.

Kriisi alkoi lääketieteestä, mutta se vaikutti eniten psykologiaan. Kesällä 2018 tutkijat yrittivät toistaa valikoiman psykologisia tutkimuksia, jotka on julkaistu maailman arvostetuimmissa tiedelehdissä Science and Naturessa. 21 kokeesta vain 13 vahvistettiin - ja näissäkin tapauksissa alkuperäiset tulokset olivat noin 50 % liioiteltuja.

Usein toistettavuustestin epäonnistuvat tiedotusvälineissä laajasti toistetut tutkimukset, jotka onnistuivat vaikuttamaan yleiseen tietoisuuteen. Esimerkiksi teokset, jotka hakukoneet heikentävät muistia, ja kaunokirjallisuuden lukeminen kehittää empatiakykyä. Jos toistetut kokeet epäonnistuvat, tämä ei tarkoita, että alkuperäiset hypoteesit olisivat arvottomia. Mutta nyt tarvitaan parempaa tutkimusta niiden todistamiseksi.

Kuinka ennustaa tulevaisuutta tilastojen avulla

Vuonna 2011 kuuluisa amerikkalainen psykologi Daryl Boehm julkaisi artikkelin, joka osoitti selvänäköisyyden mahdollisuuden. Tämä johtopäätös ei ollut hänen väkivaltaisen mielikuvituksensa tuotetta, vaan se perustui vuosikymmeniä kestäneeseen tutkimukseen, johon osallistui satoja ihmisiä. Monet epäilivät, että Boehm päätti järjestää jotain Sokalin huijauksen kaltaista ja paljastaa psykologian väärennetyllä artikkelilla, jossa on tarkoituksellisesti absurdeja johtopäätöksiä. Mutta kaikilla metodologisilla standardeilla artikkeli oli erittäin vakuuttava.

Yhdessä Behmin kokeessa osallistujien eteen asetettiin kaksi näyttöä - heidän oli arvattava, mikä kuva oli piilossa. Kuva luotiin satunnaisesti heti valinnan jälkeen. Jos osallistujat tekivät hyvää työtä, se osoittaisi, että he voivat jotenkin ennakoida tulevaisuutta. Kokeessa käytettiin kahdenlaisia kuvia: neutraaleja ja pornografisia.

Boehm ehdotti, että jos kuudes aisti on olemassa, sillä on luultavasti muinainen evolutionaarinen alkuperä. Jos näin on, se on todennäköisempää, että se on viritetty vanhimpiin tarpeisiimme ja tarpeisiimme

Osallistujat arvasivat pornografisia kuvia 53 % ajasta – hieman useammin kuin pitäisi, jos ne olisivat puhdasta sattumaa. Kun otetaan huomioon kokeiden suuri määrä, Boehm voisi väittää, että ennakointi on olemassa.

Myöhemmin asiantuntijat havaitsivat, että hän ei käyttänyt täysin oikeita menetelmiä analysoidessaan tuloksia. Pääsääntöisesti tutkimustulos katsotaan luotettavaksi, jos todennäköisyys, että se on saatu vahingossa, ei ylitä 5 %. Mutta on monia tapoja pienentää tätä arvoa vaaditulle tasolle: muuttaa analyysin alkuparametreja, lisätä tai poistaa tarvittava määrä esimerkkejä otoksesta, käyttää onnistuneempia hypoteeseja tietojen keräämisen jälkeen.

Ongelmana on, että Boehm, mutta myös monet muut tiedemiehet käyttivät samoja tekniikoita. Vuoden 2011 tutkimuksen mukaan lähes puolet psykologeista myönsi tämän

Kun selvänäkijäartikkeli ilmestyi, yhteiskuntatieteilijät Joseph Simmons, Leaf Nelson ja Uri Simonson ymmärsivät, että tiede oli matkalla omaa tuhoaan. He rakensivat useita tietokonemalleja ja havaitsivat, että käyttämällä melko tavallisia tilastotekniikoita voit nostaa väärien positiivisten tulosten määrää useita kertoja. Tämä tarkoittaa, että muodollisesti tieteelliset menetelmät voivat helposti johtaa täysin absurdeihin johtopäätöksiin.

Tämän havainnollistamiseksi tutkijat suorittivat kokeen, joka vahvisti, että kappaleen "When I'm Sixty-four" kuunteleminen tekee kuuntelijasta puolitoista vuotta nuoremman.

Kaikki tiesivät, että tällaisten tekniikoiden käyttäminen oli väärin, mutta heidän mielestään tämä oli rikkomus merkitykseltään - kuten tien ylittäminen väärässä paikassa. Se osoittautui enemmän kuin pankkiryöstö”, Simmons päätteli.

Kuinka erottaa huono tutkimus hyvästä

Pian kävi selväksi, että uusittavuusongelmat eivät rajoittuneet psykologiaan. Syöpätutkimuksessa tieteellistä näyttöä tuetaan 10-25 prosentissa tapauksista. Taloustieteen alalla 7 18 laboratoriokokeesta ei kyennyt toistamaan. Myös tekoälytutkimus osoittaa kriisin merkkejä.

Mutta uskon menettäminen tieteeseen ei näytä silti olevan sen arvoista. Tiedemiehet ovat jo keksineet useita tapoja, jotka ovat parantaneet merkittävästi uuden tutkimuksen luotettavuutta ja laatua

Useita vuosia sitten melkein kukaan ei julkaissut toistuvien kokeiden tuloksia, vaikka ne olisi suoritettu. Tätä ei hyväksytty, se ei tuonut apurahoja eikä edistänyt menestyksekästä tieteellistä uraa. Nature-tutkimuksen mukaan yli 70 % psykologeista on yrittänyt ja epäonnistunut toistamaan muiden ihmisten tutkimuksia, noin puolet ei ole kyennyt toistamaan omaa, eikä lähes kukaan ole pyrkinyt julkistamaan näitä tuloksia.

Kun uusittavuuden kriisi ilmaantui, paljon on muuttunut. Toistuvasta tutkimuksesta tuli vähitellen yleistä; kokeellisia tietoja alettiin julkaista yhä useammin julkisesti; lehdet alkoivat julkaista negatiivisia tuloksia ja kirjata tutkimuksen kokonaissuunnitelmaa jo ennen niiden aloittamista.

Tutkimus on laajentunut - psykologiassa varsin standardi 30–40 hengen otos sopii nyt harvoille. Suuret kansainväliset organisaatiot - kuten Psychological Science Accelerator - testaavat samoja hypoteeseja useissa laboratorioissa ympäri maailmaa.

Ennen kuin tarkastelivat Nature and Sciencen artikkelit, joista kirjoitimme alussa, tutkijoita pyydettiin lyömään vetoa arvonnoista. Heidän piti ennustaa, mikä tutkimus läpäisi testin ja mikä epäonnistuu. Kaiken kaikkiaan hinnat olivat erittäin tarkkoja. "Tämä tarkoittaa ensinnäkin sitä, että tiedeyhteisö voi ennustaa, mitkä teokset voidaan toistaa, ja toiseksi, että tutkimuksen toistamisen mahdottomuus ei ollut pelkkä sattuma", kokeen järjestäjät kertovat.

Tiedemiehet ovat yleensä hyviä erottamaan luotettavat tutkimukset epäluotettavista - se on hyvä uutinen. Nyt avoimen tieteen keskuksen asiantuntijat yrittävät yhdessä DARPA-viraston kanssa luoda algoritmin, joka suorittaa saman tehtävän ilman ihmisen väliintuloa.

Joka vuosi julkaistaan liian paljon artikkeleita, jotta edes pieni osa niistä voidaan tarkistaa manuaalisesti. Jos tekoäly alkaa toimia, kaikki on paljon helpompaa.

Jo ensimmäisissä testeissä tekoäly selviytyi ennusteista 80 prosentissa tapauksista.

Mikä tekee tutkimuksesta useimmiten epäluotettavan? Pienet otokset, epäjohdonmukaisuudet numeroissa, liian kaunis vahvistus hypoteeseille. Ja myös - halu tunteisiin ja liian yksinkertaiset vastaukset vaikeisiin kysymyksiin.

Liian hyvää ollakseen totta

Helpoin tapa luoda sensaatiomainen tutkimus on petos. Kuuluisa sosiaalipsykologi Diederik Stapel käytti väärennettyä dataa useissa kymmenissä tieteellisissä artikkeleissa. Stapelin tutkimus levisi sanoma- ja aikakauslehdissä suurella vauhdilla, hän sai useita arvostettuja tieteellisiä palkintoja, julkaistiin Science-lehdessä ja häntä pidettiin yhtenä alansa suurimmista asiantuntijoista.

Kerran kävi ilmi, että Stapel ei pitkään aikaan tehnyt tutkimusta ollenkaan, vaan yksinkertaisesti keksi tietoa ja antoi sen opiskelijoille analysoitavaksi.

Tämä on tieteessä erittäin harvinaista. Paljon useammin äänekkäitä, mutta vääriä lausuntoja syntyy muista syistä. Ihmiset etsivät epätoivoisesti yksinkertaisia, ymmärrettäviä ja tehokkaita vastauksia jännittäviin kysymyksiin. Voi olla hyvin helppoa ajatella, että sinulla on nämä vastaukset, vaikka sinulla ei todellakaan olisi niitä. Yksinkertaisuuden ja varmuuden tavoittelu on yksi tärkeimmistä syistä, miksi monet tutkimukset eivät testaa toistettavuutta. Tässä on joitain merkittäviä esimerkkejä.

Marshmallow-koe

Kokeessa lapsia pyydettiin valitsemaan yhden pienen palkinnon - kuten vaahtokarkkeja - välillä, joka voitaisiin saada heti, ja kaksinkertaisen palkinnon välillä, jos he voisivat odottaa vähän. Myöhemmin kävi ilmi, että toisen palkinnon saaneet lapset menestyivät paremmin aikuisiässä. Tutkimuksesta tuli erittäin suosittu ja se vaikutti joihinkin koulujen opetussuunnitelmiin.

Vuonna 2018 koe toistettiin laajemmalla otoksella. Kävi ilmi, että perheen varallisuus on paljon tärkeämpi tekijä, josta myös itsehillinnän taso riippuu.

"voiman asennot" ja "heikkouden asennot"

Kokeen osallistujat ottivat toisen kahdesta asennosta kahden minuutin ajan: he nojasivat tuolissa taaksepäin ja heittivät jalkansa pöydälle ("voima-ase") tai ristiin kätensä rintakehän päälle ("heikkousasento"). Tämän seurauksena ensimmäisen ryhmän osallistujat tunsivat itsevarmuutta ja suostuivat useammin ottamaan riskejä rahapelaamisessa. Vahvassa asennossa istuneiden testosteronitasoja nostettiin ja heikossa asennossa istuvien kortisolitasoja. Toistuvissa kokeissa toistettiin vain yksi vaikutus: "voima-asennot" auttoivat osallistujia tuntemaan olonsa itsevarmemmaksi, mutta eivät muuttaneet heidän käyttäytymistään tai hormonaalisia parametreja.

Yhdistelmät vanhuuteen saavat sinut liikkumaan hitaammin

Kokeen osallistujia pyydettiin ratkaisemaan useita pulmia. Jos niihin lisättiin sanoja, jotka liittyvät vanhuuteen - "unohteleva", "iäkäs", "yksinäinen" -, osallistujat poistuivat huoneesta hitaammin.

Viimeaikaisissa kokeissa kokeilu toistettiin onnistuneesti vain yhdessä tapauksessa: jos kokeilijat itse tiesivät, että testeissä osallistujat vihjasivat vanhuuteen. Vaikutus itsessään säilyi, mutta syyt olivat jo erilaiset.

Lämpimät esineet tekevät ihmisistä ystävällisempiä

Kokeen osallistujien annettiin pitää kupillista kuumaa tai kylmää kahvia lyhyen aikaa, ja sitten heitä pyydettiin arvioimaan henkilön persoonallisuus lyhyen kuvauksen avulla. Osallistujat, jotka pitivät kupin kuumaa kahvia, pitivät henkilöä miellyttävimpänä. Toisessa kokeessa osallistujille annettiin esine lämpimässä tai kylmässä pakkauksessa ja sitten heitä pyydettiin säilyttämään se tai antamaan se ystävälle. Jos tuote oli kääritty lämpimään pakkaukseen, osallistujat valitsivat todennäköisemmin toisen vaihtoehdon. Toistetut kokeet laajemmalla näytteellä eivät tuottaneet tällaisia tuloksia. Näyttää siltä, että lämpimät vaatteet eivät tee sinusta altruistia.

Tahdonvoima loppuu, kun vastustamme kiusauksia

Kokeen osallistujien eteen asetettiin kaksi lautasta - evästeillä ja retiisillä. Ensimmäisessä ryhmässä osallistujat saivat syödä keksejä ja toisessa vain retiisiä. Sitten jokaista osallistujaa pyydettiin ratkaisemaan mahdoton pulma. Osallistujat, jotka söivät vain retiisiä kokeen ensimmäisessä osassa, luovuttivat paljon aikaisemmin kuin muut. Toistuvissa kokeissa tuloksia ei vahvistettu.

Joissakin tapauksissa itsehillintäkyky ei heikentynyt, vaan jopa vahvistui ajan myötä. Monet psykologit pitävät nyt "tahdonvoiman" käsitettä liian yksinkertaisena.

Maailman psykologiassa on jo tehty paljon, jotta tutkimus olisi luotettavampi ja toistettavampi. Venäjällä tätä ongelmaa ei ole vielä käsitetty.

"Venäjän psykologiassa kriisin ongelmat koskevat pääasiassa tiedenuorta, joka on suurelta osin suuntautunut länsimaiseen tieteeseen", RANEPAn apulaisprofessori Ivan Ivanchey kertoi Knifelle. - Venäjänkielisten julkaisujen laadunvalvonta ei ole yleensä kovin korkeaa. Lehdet hylkäävät harvoin artikkeleita, joten paljon huonolaatuista tutkimusta julkaistaan. Usein käytetään pieniä näytteitä, mikä myös vähentää onnistuneen lisääntymisen todennäköisyyttä. Epäillään, että jos venäjänkielisten teosten toistettavuuskysymystä vakavasti käsitellään, voidaan havaita monia ongelmia. Mutta kukaan ei ole suoraan mukana tässä."

Tammikuussa 2019 tuli tiedoksi, että Venäjän hallitus aikoo merkittävästi laajentaa tutkijoille asetettuja vaatimuksia julkaisujen lukumäärän suhteen: vuodessa julkaistavien artikkelien vähimmäismäärän pitäisi kasvaa 30-50%.

Vaikuttavan akateemisen "heinäkuun 1. klubin" tutkijat kritisoivat aloitetta: "Tieteen tehtävänä ei ole tuottaa mahdollisimman paljon julkaisuja, vaan tutkia maailmankaikkeutta ja hyötyä ihmiskunnalle saadusta tiedosta." Todennäköisesti uudet vaatimukset vain lisäävät ongelman laajuutta.

Tarina uusittavuuden kriisistä ei ole tarina tulevasta apokalypsista ja barbaarien hyökkäyksestä. Jos kriisiä ei olisi tapahtunut, kaikki olisi ollut paljon pahempaa: silti viitattaisiin virheelliseen tutkimukseen täysin varmuudella, että tiedämme totuuden. Ehkäpä rohkeiden otsikoiden, kuten "Brittiläiset tiedemiehet ovat osoittaneet", aika on päättymässä. Mutta huhuja, että tiede on kuollut, on pidettävä hieman liioiteltuina.