Noin 50 % tieteellisistä kokeista osoittautui EI-toistettaviksi

2024 Kirjoittaja: Seth Attwood | [email protected]. Viimeksi muokattu: 2023-12-16 16:04

Sattumalta, uutis- ja tietovirrassa, törmäsin artikkeliin Nature Scientific Reportsissa. Se esittelee 1 500 tutkijan kyselyn tieteellisten tutkimustulosten toistettavuutta koskevia tietoja. Jos aiemmin tämä ongelma nostettiin esille biologiseen ja lääketieteelliseen tutkimukseen, jossa se on toisaalta selitettävissä (väärät korrelaatiot, tutkittavien järjestelmien yleinen monimutkaisuus, joskus jopa tieteellisiä ohjelmistoja syytetään), toisaalta sillä on fenomenologinen luonne (esimerkiksi hiiret käyttäytyvät eri tavalla eri sukupuolta olevien tutkijoiden kanssa (1 ja 2)).

Kaikki ei kuitenkaan ole sujuvaa ja sujuvaa lisääluonnontieteet, kuten fysiikka ja tekniikka, kemia, ekologia. Näyttäisi siltä, että juuri nämä tieteenalat perustuvat "ehdottomasti" toistettaviin kokeisiin, jotka on suoritettu kontrolloiduimmissa olosuhteissa, valitettavasti hämmästyttävä - sanan jokaisessa merkityksessä - tutkimuksen tulos: jopa 70 %tutkijat kohtasivat Ei toistettavissakokeet ja tulokset, jotka eivät ole vain muiden tiedemiesryhmien saamia, MUTTA ja julkaistujen tieteellisten teosten tekijöiltä / yhteiskirjoittajilta!

Ylistääkö jokainen hiekkapiippu suoaan?

Vaikka 52 % vastaajista mainitsee tieteen toistettavuuden kriisin, alle 31 % pitää julkaistua tietoa pohjimmiltaan virheellisinä ja suurin osa ilmoitti edelleen luottavansa julkaistuun työhön.

Kaikkea tiedettä sellaisenaan ei tietenkään kannata hakkeroida vain tämän kyselyn perusteella: puolet vastaajista oli edelleen tavalla tai toisella biologisiin tieteenaloihin liittyviä tiedemiehiä. Kuten kirjoittajat huomauttavat, fysiikassa ja kemiassa toistettavuus ja saatujen tulosten luottamus on paljon korkeampi (katso alla oleva kaavio), mutta ei silti 100%. Mutta lääketieteessä asiat ovat erittäin huonoja muihin verrattuna.

Tulee mieleen vitsi:

Marcus Munafo, biologinen psykologi Bristolin yliopistosta Englannista, on pitkään kiinnostunut tieteellisen tiedon toistettavuudesta. Hän muistelee opiskeluaikaansa ja sanoo:

Kerran yritin toistaa kirjallisuudesta kokeen, joka vaikutti minusta yksinkertaiselta, mutta en vain pystynyt siihen. Minulla oli luottamuskriisi, mutta sitten tajusin, että kokemukseni ei ollut niin harvinainen.

Leveys- ja pituusaste-syvyysongelma

Kuvittele olevasi tiedemies. Löydät mielenkiintoisen artikkelin, mutta tuloksia / kokeita ei voida toistaa laboratoriossa. On loogista kirjoittaa tästä alkuperäisen artikkelin tekijöille, kysyä neuvoja ja esittää selventäviä kysymyksiä. Kyselyn mukaan mm. alle 20 %ovat tehneet tämän koskaan tieteellisellä urallaan!

Tutkimuksen tekijät huomauttavat, että ehkä tällaiset kontaktit ja keskustelut ovat liian vaikeita tutkijoille itselleen, koska ne paljastavat heidän epäpätevyytensä ja epäjohdonmukaisuutensa tietyissä asioissa tai paljastavat liian monia yksityiskohtia meneillään olevasta projektista.

Lisäksi ehdoton vähemmistö tiedemiehistä yritti julkaista kumouksen toistamattomista tuloksista, samalla kun hän vastusti toimittajia ja arvioijia, jotka vaativähätellä vertailua alkuperäiseen tutkimukseen. Onko ihme, että mahdollisuus raportoida tieteellisten tulosten toistettamattomuudesta on noin 50 %.

Ehkä sitten kannattaa ainakin tehdä uusittavuustesti laboratorion sisällä? Surullisinta on, että jopa kolmasosa vastaajista EI KOSKAANeikä ajatellut luoda menetelmiä tietojen todentamiseksi toistettavuuden kannalta. vain 40 %ilmoitti käyttävänsä tällaisia tekniikoita säännöllisesti.

Toinen esimerkki, brittiläinen biokemisti, joka ei halunnut paljastaa nimeään, sanoo, että yritykset toistaa, toistaa työtä hänen laboratorioprojektissaan yksinkertaisesti kaksinkertaistaa aika- ja materiaalikustannukset antamatta tai lisäämättä työhön mitään uutta. Lisätarkastuksia tehdään vain innovatiivisille projekteille ja epätavallisille tuloksille.

Ja tietysti ikuiset venäläiset kysymykset, jotka alkoivat kiduttaa ulkomaisia kollegoita: kuka on syyllinen ja mitä tehdä?

Kuka on syyllinen?

Työn tekijät tunnistivat kolme pääasiallista tulosten toistettavuuden ongelmaa:

• Esimiesten painostus saada teos julkaistaan ajoissa
• Valikoiva raportointi (ilmeisesti se tarkoittaa joidenkin tietojen tukahduttamista, mikä "pilaa" koko kuvan)
• Riittämätön data-analyysi (mukaan lukien tilastollinen)

Mitä tehdä?

Yli 1 000 kyselyyn vastanneesta asiantuntijaa kannatti tilastojen parantamista tietojen keräämisessä ja käsittelyssä, esimiesten valvonnan laadun parantamista ja kokeiden tiukempaa suunnittelua.

Johtopäätös ja omakohtaista kokemusta

Ensinnäkin, jopa minulle, tiedemiehenä, tulokset ovat hämmästyttäviä, vaikka olenkin tottunut tulosten tiettyyn toistamattomuuteen. Tämä on erityisen ilmeistä kiinalaisten ja intialaisten tekemissä teoksissa ilman kolmannen osapuolen "auditointia" amerikkalaisten / eurooppalaisten professorien muodossa. On hyvä, että ongelma tunnistettiin ja sen ratkaisua mietittiin. Vaiken tahdikkaasti venäläisestä tieteestä äskettäisen skandaalin yhteydessä, vaikka monet tekevätkin rehellisesti työnsä.

toiseksi, artikkeli jättää huomiotta (tai pikemminkin ei ota huomioon) tieteellisten mittareiden ja vertaisarvioitujen tieteellisten lehtien roolia tutkimustulosten uusittamattomuuden ongelman syntymisessä ja kehittymisessä. Julkaisujen nopeutta ja tiheyttä tavoiteltaessa (lukeminen, viittausindeksien nousu) laatu laskee jyrkästi, eikä tulosten lisävarmentamiseen jää aikaa.

Kuten he sanovat, kaikki hahmot ovat kuvitteellisia, mutta perustuvat todellisiin tapahtumiin. Jotenkin yksi opiskelija pääsi arvostelemaan artikkelia, koska jokaisella professorilla ei ole aikaa ja energiaa lukea artikkeleita harkiten, joten kerätään 2-3-4 opiskelijan ja tohtorin mielipide, joista arvio muodostuu. Arvostelu kirjoitettiin, se osoitti tulosten toistamattomuuden artikkelissa kuvatun menetelmän mukaisesti. Tämä osoitettiin selvästi professorille. Mutta jotta ei pilata suhteita "kollegoihin" - loppujen lopuksi he menestyvät kaikessa - arvostelu "korjattiin". Ja tällaisia artikkeleita on julkaistu 2 tai 3.

Siitä muodostuu noidankehä. Tiedemies lähettää artikkelin lehden toimittajalle, jossa hän ilmoittaa " haluttu"Ja ennen kaikkea" ei toivottu »Arvostelijat, eli itse asiassa jättävät vain ne, jotka suhtautuvat positiivisesti kirjoittajatiimiin. He tarkistavat työn, mutta he eivät voi "paskaa kommenteissa" ja yrittää valita kahdesta pahasta pienemmän - tässä on luettelo kysymyksistä, joihin on vastattava, ja sitten julkaisemme artikkelin.

Toinen esimerkki, josta Nature-lehden toimittaja puhui vain kuukausi sitten, ovat Grazelin aurinkopaneelit. Tiedeyhteisön valtavan kiinnostuksen vuoksi tätä aihetta kohtaan (he haluavat silti artikkelin Naturessa!), Toimittajien oli luotava erityinen kyselylomake, jossa heidän oli ilmoitettava paljon parametreja, toimitettava laitteiden kalibroinnit, todistukset. jne. varmistaaksemme, että tehokkuuspaneelien mittausmenetelmä on joidenkin yleisten periaatteiden ja standardien mukainen.

JA, kolmas, kun taas kerran kuulet ihmerokotteesta, joka voittaa kaiken ja kaikki, uusi tarina Jobsista hameessa, uusista akuista tai GMO:ien vaaroista/hyödyistä tai älypuhelimien säteilystä, varsinkin jos sitä mainostivat journalismin keltaiset kirjoittajat, käsittele sitten ymmärtäväisesti äläkä tee hätiköityjä johtopäätöksiä. Odota muiden tutkijaryhmien tulosten vahvistusta, taulukon ja tietonäytteiden kerääntymistä.

PS:Artikkeli käännettiin ja kirjoitettiin hätäisesti, kaikista havaituista virheistä ja epätarkkuuksista, kirjoita LAN-verkkoon.