Paaiškėjo, kad apie 50% mokslinių eksperimentų nebuvo atkuriami

2024 Autorius: Seth Attwood | [email protected]. Paskutinį kartą keistas: 2023-12-16 16:11

Atsitiktinai naujienų ir informacijos sraute aptikau straipsnį „Nature Scientific Reports“. Jame pateikiami 1500 mokslininkų apklausos duomenys apie mokslinių tyrimų rezultatų atkuriamumą. Jei anksčiau ši problema buvo keliama biologiniams ir medicininiams tyrimams, kur, viena vertus, ji yra paaiškinama (klaidingos koreliacijos, bendras tiriamų sistemų sudėtingumas, kartais kaltinama net mokslinė programinė įranga), kita vertus, ji turi fenomenologinį. charakterio (pavyzdžiui, pelės linkusios skirtingai elgtis su skirtingų lyčių mokslininkais (1 ir 2)).

Tačiau ne viskas sklandžiai ir su daugiaugamtos mokslai, tokie kaip fizika ir inžinerija, chemija, ekologija. Atrodytų, kad šios disciplinos yra pagrįstos „absoliučiai“atkuriamais eksperimentais, atliktais labiausiai kontroliuojamomis sąlygomis, deja, nuostabus – visomis šio žodžio prasme – apklausos rezultatas: iki 70 proc.susidūrė tyrinėtojai Neatkuriamaeksperimentai ir rezultatai, gauti ne tik kitų mokslininkų grupių, BET ir paskelbtų mokslinių darbų autorių / bendraautorių!

Ar kiekvienas smiltainis giria savo pelkę?

Nors 52% respondentų nurodo atkuriamumo moksle krizę, mažiau nei 31% mano, kad paskelbti duomenys yra iš esmės neteisingi, o dauguma nurodė, kad vis dar pasitiki paskelbtu darbu.

Žinoma, nereikėtų nulaužti peties ir linčiuoti viso mokslo kaip tokio vien remiantis šia apklausa: pusė apklaustųjų vis dar buvo mokslininkai, vienaip ar kitaip susiję su biologinėmis disciplinomis. Kaip pažymi autoriai, fizikoje ir chemijoje gautų rezultatų atkuriamumo ir pasitikėjimo lygis yra daug didesnis (žr. grafiką žemiau), bet vis tiek ne 100%. Tačiau medicinoje viskas yra labai blogai, palyginti su kitu.

Į galvą ateina pokštas:

Marcusas Munafo, Bristolio universiteto (Anglija) biologinis psichologas, ilgą laiką domisi mokslinių duomenų atkuriamumu. Prisimindamas savo studentavimo laikus, jis sako:

Vieną kartą bandžiau atgaminti eksperimentą iš literatūros, kuris man atrodė paprastas, bet man tiesiog nepavyko. Mane ištiko pasitikėjimo krizė, bet tada supratau, kad mano patirtis nėra tokia reta.

Platumos ir ilgumos gylio problema

Įsivaizduokite, kad esate mokslininkas. Jūs aptikote įdomų straipsnį, tačiau rezultatai / eksperimentai negali būti atkurti laboratorijoje. Logiška apie tai rašyti pirminio straipsnio autoriams, klausti patarimo ir užduoti aiškinamuosius klausimus. Remiantis apklausa, mažiau nei 20 proc.kada nors tai padarė savo mokslinėje karjeroje!

Tyrimo autoriai pastebi, kad, ko gero, tokie kontaktai ir pokalbiai patiems mokslininkams yra per sunkūs, nes atskleidžia jų nekompetenciją ir nenuoseklumą tam tikrais klausimais arba atskleidžia per daug dabartinio projekto detalių.

Be to, absoliuti mažuma mokslininkų bandė paskelbti nepakartojamų rezultatų paneigimą, susidūrę su redaktorių ir apžvalgininkų prieštaravimu. reikalavosumenkinti palyginimą su originaliais tyrimais. Ar nenuostabu, kad galimybė pranešti apie mokslinių rezultatų neatkuriamumą yra apie 50%.

Gal tuomet verta bent jau atlikti atkuriamumo testą laboratorijos viduje? Liūdniausia, kad net trečdalis apklaustųjų NIEKADAir negalvojo apie duomenų atkuriamumo tikrinimo metodų kūrimą. tik 40 proc.nurodė, kad tokius metodus jie naudoja reguliariai.

Kitas pavyzdys – savo pavardės nenorėjusi viešinti biochemikė iš Jungtinės Karalystės teigia, kad bandymai pakartoti, atgaminti darbus jos laboratorijos projektui tiesiog padvigubina laiko ir medžiagų sąnaudas, darbui nieko naujo neduodant ir nepridedant. Papildomi patikrinimai atliekami tik naujoviškų projektų ir neįprastų rezultatų atveju.

Ir, žinoma, amžini rusų klausimai, kurie pradėjo kankinti užsienio kolegas: kas kaltas ir ką daryti?

Kas kaltas?

Darbo autoriai išskyrė tris pagrindines rezultatų atkuriamumo problemas:

• Viršininkų spaudimas, kad darbas būtų paskelbtas laiku
• Atrankinis ataskaitų teikimas (matyt, tai reiškia kai kurių duomenų, kurie „sugadina“visą vaizdą), slopinimą)
• Nepakankama duomenų analizė (įskaitant statistinę)

Ką daryti?

Iš 1500 apklaustųjų daugiau nei 1000 specialistų pasisakė už statistikos tobulinimą renkant ir apdorojant duomenis, viršininkų priežiūros kokybės gerinimą ir griežtesnį eksperimentų planavimą.

Išvada ir šiek tiek asmeninės patirties

Pirmiausia, net man, kaip mokslininkei, rezultatai yra stulbinantys, nors aš pripratau prie tam tikro rezultatų neatkuriamumo. Tai ypač akivaizdu kinų ir indų atliekamuose darbuose be trečiųjų šalių „audito“Amerikos / Europos profesorių pavidalu. Smagu, kad problema buvo atpažinta ir pagalvota apie jos sprendimą (-us). Apie Rusijos mokslą, susijusį su pastaruoju skandalu, taktiškai nutylėsiu, nors daugelis sąžiningai dirba savo darbą.

Antra, straipsnyje ignoruojamas (tiksliau, nesvarstomas) mokslinės metrikos ir recenzuojamų mokslo žurnalų vaidmuo mokslinių tyrimų rezultatų neatkuriamumo problemos atsiradimui ir plėtrai. Siekiant publikacijų greičio ir dažnumo (skaityti, didinti citavimo indeksus), kokybė smarkiai krenta ir nelieka laiko papildomai tikrinti rezultatus.

Kaip sakoma, visi personažai yra išgalvoti, tačiau pagrįsti tikrais įvykiais. Kažkaip vienam studentui pasitaikė galimybė recenzuoti straipsnį, nes ne kiekvienas profesorius turi laiko ir jėgų apgalvotai perskaityti straipsnius, todėl surenkama 2-3-4 studentų ir gydytojų nuomonė, iš kurios susidaro apžvalga. Buvo parašyta apžvalga, joje nurodytas rezultatų neatkuriamumas pagal straipsnyje aprašytą metodą. Tai buvo aiškiai parodyta profesoriui. Bet kad nesugadintų santykių su „kolegomis“– juk jiems viskas pavyksta – apžvalga buvo „pataisyta“. Ir yra paskelbti 2 ar 3 tokie straipsniai.

Pasirodo užburtas ratas. Mokslininkas siunčia straipsnį žurnalo redaktoriui, kur nurodo „ norima"Ir, daugiausia" nepageidaujamas »Recenzentai, tai yra, tiesą sakant, paliekami tik tie, kurie nusiteikę teigiamai į autorių komandą. Jie peržiūri darbą, tačiau negali „šūdytis komentaruose“ir bando pasirinkti mažesnę iš dviejų blogybių - čia yra klausimų, į kuriuos reikia atsakyti, sąrašas, o tada paskelbsime straipsnį.

Kitas pavyzdys, apie kurį „Nature“redaktorius kalbėjo vos prieš mėnesį, – „Grazel“saulės baterijos. Dėl didžiulio mokslo bendruomenės susidomėjimo šia tema (juk jie vis tiek nori straipsnio Gamtoje!), Redakcijai teko sukurti specialią anketą, kurioje reikia nurodyti daugybę parametrų, pateikti įrangos kalibravimą, sertifikatus. ir tt, siekiant patvirtinti, kad efektyvumo plokščių matavimo metodas atitinka kai kuriuos bendruosius principus ir standartus.

IR, trečias, kai eilinį kartą išgirsti apie stebuklingą vakciną, kuri užkariauja viską ir visus, nauja istorija apie Jobsą su sijonu, naujas baterijas ar GMO pavojus / naudą ar išmaniųjų telefonų spinduliuotę, ypač jei tai reklamavo geltonieji rašytojai iš žurnalistikos, tada elkitės supratingai ir nedarykite skubotų išvadų. Palaukite, kol rezultatus patvirtins kitos mokslininkų grupės, sukaups masyvas ir duomenų pavyzdžiai.

PS:Straipsnis išverstas ir parašytas paskubomis, apie visas pastebėtas klaidas ir netikslumus prašome rašyti į LAN.