Nustatyta, kad psichologiniai tyrimai buvo klaidingi daugiau nei 50% atvejų

2024 Autorius: Seth Attwood | [email protected]. Paskutinį kartą keistas: 2023-12-16 16:11

Yra „stiprios pozos“, kurios ugdo pasitikėjimą ir mažina streso hormonų kiekį. Kai žmonės rankose laiko puodelį šilto gėrimo, jie tampa draugiškesni aplinkiniams. Valios jėga yra išteklius, kurį išleidžiame atsispirdami pagundai. Gebėjimas atidėti apdovanojimą lemia būsimą vaiko sėkmę.

Šie teiginiai labai panašūs vienas į kitą: už jų slypi žinomi psichologiniai tyrimai, mokslo populiarinimo bestseleriai, populiarių žurnalų rubrikos ir TED pokalbiai.

Jie taip pat turi dar vieną bendrą bruožą: jie visi pasirodė klaidingi.

Atkuriamumo krizė sukėlė abejonių visose mokslo srityse. Daugelis rezultatų, kurie buvo plačiai cituojami žiniasklaidoje, dabar laikomi išpūstais arba klaidingais. Kai mokslininkai bandė pakartoti ir klasikinius, ir naujausius psichologinius eksperimentus, rezultatai buvo stebėtinai nuoseklūs – maždaug pusė atvejų buvo sėkmingi, o kita pusė – nesėkmingi.

Pagaliau krizė išryškėjo 2015 m., kai Briano Noseko vadovaujami mokslininkai patikrino 100 psichologinių tyrimų. Pradinių rezultatų jiems pavyko pasiekti tik 36 atvejais. „Lancet“vyriausiasis redaktorius Richardas Hortonas netrukus pareiškė:

„Kaltinimai mokslui yra gana tiesmukai: bent pusė mokslinės literatūros yra tiesiog klaidinga. Nedidelės imties tyrimų, menko efekto ir neteisingos analizės, taip pat abejotinos svarbos mados tendencijų manija kentėjęs mokslas pasuko nežinojimo link.

Atkuriamumas yra vienas iš pagrindinių mokslo žinių reikalavimų. Kuo geriau atkuriamas rezultatas, tuo jis patikimesnis – tik taip galima atskirti tikrus raštus nuo paprastų sutapimų

Tačiau paaiškėjo, kad šis reikalavimas ne visada tenkinamas.

Krizė prasidėjo nuo medicinos, bet labiausiai paveikė psichologiją. 2018 m. vasarą mokslininkai bandė pakartoti keletą psichologinių tyrimų, paskelbtų prestižiškiausiuose pasaulio mokslo žurnaluose „Science and Nature“. Iš 21 eksperimento tik 13 pasitvirtino – ir net šiais atvejais pirminiai rezultatai buvo perdėti maždaug 50 proc.

Dažnai atkuriamumo testo nepavyksta atlikti tų tyrimų, kurie buvo plačiai kartojami žiniasklaidoje ir sugebėjo paveikti visuomenės sąmonę. Pavyzdžiui, kūriniai, kuriuos paieškos sistemos gadina atmintį, o grožinės literatūros skaitymas lavina gebėjimą užjausti. Jei pakartotiniai eksperimentai nepavyksta, tai nereiškia, kad pirminės hipotezės yra bevertės. Tačiau norint juos įrodyti, dabar reikia geresnių tyrimų.

Kaip nuspėti ateitį su statistika

2011 metais garsus amerikiečių psichologas Darylas Boehmas paskelbė straipsnį, kuris įrodė aiškiaregystės galimybę. Ši išvada nebuvo jo žiaurios vaizduotės produktas, o pagrįsta dešimtmečius trukusiais tyrimais, kuriuose dalyvavo šimtai žmonių. Daugelis įtarė, kad Boehmas nusprendė suorganizuoti kažką panašaus į Sokalo sukčiavimą ir atskleisti psichologiją netikru straipsniu su sąmoningai absurdiškomis išvadomis. Bet pagal visus metodinius standartus straipsnis buvo labai įtikinamas.

Viename iš Behmo eksperimentų prieš dalyvius buvo pastatyti du ekranai – jie turėjo atspėti, už kurio vaizdo slepiasi. Paveikslėlis buvo sugeneruotas atsitiktinai iškart po to, kai buvo pasirinktas. Jei dalyviai atliko gerą darbą, tai rodo, kad jie gali kažkaip numatyti ateitį. Eksperimente buvo naudojami dviejų tipų vaizdai: neutralūs ir pornografiniai.

Boehmas pasiūlė, kad jei šeštasis pojūtis egzistuoja, jis tikriausiai turi senovės evoliucinę kilmę. Jei taip, tada labiau tikėtina, kad jis atitinka mūsų seniausius poreikius ir potraukius

Dalyviai atspėdavo pornografinius vaizdus 53 % laiko – šiek tiek dažniau nei turėtų, jei tai būtų atsitiktinumas. Atsižvelgdamas į daugybę eksperimentų, Boehmas galėtų teigti, kad yra numatymas.

Vėliau ekspertai išsiaiškino, kad analizuodamas rezultatus jis naudojo ne visai teisingus metodus. Paprastai tyrimo rezultatas laikomas patikimu, jei tikimybė, kad jis gautas atsitiktinai, neviršija 5%. Bet yra daug būdų, kaip šią reikšmę sumažinti iki reikiamo lygio: pakeisti pradinius analizės parametrus, įtraukti arba pašalinti iš imties reikiamą skaičių pavyzdžių, surinkus duomenis naudoti sėkmingesnes hipotezes.

Problema ta, kad ne tik Boehmas, bet ir daugelis kitų mokslininkų naudojo tuos pačius metodus. 2011 metais atlikto tyrimo duomenimis, tai pripažino beveik pusė psichologų

Kai pasirodė aiškiaregių straipsnis, socialiniai mokslininkai Josephas Simmonsas, Leafas Nelsonas ir Uri Simonsonas suprato, kad mokslas eina į savo pražūtį. Jie sukūrė kelis kompiuterinius modelius ir nustatė, kad naudodami gana standartinius statistinius metodus galite kelis kartus padidinti klaidingai teigiamų rezultatų lygį. Tai reiškia, kad formaliai moksliniai metodai gali lengvai padaryti visiškai absurdiškas išvadas.

Norėdami tai iliustruoti, mokslininkai atliko eksperimentą, kuris patvirtino, kad klausantis dainos „When I'm Sixty-four“klausytojas pajaunėja pusantrų metų.

„Visi žinojo, kad naudoti tokius būdus yra neteisinga, tačiau manė, kad tai yra pažeidimas savo reikšme – tarsi perėjimas ne vietoje. Tai pasirodė labiau kaip banko apiplėšimas “, - padarė išvadą Simmonsas.

Kaip atskirti blogus tyrimus nuo gerų

Netrukus paaiškėjo, kad atkuriamumo problemos neapsiriboja psichologija. Vėžio tyrimuose moksliniai įrodymai remiami 10-25% atvejų. Ekonomikos srityje 7 iš 18 laboratorinių eksperimentų nepavyko pakartoti. Dirbtinio intelekto tyrimai taip pat rodo krizės požymius.

Tačiau prarasti tikėjimą mokslu, regis, vis tiek neverta. Mokslininkai jau sugalvojo keletą būdų, kurie labai pagerino naujų tyrimų patikimumą ir kokybę

Prieš keletą metų beveik niekas neskelbė pakartotinių eksperimentų rezultatų, net jei jie buvo atlikti. Tai nebuvo priimta, neatnešė dotacijų ir neprisidėjo prie sėkmingos mokslinės karjeros. „Nature“apklausos duomenimis, daugiau nei 70% psichologų bandė atkurti kitų žmonių tyrimus ir jiems nepavyko, maždaug pusė nesugebėjo pakartoti savo ir beveik niekas nesiekė šių rezultatų viešinti.

Kai iškilo atkuriamumo krizė, daug kas pasikeitė. Pakartotiniai tyrimai pamažu tapo įprasti; eksperimentiniai duomenys vis dažniau buvo skelbiami viešai; žurnalai pradėjo skelbti neigiamus rezultatus ir fiksuoti bendrą tyrimų planą dar prieš jiems pradedant.

Tyrimai tapo platesni – 30–40 žmonių imtis, kuri buvo gana standartinė psichologijoje, dabar tinka labai nedaugeliui. Didelės tarptautinės organizacijos – tokios kaip Psichologinių mokslų greitintuvas – tikrina tas pačias hipotezes keliose pasaulio laboratorijose.

Prieš tikrindami straipsnius iš Gamtos ir mokslo, apie kuriuos rašėme pradžioje, mokslininkų buvo paprašyta lažintis dėl lažybų. Jie turėjo numatyti, kuris tyrimas išlaikys testą, o kuris nepavyks. Apskritai įkainiai buvo labai tikslūs. „Tai reiškia, pirma, kad mokslo bendruomenė gali nuspėti, kokius darbus pavyks pakartoti, ir, antra, tai, kad tyrimo atkartojimas nebuvo tik atsitiktinumas“, – teigia eksperimento organizatoriai.

Mokslininkai paprastai moka atskirti patikimus tyrimus nuo nepatikimų – tai gera žinia. Dabar Atviro mokslo centro ekspertai kartu su agentūra DARPA bando sukurti algoritmą, kuris atliks tą pačią užduotį be žmogaus įsikišimo.

Kiekvienais metais išleidžiama per daug straipsnių, kad būtų galima rankiniu būdu iš naujo patikrinti net nedidelę jų dalį. Jei dirbtinis intelektas ims veikti, viskas bus daug lengviau.

Jau pirmųjų bandymų metu AI sėkmingai susidorojo su prognozėmis 80% atvejų.

Dėl ko tyrimai dažniausiai būna nepatikimi? Maži pavyzdžiai, skaičių neatitikimai, per gražus hipotezių patvirtinimas. O taip pat – pojūčių troškimas ir pernelyg paprasti atsakymai į sunkius klausimus.

Per gerai, kad būtų tiesa

Lengviausias būdas sukurti sensacingus tyrimus yra apgaulė. Žymus socialinis psichologas Diederikas Stapelis išgalvotus duomenis panaudojo keliose dešimtyse mokslinių straipsnių. Stapelio tyrimai labai sparčiai plito laikraščiuose ir žurnaluose, jis gavo keletą prestižinių mokslo apdovanojimų, buvo publikuotas žurnale Mokslas ir buvo laikomas vienu didžiausių savo srities specialistų.

Kartą paaiškėjo, kad ilgą laiką Stapelas iš viso neatliko tyrimų, o tiesiog sugalvojo duomenis ir atidavė juos analizuoti studentams.

Tai labai reta moksle. Daug dažniau skambūs, bet neteisingi teiginiai kyla dėl kitų priežasčių. Žmonės desperatiškai ieško paprastų, suprantamų ir efektyvių atsakymų į įdomius klausimus. Gali būti labai lengva susigundyti manyti, kad turite šiuos atsakymus, net jei iš tikrųjų jų neturite. Paprastumo ir tikrumo siekis yra viena iš pagrindinių priežasčių, kodėl daugelyje tyrimų nepavyksta patikrinti atkuriamumo. Štai keletas žymių pavyzdžių.

Marshmallow eksperimentas

Eksperimento metu vaikų buvo paprašyta pasirinkti vieną nedidelį atlygį, pavyzdžiui, zefyrus, kurį būtų galima gauti iš karto, ir dvigubą atlygį, jei jie galėtų šiek tiek palaukti. Vėliau paaiškėjo, kad vaikai, gavę antrąjį apdovanojimą, suaugę tapo sėkmingesni. Tyrimas tapo labai populiarus ir turėjo įtakos kai kurioms mokyklų programoms.

2018 m. eksperimentas buvo pakartotas su platesne imtimi. Paaiškėjo, kad turtas šeimoje yra daug svarbesnis veiksnys, nuo kurio priklauso ir savikontrolės lygis.

„Jėgos pozos“ir „Silpnumo pozos“

Eksperimento dalyviai dvi minutes laikėsi vienos iš dviejų pozų: atsilošė kėdėje ir metė kojas į stalą („jėgos poza“) arba sukryžiavo rankas ant krūtinės („silpnumo poza“). Dėl to pirmosios grupės dalyviai labiau pasitikėjo savimi ir dažniau sutiko rizikuoti lošdami. Tie, kurie sėdėjo tvirtoje padėtyje, padidino testosterono lygį, o tie, kurie sėdėjo silpnoje padėtyje, padidino kortizolį. Atliekant pakartotinius eksperimentus buvo atkurtas tik vienas efektas: „jėgos pozos“padėjo dalyviams jaustis labiau pasitikinčiais savimi, tačiau nepakeitė nei elgesio, nei hormoninių parametrų.

Asociacijos su senatve verčia judėti lėčiau

Eksperimento dalyvių buvo paprašyta išspręsti keletą galvosūkių. Jei į juos buvo įterpiami žodžiai, kurie asocijuojasi su senatve – „užmirštas“, „pagyvenęs“, „vienišas“– tai dalyviai iš kambario išeidavo lėčiau.

Pastarųjų bandymų metu eksperimentas buvo sėkmingai atkartotas tik vienu atveju: jei patys eksperimentuotojai žinojo, kad testuose dalyviai užsimena apie senatvę. Pats efektas išliko, bet priežastys jau buvo kitos.

Šilti daiktai daro žmones draugiškesnius

Eksperimento dalyviams buvo leista trumpai palaikyti puodelį karštos ar šaltos kavos, o tada paprašyti įvertinti asmens asmenybę naudojant trumpą aprašymą. Dalyviai, kurie laikė karštą kavos puodelį, žmogų įvertino kaip simpatiškesnį. Kito eksperimento metu dalyviams buvo duotas daiktas šiltoje arba šaltoje pakuotėje, o tada paprašytas jį pasilikti arba duoti draugui. Jei prekė buvo supakuota į šiltą pakuotę, dalyviai dažniau rinkosi antrąjį variantą. Pakartotiniai eksperimentai su platesne imtimi tokių rezultatų nedavė. Atrodo, kad šilti drabužiai nepadarys tavęs altruistu.

Valia išsenka, kai atsispiriame pagundoms

Prieš eksperimento dalyvius buvo padėtos dvi lėkštės – su sausainiais ir ridikėliais. Pirmoje grupėje dalyviams buvo leista valgyti sausainius, o antroje – tik ridikėlius. Tada kiekvienas dalyvis turėjo išspręsti neįmanomą galvosūkį. Dalyviai, kurie pirmoje eksperimento dalyje valgė tik ridikėlius, pasidavė daug anksčiau nei kiti. Atliekant pakartotinius eksperimentus, rezultatai nebuvo patvirtinti.

Kai kuriais atvejais gebėjimas susivaldyti neišsekdavo, o laikui bėgant net sustiprėjo. Daugelis psichologų dabar mano, kad „valios jėgos“sąvoka yra pernelyg supaprastinta.

Pasaulio psichologijoje jau daug nuveikta, kad tyrimai būtų patikimesni ir atkuriami. Rusijoje ši problema dar turi būti suvokta.

„Rusijos psichologijoje krizės problemos daugiausia susijusios su moksliniu jaunimu, kuris daugiausia orientuotas į Vakarų mokslą“, – „Knife“sakė RANEPA docentas Ivanas Ivanchey. – Leidinių rusų kalba kokybės kontrolė apskritai nėra labai didelė. Žurnalai retai atmeta straipsnius, todėl publikuojama daug nekokybiškų tyrimų. Dažnai naudojami nedideli mėginiai, o tai taip pat sumažina sėkmingo reprodukcijos tikimybę. Kyla įtarimas, kad rimtai ėmusis rusakalbių kūrinių atkuriamumo klausimą, galima atrasti daug problemų. Bet niekas tiesiogiai su tuo nedalyvauja“.

2019 metų sausį tapo žinoma, kad Rusijos valdžia ketina gerokai išplėsti mokslininkams keliamus reikalavimus publikacijų skaičiui: minimalus per metus publikuojamų straipsnių skaičius turėtų augti 30–50 proc.

Įtakingo akademinio „Liepos 1-osios klubo“mokslininkai kritikavo iniciatyvą: „Mokslo užduotis yra ne išleisti maksimalų publikacijų skaičių, o tyrinėti visatą ir pasinaudoti įgytomis žiniomis žmonijai“. Greičiausiai nauji reikalavimai tik padidins problemos mastą.

Pasakojimas apie atkuriamumo krizę nėra istorija apie artėjančią apokalipsę ir barbarų invaziją. Jei krizė nebūtų įvykusi, viskas būtų buvę daug blogiau: mes vis tiek remdamiesi klaidingais tyrimais būtume visiškai įsitikinę, kad žinome tiesą. Galbūt drąsių antraščių, tokių kaip „Britų mokslininkai įrodė“, laikas baigiasi. Tačiau gandai, kad mokslas mirė, turėtų būti laikomi kiek perdėti.