Ponowna analiza danych naukowych może dać inne wnioski. Międzynarodowy projekt z udziałem naukowców Uniwersytetu SWPS
Co dzieje się, kiedy niezależni naukowcy ponownie analizują dane pochodzące z przeprowadzonych wcześniej badań? Ich wnioski mogą być zupełnie inne – wynika z międzynarodowego badania z udziałem naukowców z Uniwersytetu SWPS, opisanego w prestiżowym czasopiśmie „Nature”. Świadczy to o tym, że wybór metody może mieć znaczący wpływ na wyniki badań naukowych.
Badanie „Investigating the analytical robustness of the social and behavioral sciences” wskazuje, że wnioski naukowców mogą się diametralnie różnić w zależności od tego, kto przeprowadza analizy.
Blisko 900 naukowców w programie SCORE
Publikacja jest jednym z wyników szeroko zakrojonej międzynarodowej współpracy pod kierownictwem dr. Balázsa Aczéla i dr. Barnabása Szásziego (Uniwersytet Loránda Eötvösa, Budapeszt, Węgry oraz Uniwersytet Korwina w Budapeszcie, Węgry), przeprowadzonej w ramach programu „Systematizing Confidence in Open Research and Evidence” (SCORE), finansowanego przez amerykańską agencję rządową Defense Advanced Research Projects Agency, DARPA. W projekt zaangażowani byli naukowcy z Instytutu Psychologii Uniwersytetu SWPS: prof. dr hab. Agata Gąsiorowska, psycholożka, zastępczyni dyrektora Instytutu Psychologii USWPS; dr Kamil Izydorczak, psycholog społeczny oraz dr hab. Jakub Traczyk, prof. USWPS, psycholog.
Program SCORE, który zaangażował blisko 900 naukowców, dotyczył oceny wiarygodności badań naukowych. W trakcie jego realizacji zgromadzono ogromną bazę informacji na temat wyników badań z dziedziny nauk społecznych i behawioralnych. Dostarcza on nowych wniosków na temat odtwarzalności, solidności i powtarzalności badań. Efektem programu są trzy artykuły, które ukazały się w czasopiśmie „Nature” i pięć dodatkowych publikacji.
Czy ponowna analiza da te same odpowiedzi?
W ramach badania „Investigating the analytical robustness of the social and behavioral sciences” zespół 457 niezależnych specjalistów z całego świata przeprowadził ponowne analizy danych pochodzących ze 100 wcześniej opublikowanych badań z dziedziny nauk społecznych i behawioralnych. Wszyscy analitycy otrzymali ten sam zbiór danych i to samo kluczowe pytanie badawcze, ale mieli swobodę w wyborze sposobu przeprowadzenia analizy.
W ciągu ostatniej dekady w naukach społecznych i behawioralnych zaszły gruntowne zmiany, których celem było zwiększenie przejrzystości, rygorystyczności i wiarygodności badań. Ograniczeniu występowania przypadkowych odkryć i wyników obciążonych błędami mają służyć m.in. badania replikacyjne czy kontrole odtwarzalności analitycznej. Wciąż jednak mało wiadomo na temat tego, w jakim stopniu wyniki badań zależą od konkretnego sposobu analizy danych.
Standardowo dane są zazwyczaj analizowane przez jednego badacza lub zespół badawczy, natomiast publikacja jest rezultatem jednej konkretnej ścieżki analitycznej. I chociaż recenzenci oceniają poprawność metodologiczną, rzadko kiedy podają w wątpliwość zastosowanie określonego sposobu analizy danych.
Przeprowadzając badania, należy podjąć szereg decyzji na temat m.in. sposobu czyszczenia danych, definiowania zmiennych, wyboru modeli statystycznych czy interpretacji wyników. Wszystko to składa się na tzw. zmienność analityczną, która wpływa na ostateczne wnioski.
Takie same wnioski tylko w jednej trzeciej przypadków
Niezależne analizy tych samych efektów, przeprowadzone na tych samych danych w ramach 100 badań, wykazały znaczne rozbieżności w wynikach. Chociaż większość ponownych analiz zasadniczo potwierdzała główne tezy badań pierwotnych, siła efektu, szacunki statystyczne i poziomy niepewności często znacznie się różniły. Tylko w około jednej trzeciej przypadków wszyscy analitycy doszli do takich samych wniosków jak autorzy pierwotnych badań.
Co ważne, rozbieżności nie wynikały z braku wiedzy. Odmienne od pierwotnych wnioski wyciągali zarówno doświadczeni badacze, jak i naukowcy o mniejszym doświadczeniu. Dodatkowo, badania obserwacyjne okazały się mniej wiarygodne niż badania eksperymentalne, co wskazuje, że posługiwanie się danymi o bardziej złożonej strukturze może zwiększać elastyczność analityczną, a więc wpływać na poziom niepewności.
Jak argumentują autorzy, wyniki nie podważają wiarygodności wcześniejszych badań. Świadczy to raczej o tym, że wykorzystanie konkretnej analizy danych często nie odzwierciedla rzeczywistego stopnia niepewności empirycznej.
Podkreślają, że należałoby szerzej stosować podejście oparte na współpracy wielu analityków, zwłaszcza w przypadku kwestii o dużym znaczeniu naukowym lub społecznym.
Wyniki tego projektu wskazują, że rzetelna weryfikacja twierdzeń naukowych poprzez niezależne, wielokrotne analizy stanowi fundament wiarygodnej nauki. Tylko dzięki takiemu podejściu możemy budować trwałe zaufanie społeczne do odkryć w sprawach, które mają kluczowe znaczenie dla nas wszystkich.
dr hab. Jakub Traczyk, prof. USWPS, psycholog z Instytutu Psychologii Uniwersytetu SWPS, współautor badań
Projekt SCORE to kolejne wezwanie do pokory i przestroga przed zaufaniem do wyników pojedynczego badania, nawet opublikowanego w prestiżowym czasopiśmie. Rzetelna nauka opiera się na wyciąganiu ostrożnych wniosków i to dopiero na podstawie analizy skumulowanych dowodów pochodzących z wielu niezależnych badań. Jednocześnie projekt ten wskazuje drogę – jeśli chcemy tworzyć nauki społeczne zdolne do produkowania wiarygodnej wiedzy, potrzebujemy otwartego dzielenia się bazami danych i materiałami badawczymi, a także więcej wysiłku na rzecz kooperacji niezależnych zespołów badawczych weryfikujących i integrujących obecny stan wiedzy.
dr Kamil Izydorczak, psycholog społeczny z Instytutu Psychologii Uniwersytetu SWPS, współautor badań
Program SCORE: szereg nowych wniosków
Dr Kamil Izydorczak współpracował również przy dwóch innych badaniach w ramach projektu SCORE. W artykule “Investigating the reproducibility of the social and behavioral sciences,” opisano analizę powtarzalności wyników szerokiego zbioru badań. Okazało się, że większość wyników można odtworzyć, pod warunkiem, że autorzy udostępnią dane – a wielu z nich tego nie robi.
W ramach kolejnego badania, opisanego w trzecim artykule “Investigating the replicability of the social and behavioral sciences,”, sprawdzano, czy opublikowane wyniki można odtworzyć, poddając je ponownej analizie na podstawie nowych danych. Udało się zreplikować około połowy z nich.
Te artykuły mogą
cię zainteresować
