Nadchodzi era wielkich replikacji!

Dzisiejsza psychologia akademicka zmaga się z wieloma problemami. Problematyczne są na przykład mało liczne próby w badaniach, efekciarskie eksperymenty, w powtarzalność których trudno uwierzyć, czy też po prostu brak zaufania do wyników (Afera Stapela). Wszystko to skutkuje tendencją do relatywizowania i poddawania w wątpliwość niemalże wszystkiego, co zostaje opublikowane jako badania psychologów. Nie tylko naukowcy zadają sobie więc pytania, czy wszystkie efekty, o których wiemy, że istnieją – istnieją naprawdę? Znalezienie odpowiedzi na tak postawione pytanie badawcze jest możliwe dzięki przeprowadzeniu wielokrotnej replikacji.

W odpowiedzi na te wątpliwości grupa naukowców z 36 laboratoriów i ośrodków badawczych z całego świata (w tym SWPS Sopot w osobie Konrada Bociana i Natalii Frankowskiej) postanowiła zweryfikować i zespołowo zreplikować 13 klasycznych eksperymentów psychologicznych. Projekt otrzymał nazwę „ManyLabs”, a jego koordynacją zajęli się Richard Klein i Kate Ratliff z University of Florida, a także Michelangelo Vianello z Uniwersytetu w Padwie (główny statystyk) oraz Brian Nosek z Center for Open Science.

Łącznie w replikacji wzięło udział 6344 osób z 12 różnych krajów. W Polsce, w badaniu internetowym wzięło udział 169 osób (głównie czytelników badania.net, za co szczerze dziękujemy!), a w badaniu przeprowadzonym w laboratorium SWPS Sopot – 79 osób. Wyniki projektu „ManyLabs” zostały udokumentowane w sposób otwarty i będą opublikowane w Social Psychology. Warto zaznaczyć, że projekt został przyjęty do druku przed rozpoczęciem eksperymentów, natomiast wszystkie dane w postaci wyników, analiz, sposobu zbierania danych, a nawet filmów, które pokazują, jak przeprowadzano badania w poszczególnych laboratoriach dostępne są na stronie projektu. 

Osoby, które brały udział w badaniu pamiętają, że składało się ono z wielu różnych zadań. W rzeczywistości każde z nich było mini eksperymentem. Poniżej prezentujemy krótki opis każdego z nich.

1. Heurystyka zakotwiczenia (Jacowitz & Kahneman, 1995), która stanowi uproszczoną metodę wnioskowania polegającą na oparciu się (zakotwiczeniu) na jakiejś informacji, a następnie dostosowaniu się do niej w celu uzyskania odpowiedzi na pytanie lub wydania sądu.

W replikacji proszono badanych o udzielenie odpowiedzi na cztery pytania (w nawiasach podany jest drugi wariant kotwicy).

  • Odległość z San Francisco do Nowego Yorku jest mniejsza niż 10,000 kilometrów (2,400 kilometrów). Jak myślisz, ile kilometrów dokładnie liczy ten dystans?
  • Mount Everest jest niższa niż 13,900 metrów (600 metrów). Jak myślisz jak wysoka jest Mount Everest?
  • Populacja Chicago liczy ponad 200,000 (5,000,000). Jak sądzisz jak jest populacja Chicago?
  • Mniej niż 50 000 (100) dzieci rodzi się dziennie w Stanach Zjednoczonych. Jak sądzisz ile dzieci rodzi się w Stanach Zjednoczonych każdego dnia?

Zgodnie z przewidywaniami – odpowiedzi badanych były uzależnione od wartości zakotwiczających: małe wartości (kotwice) obniżały odpowiedzi, natomiast wysokie podwyższały. Efekt zreplikował się, a jego siła była większa niż w oryginalnym badaniu.

2. Efekt dozwolone/zakazane (Rugg, 1941), który sprowadza się do tego, że sposób zadania pytania może wpływać na odpowiedź.

W replikacji połowę uczestników poproszono o odpowiedź na pytanie:

„Czy uważasz, że w Polsce powinno się zakazać publicznych wystąpień przeciwko demokracji?”

lub

„Czy uważasz, że w Polsce powinno się dopuszczać do publicznych wystąpień przeciwko demokracji?”.

W oryginalnym eksperymencie na pytanie o zakazywanie 46% osób odpowiedziało tak, jednak na pytanie o dopuszczanie 62% odpowiedziało nie. Efekt zreplikował się z siłą większą niż raportowano w oryginalnym badaniu.

3. Pułapka utopionych kosztów (Oppenheimer, Meyvis, & Davidenko, 2009), której sens można sprowadzić do stwierdzenia: „Za wiele zainwestowałem, żeby się teraz wycofać”.

Efekt ten był sprawdzany w bardzo prosty sposób. Badanym zadawano pytanie:

„Wyobraź sobie, że Twoja ulubiona drużyna rozgrywa ważny mecz. Masz bilet na ten mecz i sporo za niego zapłaciłeś/aś, jednak tak się składa, że w dzień meczu jest przeraźliwie zimno. Co robisz?”

lub

“Wyobraź sobie, że Twoja ulubiona drużyna rozgrywa ważny mecz. Masz bilet na ten mecz, który otrzymałeś/aś za darmo od przyjaciela, jednak tak się składa, że w dzień meczu jest przeraźliwie zimno. Co robisz?”

Badani odpowiadali na 9 stopniowej skali, gdzie 1 oznaczało – zdecydowanie zostaję w domu, a 9 – zdecydowanie idę na mecz. Zgodnie z przewidywaniami, badani, którzy teoretycznie sami zapłacili za bilet (utopiony koszt) częściej deklarowali pójście na mecz pomimo złej pogody. Efekt zreplikował się.

4. Złudzenie gracza (Oppenheimer & Monin, 2009), które polega na błędnym przekonaniu, że jeśli coś się dzieje częściej niż zwykle w ciągu pewnego okresu, to wydarzy się rzadziej w przyszłości.

W replikacji badanym zadano pytanie:

„Wyobraź sobie, że jesteś w kasynie i właśnie minąłeś/aś mężczyznę rzucającego kości. Przechodząc zauważyłeś/aś, że mężczyzna rzucił trzy kości, gdzie jedna zatrzymała się na 3, a dwie na 6. W oparciu o Twoje wyobrażenie, jak myślisz ile razy mężczyzna rzucił kośćmi, za nim przeszedłeś/aś obok niego?”

lub

„Wyobraź sobie, że jesteś w kasynie i właśnie minąłeś/aś mężczyznę rzucającego kości. Przechodząc zauważyłeś/aś, że mężczyzna rzucił trzy kości, i wszystkie zatrzymały się na 6. W oparciu o Twoje wyobrażenie, jak myślisz ile razy mężczyzna rzucił kośćmi, za nim obok niego przeszedłeś/aś?”

Zgodnie z przewidywaniami badani, którzy czytali, że wszystkie trzy kości zatrzymały się na 6, podawali większa liczbę wcześniejszych rzutów. Efekt zreplikował się.

5. Efekt zysku i straty (Tversky & Kahneman, 1981), który jest przykładem nastawienia poznawczego, w którym ludzie podejmują decyzje w zależności od tego, czy jest wybór przedstawiony jako zysk lub strata.

W replikacji badanym dawano do przeczytania jeden dylemat:

„Wyobraź sobie, że Polska przygotowuje się do nagłego wystąpienia nietypowej choroby, która ma zabić 600 ludzi. Do walki z chorobą zaproponowano dwa alternatywne programy. Zakładając, że dokładne naukowe oszacowanie skutków programów są następujące:

  • Jeżeli Program A zostanie zaadaptowany, 200 ludzi zostanie uratowanych
  • Jeżeli Program B zostanie zaadaptowany, istnieje prawdopodobieństwo równe 1/3 że 600 osób zostanie uratowanych i prawdopodobieństwo równe 2/3 że nie uda się uratować nikogo, który program wybierasz?”

lub

„Wyobraź sobie, że Polska przygotowuje się do nagłego wystąpienia nietypowej choroby, która ma zabić 600 ludzi. Do walki z chorobą zaproponowano dwa alternatywne programy. Zakładając, że dokładne naukowe oszacowanie skutków programów są następujące:

  • Jeżeli Program A zostanie zaadaptowany, 400 ludzi umrze
  • Jeżeli Program B zostanie zaadaptowany, istnieje prawdopodobieństwo równe 1/3 że nikt nie umrze i prawdopodobieństwo równe 2/3 że 600 ludzi umrze, który program wybierasz”,

Zgodnie z przewidywaniami, jeśli w dylemacie program A był przedstawiony jako zysk (200 ludzi zostanie uratowanych), to badani wybierali go częściej, niż gdy był przedstawiony jako strata (400 ludzi umrze) mimo, że oba wyniki są takie same. Efekt zreplikował się.

6. Efekt niskiej i wysokiej skali (Schwarz, Hippler, Deutsch, & Strack, 1985), którego sens sprowadza się do tego, że odpowiedzi badanych mogą różnić się ze względu na to, jakie warianty przedstawia skala do której mają się ustosunkować.

W replikacji zapytano badanych, ile czasu dziennie spędzają przed telewizorem. Odpowiedzi udzielali na skali:

1. Do pół godziny

2. Od pół godziny do godziny

3. Od godziny do półtorej godziny

4. Od półtorej godziny do dwóch godzin

5. Od dwóch godzin do dwóch i pół godziny

6. Dłużej niż dwie i pół godziny

albo

1. Do dwóch i pół godziny

2. Od dwóch i pół godziny do trzech godzin

3. Od trzech godzin do trzech i pół godziny

4. Od trzech i pół godziny do czterech godzin

5. Od czterech godzin do czterech i pół godziny

6. Dłużej niż cztery i pół godziny.

Tak, jak przewidywano badani, których proszono o odpowiedź na skali o większych wartościach – częściej odpowiadali, że spędzają więcej czasu przed telewizorem. Efekt zreplikował się.

7. Reguła wzajemności (Hyman & Sheatsley, 1950) mówi, że należy odwzajemniać się osobie, która coś dla nas zrobiła.

W replikacji uczestnicy odpowiadali na dwa pytania:

„Czy uważasz, że Polska powinna zezwolić reporterom z Korei Północnej na odwiedzenie Polski i przesłanie wiadomości na temat tego co zobaczyli do swoich gazet?”

oraz

„Czy uważasz, że Korea Północna powinna zezwolić reporterom z Polski na odwiedzenie Korei Północnej i przesłanie wiadomości na temat tego co zobaczyli do swoich gazet?”.

Zgodnie z regułą wzajemności uczestnicy częściej uważali, że należy wpuścić koreańskich reporterów do kraju, gdy wcześniej zapytano ich czy Korea Północna powinna zrobić dokładnie to samo w przypadku polskich reporterów. Efekt zreplikował się.

8. Reguła lubienia (Lorge & Curtis, 1936), która polega na tym, że ludzie mają większą skłonności do mówienia “tak” tym, których znają i lubią.

W replikacji poproszono badanych o oszacowanie na 9 stopniowej skali, jak dalece zgadzają się z podanym cytatem.

Wszystkim prezentowano taki same słowa: „Przysięgam żyć w wolności, nawet jeśli poznam gorzki smak śmierci”, ale połowę informowano, że zostały wypowiedziane przez Jerzego Waszyngtona, a połowę, że przez Osamę Bin Ladena.

Zgodnie z reguła lubienia większą zgodę ze słowami deklarowali badani, którzy myśleli, że cytat pochodzi od Jerzego Waszyngtona. Efekt zreplikował się.

9. Efekt prymowania flagą (Carter, Ferguson, & Hassin, 2011; Study 2), który polega na tym, że subtelna ekspozycja flagi (jako ważnego symbolu kultury) może spowodować wzrost konserwatyzmu u badanych.

W replikacji badani byli proszeni o obejrzenie 4 zdjęć i zastanowienie się o jakiej porze dnia zostały zrobione. Następnie wypełniali kwestionariusz oceniający poglądy wobec różnych kwestii politycznych (np. aborcji, kontroli broni).

Efekt nie zreplikował się. Badani oglądający zdjęcia, na których pojawiała się flaga nie deklarowali bardziej konserwatywnych poglądów w kwestionariuszu.

10. Efekt prymowania pieniędzmi (Caruso, Vohs, Baxter, & Waytz, 2013), który w oryginale sprowadzał się do tego, że badani, którym podczas eksperymentu w tle pokazywano pieniądze (100 dolarów), wyrażali większe poparcie obecnego systemu społecznego w kwestionariuszu niż ci, którzy w tle widzieli zamazany obrazek.

W replikacji zastosowano identyczną manipulację, ale w eksperymentach przeprowadzonych poza Stanami Zjednoczonymi prezentowano walutę narodową.

W tym wypadku przewidywany efekt nie powtórzył się, a więc nie było różnic w deklarowanym poparciu systemu społecznego w zależności od obrazka prezentowanego w tle.

11. Hipoteza wyobrażonego kontakt (Husnu & Crisp, 2010; Study 1), która zakłada, że wyobrażenie sobie kontaktu z członkami obcych grup etnicznych jest wystarczające do zmniejszenia uprzedzeń wobec tych grup.

W replikacji połowę badanych poproszono o wyobrażenie sobie przez minutę spotkania z muzułmaninem, a połowę o wyobrażenie sobie spaceru na świeżym powietrzu. Zakładano, że chwilowe wyobrażenie kontaktu zwiększy chęć spotkania się z muzułmanami.

Efekt ten okazał się granicznie istotny, zatem trudno powiedzieć, w jakim stopniu jest prawdziwy.

12. Różnice płciowe w postawie dotyczącej matematyki (Nosek, Banaji, & Greenwald, 2002). Brian Nosek ze współpracownikami (2002) odkryli, że zaobserwowane różnice w osiągnięciach kobiet i mężczyzn w dziedzinach matematycznych są spowodowane negatywną utajoną postawą kobiet w stosunku do tych przedmiotów.

W replikacji powtórzono procedurę i mierzono preferencję matematyki i sztuki w Teście Utajonych Postaw (IAT) u kobiet i mężczyzn. Okazało się, że kobiety rzeczywiście bardziej niż mężczyźni preferują sztukę niż matematykę. Ich utajona postawa wobec matematyki jest bardziej negatywna niż postawa mężczyzn.

13. Niejawne postawy wobec matematyki w relacji z postawami deklarowanymi (Nosek et al., 2002).

W tym eksperymencie sprawdzano, czy istnieje związek między niejawnymi (utajonymi) postawami wobec matematyki i sztuki mierzonymi testem IAT, a postawami jawnymi (deklaracje mierzone za pomocą pytań).

Poprzedni efekt zreplikował się, wykazując, że miedzy postawami utajonymi a jawnymi istnieje silny związek (pozytywna korelacja).

Podsumowując, chociaż replikacja jest główną zasadą nauki, bezpośrednie powtórzenia są rzadkie w psychologii (i nie tylko w psychologii). Badania testujące istnienie i powtarzalność 13 klasycznych i współczesnych efektów w 36 niezależnych laboratoriach pokazały, że 10 efektów potwierdziło się całkowicie. Jeden efekt – “wyobrażony kontakt redukuje uprzedzenia” – pokazał bardzo słabe poparcie dla powtarzalności, a dwa efekty – “prymowanie flagą powoduje konserwatyzm” oraz “prymowanie pieniędzmi powoduje poparcie systemu” – nie zreplikowały się.

Ta ogromna replikacja miała także na celu porównanie, czy warunki badawcze (laboratorium vs badanie internetowe lub próby międzynarodowe vs próby amerykańskie) mają wpływ na pojawienie się danego efektu. Okazało się, że nie. Wyniki tego badania wskazują, że powtarzalność jest bardziej zależna od samego efektu niż rodzaju próby czy miejsca przeprowadzania eksperymentu.

W ciągu czterech dni projekt przyciągnął dużą uwagę mediów, dlatego polecamy wpisy, które ukazały się na stronie National Geographic, NatureScience oraz blogu Rolfa Zwanna.

Dziękujemy, że chcieliście stać się częścią naukowej historii :-)
Natalia & Konrad

zdjęcie: (C) www.flickr.com by dannyman

Więcej informacji:

Klein, R. A., Ratliff, K. A., Vianello, M., Adams, R. B., Jr., Bahník, Š., Bernstein, M. J., … Nosek, B. A. (in press). Investigating variation in replicability: A “many labs” replication project. Social Psychology.

Oppenheimer, D. M., Meyvis, T., & Davidenko, N. (2009). Instructional manipulation checks: Detecting satisficing to increase statistical power. Journal of Experimental Social Psychology, 45(4), 867-872.

Oppenheimer, D. M., & Monin, B. (2009). The retrospective gambler’s fallacy: Unlikely events, constructing the past, and multiple universes. Judgment and Decision Making, 4(5), 326-334.

Jacowitz, K. E., & Kahneman, D. (1995). Measures of anchoring in estimation tasks. Personality and Social Psychology Bulletin, 21(11), 1161-1166.

Tversky, A., & Kahneman, D. (1981). The framing of decisions and the psychology of choice. Science, 211(4481), 453-458.

Schwarz, N., Hippler, H. J., Deutsch, B., & Strack, F. (1985). Response scales: Effects of category range on reported behavior and comparative judgments. Public Opinion Quarterly, 49(3), 388-395.

Hyman, H. H., & Sheatsley, P. B. (1950). The current status of American public opinion. In The Teaching of Contemporary Affairs, pp. 11-34. New York: National Council of Social Studies.

Rugg, D. (1941). Experiments in wording questions: II. Public Opinion Quarterly.

Lorge, I., & Curtis, C. C. (1936). Prestige, suggestion, and attitudes. The Journal of Social Psychology, 7(4), 386-402.

Carter, T. J., Ferguson, M. J., & Hassin, R. R. (2011). A single exposure to the American flag shifts support toward Republicanism up to 8 months later. Psychological science, 22(8), 1011-1018.

Caruso, E. M., Vohs, K. D., Baxter, B., & Waytz, A. (2013). Mere exposure to money increases endorsement of free-market systems and social inequality. Journal of Experimental Psychology: General, 142, 301-306.

Husnu, S., & Crisp, R. J. (2010). Elaboration enhances the imagined contact effect. Journal of Experimental Social Psychology, 46(6), 943-950.

Nosek, B. A., Banaji, M. R., & Greenwald, A. G. (2002). Math = Male, Me = Female, therefore Math ≠ Me. Journal of Personality and Social Psychology, 83(1), 44-59.

Nosek, B. A., & Smyth, F. L. (2011). Implicit social cognitions predict sex differences in math engagement and achievement. American Educational Research Journal, 48(5), 1125-1156.

Print Friendly, PDF & Email
Total
0
Shares
Related Posts