słuchanie muzyki o podeszłym wieku (nie) sprawia, że ludzie stają się młodsi

Artykuł opublikowany w “Psychological Science”, pokazał, że pomimo starań, by zmniejszyć prawdopodobieństwo przyjęcia wyników fałszywie pozytywnych, zwykła swoboda w dobieraniu danych, analizie i raportowaniu wyników może sprawić, że znacznie zwiększy się prawdopodobieństwo popełnienia błędu tego rodzaju. Żeby tego dowieść, jego autorzy dowiedli absurdalnej hipotezy, posługując się jedynie zwyczajową dowolnością w konstrukcji i przebiegu badania. 

Pewne błędy drugiego rodzaju popełnić można tylko raz.

Błąd fałszywie pozytywny w badaniach naukowych oznacza przyjęcie za prawdziwą hipotezy, która w istocie jest fałszywa. Każde badanie obarczone jest takim ryzykiem, do pewnego stopnia możliwym do obliczenia. W naukach społecznych przyjmuje się, że prawdopodobieństwo popełnienia takiego błędu musi być mniejsze niż pięć procent (p<0,05). Jest on nazywany błędem pierwszego rodzaju.

Nie od dziś wiadomo jednak, że wyniki badań nie tak znowu trudno zmanipulować - świadomie, lub nieświadomie, ulegając np. błędowi konfirmacji, naszej tendencji do przyjmowania faktów potwierdzających lubianą przez nas tezę i odrzucania tych, które jej przeczą.

Każdy z wyborów dokonanych przez autorów publikacji wydawał się niewinny i uzasadniony. Dotyczyły one pytań rozważanych przez każdego badacza - liczby zebranych danych, wykluczenia niektórych z nich (ze względu np. na to, że odstają od reszty, co jest częstą praktyką), porównywania określonych warunków eksperymentalnych (które grupy porównujemy ze sobą), czy wreszcie kontrolowania określonych zmiennych (sprawdzamy, czy jest tak, że grupy różnią się, jeśli wziąć pod uwagę np. płeć). Autorzy publikacji przypominają, że powszechną praktyką jest podejmowanie takich decyzji na bieżąco, choć w założeniu unika się takiego postępowania. Przytaczają też badania wskazujące, że w wypadku wątpliwości, badacze mają tendencję do wybierania alternatyw, które przynoszą rezultaty istotne statystycznie.

Prosząc badanych o wysłuchanie muzyki kojarzącej się z wiekiem podeszłym (When I’m 64, Beatlesów) i podanie m.in. wieku ojca, wykazali, że badani słuchający tego utworu byli średnio o 1,5 roku młodsi (p=0,04). Wystarczyło kontrolowanie zmiennej wieku ojca - innymi słowy, wzięcie pod uwagę przy porównywaniu. Naukowcy przeprowadzili też serię komputerowych symulacji, w których testowali wpływ poszczególnych decyzji na wyniki badania. Wykazali np., że zastosowanie dwóch zmiennych zależnych (takich, które po prostu mierzymy, nie manipulując nimi), dodanie 10 obserwacji, kontrolowanie płci i usunięcie jednego warunku eksperymentalnego z badania, w 60% wypadków pozwoliło na uzyskanie wyników z pożądaną wartością p<0.05.

Grafika: Albin Schmalfuß, domena publiczna

Źródło:

Simmons JP, Nelson LD, & Simonsohn U (2011). False-positive psychology: undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological science, 22 (11), 1359-66 PMID: 22006061