wtorek, 20 marca 2012

słuchanie muzyki o podeszłym wieku (nie) sprawia, że ludzie stają się młodsi

ResearchBlogging.orgArtykuł opublikowany w “Psychological Science”, pokazał, że pomimo starań, by zmniejszyć prawdopodobieństwo przyjęcia wyników fałszywie pozytywnych, zwykła swoboda w dobieraniu danych, analizie i raportowaniu wyników może sprawić, że znacznie zwiększy się prawdopodobieństwo popełnienia błędu tego rodzaju. Żeby tego dowieść, jego autorzy dowiedli absurdalnej hipotezy, posługując się jedynie zwyczajową dowolnością w konstrukcji i przebiegu badania. 

Pewne błędy drugiego rodzaju popełnić można tylko raz.
Błąd fałszywie pozytywny w badaniach naukowych oznacza przyjęcie za prawdziwą hipotezy, która w istocie jest fałszywa. Każde badanie obarczone jest takim ryzykiem, do pewnego stopnia możliwym do obliczenia. W naukach społecznych przyjmuje się, że prawdopodobieństwo popełnienia takiego błędu musi być mniejsze niż pięć procent (p<0,05). Jest on nazywany błędem pierwszego rodzaju.

Nie od dziś wiadomo jednak, że wyniki badań nie tak znowu trudno zmanipulować - świadomie, lub nieświadomie, ulegając np. błędowi konfirmacji, naszej tendencji do przyjmowania faktów potwierdzających lubianą przez nas tezę i odrzucania tych, które jej przeczą.

Każdy z wyborów dokonanych przez autorów publikacji wydawał się niewinny i uzasadniony. Dotyczyły one pytań rozważanych przez każdego badacza - liczby zebranych danych, wykluczenia niektórych z nich (ze względu np. na to, że odstają od reszty, co jest częstą praktyką), porównywania określonych warunków eksperymentalnych (które grupy porównujemy ze sobą), czy wreszcie kontrolowania określonych zmiennych (sprawdzamy, czy jest tak, że grupy różnią się, jeśli wziąć pod uwagę np. płeć). Autorzy publikacji przypominają, że powszechną praktyką jest podejmowanie takich decyzji na bieżąco, choć w założeniu unika się takiego postępowania. Przytaczają też badania wskazujące, że w wypadku wątpliwości, badacze mają tendencję do wybierania alternatyw, które przynoszą rezultaty istotne statystycznie.

Prosząc badanych o wysłuchanie muzyki kojarzącej się z wiekiem podeszłym (When I’m 64, Beatlesów) i podanie m.in. wieku ojca, wykazali, że badani słuchający tego utworu byli średnio o 1,5 roku młodsi (p=0,04). Wystarczyło kontrolowanie zmiennej wieku ojca - innymi słowy, wzięcie pod uwagę przy porównywaniu. Naukowcy przeprowadzili też serię komputerowych symulacji, w których testowali wpływ poszczególnych decyzji na wyniki badania. Wykazali np., że zastosowanie dwóch zmiennych zależnych (takich, które po prostu mierzymy, nie manipulując nimi), dodanie 10 obserwacji, kontrolowanie płci i usunięcie jednego warunku eksperymentalnego z badania, w 60% wypadków pozwoliło na uzyskanie wyników z pożądaną wartością p<0.05.

Grafika: Albin Schmalfuß, domena publiczna

Źródło:
Simmons JP, Nelson LD, & Simonsohn U (2011). False-positive psychology: undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological science, 22 (11), 1359-66 PMID: 22006061

5 komentarzy:

  1. Ich artykuł jest świetny i czytanie tego bądź czegoś podobnego powinno być obowiązkowym elementem studiów psychologicznych.

    Tekst w trzeciej tabelce (strona 1364) mnie rozbroił. Zestawienie "Jak staro się czujesz?" z reakcją na stwierdzenie "Komputery są skomplikowanymi maszynami" bardzo mnie urzekło.

    Trudno się do czegoś przyczepić. Autorzy sami wspominają o tym, że replikacje badań nie są dopuszczane na łamy czasopism. A to może mieć poważne konsekwencje (file drawer problem, publication bias itd.). Z drugiej strony publikowane są takie naukowe gnioty, iż nawet świeżo upieczeni studenci mogą się łapać za głowy.

    Jedyne co mógłbym na siłę zarzucić to pomijanie przez autorów błędu beta. Trzeba zachować równowagę pomiędzy naukową konserwatywnością a liberalnością. Inaczej malutkie badania byłyby skazane na porażkę. Poza tym "zawsze można zrobić metaanalizę" i po prostu przypisać takim liberalnym badaniom mniejszą wagę.

    Ach, no i oczywiście dzięki za wpis! Dzięki niemu mam kolejny ciekawy artykuł na dysku.

    OdpowiedzUsuń
    Odpowiedzi
    1. Trudno dodać coś do Twojego komentarza. Do usług!
      PS. Natknąłeś się też pewnie na ten problem: What if academics were as dumb as quacks with statistics?

      Usuń
    2. Ciekawe. Ogólnie neuronaukowcy muszą trochę manipulować przy obrazkach, bo różnice są zazwyczaj tak małe, że przy normalnych kryteriach nie byłoby mowy o znaczącym związku. Ale to często nie ich wina, tylko raczej instrumentów i szumów, a więc ograniczeń technologicznych. Problem jednak pozostaje, a nawet rośnie bo media ogłaszają kolejne "wielkie odkrycie" i przeinaczają lub wyolbrzymiają wnioski.

      Usuń
    3. Ktoś mi kiedyś tłumaczył zarys statystycznych czarów, które stosują i zapamiętałem tyle, że w pewnym sensie traktują zbiór wokseli jak populację. Spodobało mi się to, ale nie wiem, na ile to trafne.

      Spodoba Ci się też to, myślę, że szykuje się burza, która morze przysporzyć naszej dziedzinie medialnego zamieszania, przyniesie dużo oczyszczenia a zarazem fermentu: Wielka Replikacja.

      Usuń
    4. O właśnie, o tym zapomniałem wspomnieć. W Science był pod koniec marca na ten temat artykuł: http://www.sciencemag.org/content/335/6076/1558.full.pdf ("Psychology’s Bold Initiative")

      Usuń

A co Ty o tym sądzisz?
Autor docenia komentarze podpisane. Jeśli nie posiadasz konta Google, najwygodniej będzie Ci użyć opcji Nazwa/adres URL, przy czym tego drugiego nie musisz wpisywać.