Oblicz wartość p ze statystyki z lub testu t, aby określić istotność statystyczną.
Wprowadź dane, aby zobaczyć wynik.
Przewodnik: wartość p i istotność statystyczna
Wartość p to prawdopodobieństwo uzyskania wyników co najmniej tak skrajnych jak zaobserwowane, przy założeniu prawdziwości hipotezy zerowej. Innymi słowy, mierzy, jak bardzo dane przeczą hipotezie, że nie ma żadnego efektu ani różnicy.
Interpretacja wartości p: Niska wartość p (zwykle poniżej 0,05) oznacza, że wynik jest mało prawdopodobny, gdyby hipoteza zerowa była prawdziwa. Prowadzi to do odrzucenia hipotezy zerowej i przyjęcia alternatywnej. Wysoka wartość p (powyżej 0,05) oznacza, że nie mamy wystarczających dowodów, by odrzucić hipotezę zerową.
Test Z a test t: Test Z stosuje się, gdy znamy odchylenie standardowe populacji lub dysponujemy dużą próbą (n większe niż 30). Test t stosuje się, gdy odchylenie standardowe populacji jest nieznane i pracujemy na mniejszej próbie. Test t jest bardziej zachowawczy przy małych próbach.
Istotność statystyczna a praktyczna: Istotność statystyczna nie zawsze oznacza istotność praktyczną. Przy dużych próbach nawet niewielkie efekty mogą być istotne statystycznie. Na przykład różnica 0,01 w średniej cenie może być istotna statystycznie przy milionie obserwacji, ale nie będzie miała znaczenia praktycznego.
Ograniczenia: Wartość p nie mierzy wielkości efektu ani prawdopodobieństwa, że hipoteza zerowa jest prawdziwa. Nie można też porównywać wartości p między różnymi eksperymentami bez kontekstu. Zawsze podawaj wielkość efektu i przedziały ufności obok wartości p.
p < 0,05 nie oznacza 5% szansy na pomyłkę
Wartość p odpowiada na wąskie pytanie: gdyby hipoteza zerowa była prawdziwa, jak często pojawiłyby się dane tak skrajne? Nie mówi nic o tym, jak często twoje istotne wyniki są w rzeczywistości fałszywe. Ta druga liczba zależy od tego, jak prawdopodobne były twoje hipotezy na starcie, i zwykle wypada znacznie gorzej niż 5%.
Jak to działa
- Przelicza statystykę z albo t na wartość p dla testów jedno- i dwustronnych.
- Porównuje wynik z wybranym progiem istotności.
- Podaje statystykę, a nie werdykt — błędy mieszkają w interpretacji.
p = P(dane co najmniej tak skrajne | hipoteza zerowa prawdziwa) to NIE jest P(hipoteza zerowa prawdziwa | dane) odsetek fałszywych odkryć = fałszywie dodatnie ÷ wszystkie istotne wyniki fałszywie dodatnie = (1 − prawdopodobieństwo wstępne) × alfa prawdziwie dodatnie = prawdopodobieństwo wstępne × moc
Przykład z liczbami
Tysiąc hipotez testowanych przy α = 0,05 i mocy 80%, gdzie jedna na dziesięć jest naprawdę prawdziwa.
- 100 prawdziwych hipotez × 80% mocy = 80 prawdziwie dodatnich
- 900 fałszywych hipotez × 5% alfa = 45 fałszywie dodatnich
- wyniki istotne: 80 + 45 = 125
- odsetek fałszywych odkryć: 45 ÷ 125 = 36%
Ponad jedna trzecia istotnych wyników jest błędna, choć każdy z nich przekroczył próg p < 0,05. Gdyby prawdziwa była tylko jedna hipoteza na sto, fałszywych byłoby 86% wyników istotnych.
Jak czytać wynik
- Prawdopodobieństwo wstępne waży ogromnie i rzadko jest podawane. Testowanie sensownych hipotez opartych na teorii daje odsetek fałszywych odkryć bliski 6%; przetrząsanie nieprawdopodobnych przy prawdopodobieństwie wstępnym 1% podnosi go do 86% przy tym samym progu.
- Niska moc to pogarsza. Przy prawdopodobieństwie wstępnym 10% spadek mocy z 80% do 20% podnosi odsetek fałszywych odkryć z 36% do 69% — badanie o zbyt małej mocy nie tylko częściej przeoczy realne efekty, ale czyni też własne wyniki dodatnie niewiarygodnymi.
- Testowanie wielu wyników mnoży problem. Dwadzieścia niezależnych testów przy α = 0,05 daje około 64% szansy na co najmniej jeden wynik fałszywie dodatni — dlatego istnieją metody korekty i dlatego nieujawnione testowanie wielokrotne jest tak szkodliwe.
- Istotność statystyczna to nie wielkość efektu. Przy dostatecznie dużej próbie trywialna różnica osiąga p < 0,001, pozostając praktycznie bez znaczenia — czytaj zawsze przedział ufności obok wartości p.
Częste pytania
- Co więc naprawdę znaczy p = 0,03?
- Że gdyby hipoteza zerowa była prawdziwa, dane tak skrajne lub bardziej pojawiałyby się w 3% przypadków. To stwierdzenie o danych przy zadanej hipotezie, a nie o hipotezie przy zadanych danych — a to nie są rzeczy wymienne.
- Czy używać ostrzejszego progu?
- Pomaga, ale nie rozwiązuje sprawy. Przejście na α = 0,005 tnie wyniki fałszywie dodatnie pięciokrotnie, kosztem częstszego przeoczania realnych efektów. Skuteczniejsze dźwignie to testowanie sensownych hipotez, badania o odpowiedniej mocy i wcześniejsza rejestracja tego, co zamierza się testować.