LArbitralne poziomy istotności są ustalane przed obliczeniem statystyki kontrastu, a niearbitralne poziomy istotności zależą od wartości przyjętej przez statystykę kontrastu, z których obie zależą od rozkładu, po którym następują dane.
Innymi słowy, arbitralne poziomy istotności będą zawsze takie same dla różnych wartości statystyki testowej, a niearbitralne poziomy istotności będą różne dla różnych wartości statystyki testowej.
Nie arbitralne
Gdy wskazuje się na koncepcję, cecha arbitralności oznacza, że wartość tego pojęcia jest wybierana przez badacza. apriorycznie (przed) wykonaniem eksperymentu bez polegania na jakichkolwiek powiązanych informacjach.
Wartość P i słonie
Załóżmy na przykład, że chcemy przetestować liczbę słoni na łące.
Zanim zobaczymy łąkę i słonie, które faktycznie istnieją, przypuszczamy apriorycznie liczba słoni. Mówimy, że słoni może być 10. Idziemy więc na łąkę i liczymy ile słoni, które widzimy: 1, 2, 3, 4, 5, 6 i 7.
Nasza hipoteza zerowa była taka, że liczba słoni na łące jest równa 10, a nasza alternatywna hipoteza była taka, że było ich mniej niż 10. Tak więc, biorąc pod uwagę liczbę słoni, odrzucilibyśmy hipotezę zerową. Ale… A jeśli na łące są jeszcze 3 słonie, ale są schowane za drzewami? Odrzucilibyśmy naszą hipotezę zerową, gdy byłaby prawdziwa, gdybyśmy zamiast liczyć słonie, obliczyli maksymalną liczbę słoni, jaką może pomieścić łąka.
Analiza
Wybór 10 słoni na początku był całkowicie arbitralny, ponieważ nie widzieliśmy wielkości łąki i dlatego nie wiemy, czy 10 słoni to dużo, czy mało.
Z drugiej strony, jeśli z uwagi na wielkość łąki obliczymy maksymalną liczbę słoni, które może pomieścić, będziemy wiedzieć, jaka jest maksymalna wartość, aby nie odrzucić hipotezy zerowej. Tak więc znalezienie rzeczywistej liczby będzie znacznie łatwiejsze.
Porównanie
To samo dotyczy poziomów istotności 1%, 5% i 10% w porównaniu z wartością p. W wielu kontrastach wybieramy poziom istotności bez uwzględniania innych informacji niż rozkład. Zwykle 5% jest używane jako poziom istotności (alfa), pozostawiając 95% próbki w przedziale ufności.
Problem arbitralnego przypisywania poziomu istotności to ten sam problem, który mamy w przykładzie słonia. Jeśli uważamy, że prawidłowe jest zastosowanie 5% (poziom istotności), możemy odrzucić hipotezę zerową, gdy minimum do odrzucenia wynosi 2% (wartość p). Moglibyśmy ponieść błędne wyniki po prostu ustawiając 5% zamiast minimalnej wartości do odrzucenia (2%).
Innymi słowy, dochodzimy do wniosku, że na łące jest mniej niż 10 słoni, ale w rzeczywistości są jeszcze 3 słonie, ale są ukryte. Tak więc znacznie szybciej jest obliczyć, jaki jest maksymalny lub minimalny poziom istotności, dla którego nie odrzucilibyśmy lub odrzucilibyśmy hipotezę zerową.
Zasada odrzucenia
Jeśli wartość - p < poziom istotności => odrzucenie H0.
Jeśli wartość - p > poziom istotności => brak odrzucenia H0.