Oszacowanie maksymalnego prawdopodobieństwa

Oszacowanie maksymalnego prawdopodobieństwa (VLE) to ogólny model szacowania parametrów rozkładu prawdopodobieństwa, który zależy od obserwacji w próbie.

Innymi słowy, EMV maksymalizuje prawdopodobieństwo parametrów funkcji gęstości, które zależą od rozkładu prawdopodobieństwa i obserwacji w próbie.

Kiedy mówimy o estymacji maksymalnego prawdopodobieństwa, musimy mówić o funkcjonować Maksymalne prawdopodobieństwo. Matematycznie, biorąc pod uwagę próbkę x = (x1,…, Xnie) i parametry, θ = (θ1,…,nie) następnie,

Nie panikować! Ten symbol oznacza to samo, co sumowanie kwot. W tym przypadku jest to mnożenie wszystkich funkcji gęstości, które zależą od obserwacji próbki (xja) i parametry θ.

Im większa wartość L (θ | x), czyli wartość funkcji największej wiarygodności, tym bardziej prawdopodobne będą parametry oparte na próbie.

Logarytmiczna funkcja EMV

Aby znaleźć oszacowanie największej wiarygodności, musimy zróżnicować (wyprowadzić) iloczyny funkcji gęstości, a nie jest to najwygodniejszy sposób.

Kiedy napotykamy skomplikowane funkcje, możemy dokonać monotonnej transformacji. Innymi słowy, byłoby to tak, jakby chciało się narysować Europę w prawdziwej skali. Powinniśmy go zmniejszyć, żeby zmieścił się na kartce papieru.

W tym przypadku przeprowadzamy transformację monotoniczną za pomocą logarytmów naturalnych, ponieważ są one funkcjami monotonicznymi i rosnącymi. Matematycznie,

Własności logarytmów pozwalają wyrazić powyższe mnożenie jako sumę logarytmów naturalnych zastosowanych do funkcji gęstości.

Tak więc transformacja monotoniczna przez logarytmy jest po prostu „zmianą skali” na mniejsze liczby.

Szacowana wartość parametrów maksymalizacji prawdopodobieństwa parametrów funkcji największej wiarygodności z logarytmami jest równoważna oszacowanej wartości parametrów maksymalizacji prawdopodobieństwa parametrów pierwotnej funkcji największej wiarygodności.

Tak więc zawsze będziemy mieli do czynienia z monotonną modyfikacją funkcji największej wiarygodności, biorąc pod uwagę jej większą łatwość obliczeń.

Ciekawość

Choć EMV może wydawać się skomplikowane i dziwne, nieustannie go stosujemy, nie zdając sobie z tego sprawy.

Gdy?

We wszystkich oszacowaniach parametrów regresji liniowej przy klasycznych założeniach. Bardziej znany jako zwykłe najmniejsze kwadraty (OLS).

Innymi słowy, kiedy stosujemy OLS, stosujemy EMV niejawnie, ponieważ oba są równoważne pod względem spójności.

Aplikacja

Podobnie jak inne metody, EMV opiera się na iteracji. Oznacza to powtarzanie określonej operacji tyle razy, ile jest to wymagane, aby znaleźć maksymalną lub minimalną wartość funkcji. Proces ten może podlegać ograniczeniom co do ostatecznych wartości parametrów. Na przykład, że wynik jest większy lub równy zero lub że suma dwóch parametrów musi być mniejsza niż jeden.

Symetryczny model GARCH i jego różne rozszerzenia stosują EMV do znalezienia szacowanej wartości parametrów, która maksymalizuje prawdopodobieństwo parametrów funkcji gęstości.