Dopasowanie danych do dystrybucji?

To skomplikowane pytanie i nie ma doskonałych odpowiedzi. Postaram się dać ci przegląd głównych pojęć i wskazać ci kierunek przydatnej lektury na ten temat.

Załóżmy, że masz jednowymiarowy zbiór danych i masz skończony zbiór funkcji rozkładu prawdopodobieństwa, z których dane mogły zostać wygenerowane. Możesz rozważyć każdą dystrybucję niezależnie i spróbować znaleźć parametry, które są rozsądne, biorąc pod uwagę Twoje dane. Są dwie metody wyznaczania parametrów dla funkcji rozkładu prawdopodobieństwa podanych danych:

1. Najmniejsze Kwadraty
2. Maksymalne Prawdopodobieństwo

Z mojego doświadczenia wynika, że w ostatnich latach preferowano maksymalne prawdopodobieństwo, chociaż może to nie mieć miejsca w każdej dziedzinie.

Oto konkretny przykład jak oszacować parametry w R. rozważmy zbiór losowych punktów generowanych z rozkładu Gaussa ze średnią 0 i odchyleniem standardowym z 1:

x = rnorm( n = 100, mean = 0, sd = 1 )

Załóżmy, że wiesz, że dane zostały wygenerowane za pomocą procesu Gaussa, ale zapomniałeś (lub nigdy nie wiedziałeś!) parametry Gaussa. Chciałbyś wykorzystać te dane, aby uzyskać rozsądne szacunki średniej i odchylenia standardowego. W R istnieje standardowa biblioteka, która czyni to bardzo prostym:

library(MASS)
params = fitdistr( x, "normal" )
print( params )

To dało mi następujące wyjście:

      mean           sd     
  -0.17922360    1.01636446 
 ( 0.10163645) ( 0.07186782)

Są dość bliskie właściwej odpowiedzi, a liczby w nawiasach są pewne odstępy wokół parametrów. Pamiętaj, że za każdym razem, gdy wygenerujesz nowy zestaw punktów, otrzymasz nową odpowiedź na szacunki.

Matematycznie, to jest przy użyciu maksymalnego prawdopodobieństwa oszacować zarówno średnie i odchylenie standardowe Gaussa. Prawdopodobieństwo oznacza (w tym przypadku) " prawdopodobieństwo danych podanych wartości parametrów."Maksymalne prawdopodobieństwo" oznacza wartości parametrów, które maksymalizują prawdopodobieństwo generowania moich danych wejściowych."Maksymalne oszacowanie prawdopodobieństwa to algorytm do znajdowania wartości parametrów, które maksymalizują prawdopodobieństwo wygenerowania danych wejściowych, a dla niektórych rozkładów może obejmować algorytmy optymalizacji numerycznej . W R większość pracy jest wykonywana przez fitdistr, który w niektórych przypadkach wywoła optim.

Możesz wyodrębnić prawdopodobieństwo logowania ze swoich parametrów w następujący sposób:

print( params$loglik )
[1] -139.5772

Częściej pracuje się z prawdopodobieństwem logowania niż z prawdopodobieństwem unikania zaokrąglania błędy. Oszacowanie wspólnego prawdopodobieństwa danych obejmuje mnożenie prawdopodobieństwa, które są mniejsze niż 1. Nawet w przypadku małego zbioru danych wspólne prawdopodobieństwo bardzo szybko zbliża się do 0, a dodanie prawdopodobieństwa logowania danych jest równoznaczne z pomnożeniem prawdopodobieństwa. Prawdopodobieństwo jest zmaksymalizowane, gdy prawdopodobieństwo logowania zbliża się do 0, a tym samym więcej liczb ujemnych jest gorzej dopasowanych do Twoich danych.

Dzięki takim narzędziom obliczeniowym łatwo jest oszacować parametry dla każda dystrybucja. Rozważ ten przykład:

x = x[ x >= 0 ]

distributions = c("normal","exponential")

for ( dist in distributions ) {
    print( paste( "fitting parameters for ", dist ) )
    params = fitdistr( x, dist )
    print( params )
    print( summary( params ) )
    print( params$loglik )
}

Rozkład wykładniczy nie generuje liczb ujemnych, więc usunąłem je w pierwszej linii. Wyjście (które jest stochastyczne) wyglądało tak:

[1] "fitting parameters for  normal"
      mean          sd    
  0.72021836   0.54079027 
 (0.07647929) (0.05407903)
         Length Class  Mode   
estimate 2      -none- numeric
sd       2      -none- numeric
n        1      -none- numeric
loglik   1      -none- numeric
[1] -40.21074
[1] "fitting parameters for  exponential"
     rate  
  1.388468 
 (0.196359)
         Length Class  Mode   
estimate 1      -none- numeric
sd       1      -none- numeric
n        1      -none- numeric
loglik   1      -none- numeric
[1] -33.58996

Wszystkie te szacunki problemy pogarszają się, gdy próbujesz dopasować swoje dane do większej liczby dystrybucji. Dystrybucje o większej liczbie parametrów są bardziej elastyczne, więc lepiej pasują do danych niż dystrybucje o mniejszej liczbie parametrów. Również niektóre dystrybucje są szczególnymi przypadkami innych dystrybucji (na przykład wykładniczy jest szczególnym przypadkiem Gamma). Z tego powodu bardzo często używa się wcześniejszej wiedzy, aby ograniczyć wybrane modele do podzbioru wszystkich możliwych modeli.