Maksymalne prawdopodobieństwo oszacowania pseudokodu

Natknąłem się na to i Wiem, że jest stare, ale mam nadzieję, że ktoś inny na tym skorzysta. Chociaż poprzednie komentarze dawały całkiem dobre opisy tego, czym jest optymalizacja ML, nikt nie podał pseudo-kodu, aby go zaimplementować. Python ma minimizer w Scipy, który to zrobi. Oto pseudo kod regresji liniowej.

# import the packages
import numpy as np
from scipy.optimize import minimize
import scipy.stats as stats
import time

# Set up your x values
x = np.linspace(0, 100, num=100)

# Set up your observed y values with a known slope (2.4), intercept (5), and sd (4)
yObs = 5 + 2.4*x + np.random.normal(0, 4, 100)

# Define the likelihood function where params is a list of initial parameter estimates
def regressLL(params):
    # Resave the initial parameter guesses
    b0 = params[0]
    b1 = params[1]
    sd = params[2]

    # Calculate the predicted values from the initial parameter guesses
    yPred = b0 + b1*x

    # Calculate the negative log-likelihood as the negative sum of the log of a normal
    # PDF where the observed values are normally distributed around the mean (yPred)
    # with a standard deviation of sd
    logLik = -np.sum( stats.norm.logpdf(yObs, loc=yPred, scale=sd) )

    # Tell the function to return the NLL (this is what will be minimized)
    return(logLik)

# Make a list of initial parameter guesses (b0, b1, sd)    
initParams = [1, 1, 1]

# Run the minimizer
results = minimize(regressLL, initParams, method='nelder-mead')

# Print the results. They should be really close to your actual values
print results.x

Wiem, że to pytanie było stare, mam nadzieję, że rozgryzłeś to od tego czasu, ale mam nadzieję, że ktoś inny skorzysta.

Potrzebujesz numerycznej procedury optymalizacji. Nie wiem, czy cokolwiek jest zaimplementowane w Pythonie, ale jeśli tak, to będzie to w numpy lub scipy and friends.

Szukaj rzeczy takich jak 'algorytm Nelder-Mead', lub 'BFGS'. Jeśli Wszystko inne zawiedzie, użyj Rpy i wywołaj funkcję r'optim ()'.

Funkcje te działają poprzez przeszukiwanie przestrzeni funkcji i próby ustalenia, gdzie jest maksimum. Wyobraź sobie, że próbujesz znaleźć szczyt wzgórza we mgle. Możesz po prostu spróbować zawsze zmierzać w górę najbardziej stromych sposób. Albo możesz wysłać przyjaciół z radiostacjami i GPS-ami i zrobić trochę pomiarów. Każda z metod może doprowadzić cię do fałszywego szczytu, więc często musisz to zrobić kilka razy, zaczynając od różnych punktów. W przeciwnym razie można pomyśleć, że Południowy szczyt jest najwyższy, gdy jest ogromny północny szczyt przysłaniający go.

Jak powiedział joran, maksymalne szacunki prawdopodobieństwa dla rozkładu normalnego można obliczyć analitycznie. Odpowiedzi można znaleźć, znajdując częściowe pochodne funkcji log-prawdopodobieństwa w odniesieniu do parametrów, ustawiając każdy na zero, a następnie rozwiązując oba równania jednocześnie.

W przypadku rozkładu normalnego można wyprowadzać log-Prawdopodobieństwo w odniesieniu do średniej (mu), a następnie wyprowadzać w odniesieniu do wariancji (sigma^2), aby uzyskać dwa równania równe zero. Po rozwiązaniu równań dla mu i sigma^2, otrzymasz przykładową średnią i wariancję próbki jako odpowiedzi.

Zobacz stronę wikipedia Po Więcej Szczegółów.