Funkcja kosztów regresji logistycznej

Funkcja logistyczna, utrata zawiasów, wygładzona utrata zawiasów itp. są używane, ponieważ są wyższymi granicami na stracie klasyfikacji binarnej zerowej jedynki.

Funkcje te zazwyczaj penalizują również przykłady, które są poprawnie sklasyfikowane, ale nadal znajdują się w pobliżu granicy decyzyjnej, tworząc w ten sposób "margines."

Więc, jeśli robisz klasyfikację binarną, to z pewnością powinieneś wybrać standardową funkcję straty.

Jeśli próbujesz rozwiązać inny problem, to inny funkcja utraty prawdopodobnie będzie działać lepiej.

Nie wybierasz funkcji straty, wybierasz model

Funkcja strat jest zwykle bezpośrednio określana przez model, gdy dopasujesz swoje parametry za pomocą szacowania maksymalnego prawdopodobieństwa (mle), które jest najpopularniejszym podejściem w uczeniu maszynowym.

Wspomniałeś o błędzie Mean Squared jako funkcji straty dla regresji liniowej. Następnie "zmieniamy funkcję kosztową na funkcję logarytmiczną", odnosząc się do straty entropii krzyżowej. Nie zmieniliśmy funkcji kosztów. W rzeczywistości średni błąd kwadratowy jest stratą entropii krzyżowej dla regresji liniowej, gdy Zakładamy, że yjest rozkładana normalnie przez Gaussa, którego średnia jest określona przez Wx + b.

Wyjaśnienie

Z MLE, można wybrać parametry w sposób, że prawdopodobieństwo danych treningowych jest zmaksymalizowane. Prawdopodobieństwo całego zestawu danych treningowych jest iloczynem prawdopodobieństwa każdej próbki treningowej. Ponieważ może to zaniżyć do zera, Zwykle maksymalizujemy prawdopodobieństwo logowania dane treningowe / zminimalizuj negatywne prawdopodobieństwo logowania. W ten sposób funkcja kosztów staje się sumą ujemnego prawdopodobieństwa logowania każdej próbki szkolenia, która jest podana przez:

-log(p(y | x; w))

Gdzie w to parametry naszego modelu (w tym bias). Regresja logistyczna to logarytm, o którym Pan mówił. Ale co z twierdzeniem, że to również odpowiada MSE dla regresji liniowej?

Przykład

Aby pokazać MSE odpowiada Entropia krzyżowa, Zakładamy, że y jest normalnie rozłożona wokół średniej, którą przewidujemy za pomocą w^T x + b. Zakładamy również, że ma stałą wariancję, więc nie przewidujemy wariancji z naszą regresją liniową, tylko średnią Gaussa.

p(y | x; w) = N(y; w^T x + b, 1)

Widać, mean = w^T x + b i variance = 1

Teraz funkcja straty odpowiada

-log N(y; w^T x + b, 1)

Jeśli przyjrzymy się, jak definiuje się Gaussa N, to zobacz:

Wybraliśmy stałą wariancję 1. To sprawia, że pierwszy termin jest stały i zmniejsza drugi termin do:

0.5 (y - mean)^2

Pamiętaj, że zdefiniowaliśmy średnią jako w^T x + b. Ponieważ pierwszy termin jest stały, minimalizacja ujemnego logarytmu Gaussa odpowiada minimalizacji

(y - w^T x + b)^2

Co odpowiada minimalizacja błędu średniego kwadratu.

Tak , do określenia parametrów można użyć innych funkcji kosztów.

Kwadratowa funkcja błędu (powszechnie używana funkcja regresji liniowej) nie jest zbyt odpowiednia dla regresji logistycznej.

Podobnie jak w przypadku regresji logistycznej hipoteza jest nieliniowa (funkcja sigmoidalna), co sprawia, że funkcja błędu kwadratowego nie jest wypukła.

Funkcja logarytmiczna jest funkcją wypukłą, dla której nie istnieje lokalna optima, więc gradient działa cóż.