Jaka jest różnica między algorytmem generatywnym a dyskryminacyjnym?

A algorytm generatywny modeluje sposób generowania danych w celu sklasyfikowania sygnału. Zadaje pytanie: w oparciu o moje założenia generacyjne, która kategoria najprawdopodobniej wygeneruje ten sygnał?

A algorytm dyskryminacyjny nie dba o to, jak dane zostały wygenerowane, po prostu kategoryzuje dany sygnał.

Wyobraź sobie, że Twoim zadaniem jest klasyfikacja mowy do języka.

Możesz to zrobić poprzez:

1. nauka każdego języka, a następnie klasyfikowanie go za pomocą wiedzy, którą właśnie zdobyłeś

LUB

1. określanie różnic w modelach językowych bez uczenia się języków, a następnie klasyfikowanie mowy.

Pierwszy to generatywne podejście, a drugi to dyskryminacyjne podejdźcie.

Sprawdź ten odnośnik, aby uzyskać więcej szczegółów: http://www.cedar.buffalo.edu/ ~ srihari / CSE574 / dyskryminacyjne-generatywne. pdf .

W praktyce modele są stosowane w następujący sposób.

W modelach dyskryminacyjnych, aby przewidzieć Etykietę y z przykładu treningowego x, należy ocenić:

, która jedynie wybiera najbardziej prawdopodobną klasę y biorąc pod uwagę x. To tak, jakbyśmy próbowali modelować granicę decyzyjną między klasami . Takie zachowanie jest bardzo wyraźne w sieciach neuronowych, gdzie obliczone wagi można postrzegać jako izolację krzywej o złożonym kształcie elementy klasy w przestrzeni.

Teraz, używając Zasady Bayesa, zastąp w równaniu przez . Ponieważ interesuje Cię tylko arg max , możesz wymazać mianownik, który będzie taki sam dla każdego y. Więc zostajesz z

Które jest równaniem używanym w modelach generatywnych.

Podczas gdy w pierwszym przypadku miałeś warunkowy rozkład prawdopodobieństwa p(y|x), który wzorował się na granica między klasami, w drugim masz wspólny rozkład prawdopodobieństwa p(x, y), ponieważ p(x, y) = p(x | y) p(y), który jawnie modeluje rzeczywisty rozkład każdej klasy.

Za pomocą wspólnej funkcji rozkładu prawdopodobieństwa, podanej y, można obliczyć ("wygenerować") jej odpowiedni x. Z tego powodu nazywane są modelami "generatywnymi".

Oto najważniejsza część notatek wykładowych CS299 (autorstwa Andrew Ng) związanych z tym tematem, co naprawdę pomaga mi zrozumieć różnicę między dyskryminacyjnymi i generatywnymi algorytmami uczenia się.

Załóżmy, że mamy dwie klasy zwierząt, słonia(y = 1) i psa (y = 0). I x jest cechą zwierząt.

Biorąc pod uwagę zestaw szkoleń, algorytm regresji logistycznej lub algorytm perceptron (w zasadzie) próbuje znaleźć linię prostą-czyli granica decyzji-która oddziela słonie i psy. Następnie do klasyfikacji nowe zwierzę jako słoń lub pies, sprawdza po której stronie granica decyzji spada, i sprawia, że jego przewidywania odpowiednio. Nazywamy je dyskryminacyjnym algorytmem uczenia się.

Oto inne podejście. Po pierwsze, patrząc na słonie, możemy zbudować model jak wyglądają słonie. Wtedy, patrząc na psy, możemy zbudować osobny model jakie psy na to wygląda. Wreszcie, aby sklasyfikować nowe zwierzę, możemy dopasować nowe zwierzę do modelu słonia i dopasować je do model psa, aby sprawdzić, czy nowe zwierzę wygląda bardziej jak słonie albo bardziej jak psy, które widzieliśmy na planie treningowym. Nazywamy je generatywnym algorytmem uczenia się.

Ogólnie rzecz biorąc, w społeczności uczenia maszynowego istnieje praktyka, aby nie uczyć się czegoś, czego nie chcesz. Na przykład rozważmy problem klasyfikacji, w którym celem jest przypisanie etykiet y do danego wejścia x. Jeśli użyjemy modelu generatywnego

p(x,y)=p(y|x).p(x)

Musimy modelować p (x), co jest nieistotne dla danego zadania. Praktyczne ograniczenia, takie jak rzadkość danych, zmuszą nas do modelowania p(x) z pewnymi słabymi założeniami niezależności. Dlatego intuicyjnie używamy modeli rozróżniających do klasyfikacji.

Dodatkowy punkt informacyjny, który dobrze pasuje do odpowiedzi StompChicken powyżej.

Podstawowa różnica między modelami dyskryminacyjnymi a modelami generatywnymi wynosi:

Modele dyskryminacyjne poznaj (twardą lub miękką) granicę między klasami

Modele generatywne model rozkład poszczególnych klas

Edit:

Generatywny model jest tym , który może generować dane . Modeluje zarówno funkcje, jak i klasę (tj. Pełne Dane).

Jeśli modelujemy P(x,y): mogę użyć tego rozkładu prawdopodobieństwa do generowania punktów danych - i stąd wszystkie algorytmy modelujące P(x,y) są generatywne.

Np. z modeli generatywnych

• Naiwne modele Bayesa P(c) i P(d|c) - Gdzie c jest klasą, A {[5] } jest wektorem funkcji.

  Również, P(c,d) = P(c) * P(d|c)

  Stąd naiwny Bayes w niektóre modele postaci, P(c,d)

• Bayes Net

• Sieci Markow

Model dyskryminacyjny jest Tym, który może być użyty tylko do rozróżniania / klasyfikacji punktów danych . W takich przypadkach wymagane jest jedynie modelowanie P(y|x) (tj. prawdopodobieństwo klasy, biorąc pod uwagę wektor funkcji).

Np. z modeli dyskryminacyjnych:

• Regresja logistyczna

• Sieci Neuronowe

• Warunkowe losowe pola

PS: część odpowiedzi pochodzi ze źródła

Poszczególne modele podsumowano w poniższej tabeli:

Moje dwa grosze: Podejścia dyskryminacyjne podkreślają różnice Podejścia generatywne nie koncentrują się na różnicach; starają się zbudować model, który jest reprezentatywny dla klasy. Istnieje nakładanie się między nimi. Najlepiej byłoby zastosować oba podejścia: jedno będzie przydatne do znalezienia podobieństw, a drugie będzie przydatne do znalezienia podobieństw.

Model algorytmu generatywnego będzie uczyć się całkowicie z danych treningowych i będzie przewidywać odpowiedź.

Zadanie algorytmu rozróżniającego polega na sklasyfikowaniu lub rozróżnieniu dwóch wyników.