Architektura perceptron wielowarstwowy (MLP): kryteria wyboru liczby ukrytych warstw i ich wielkości? [zamknięte]

Ile ukrytych warstw?

Model z zeroukrytych warstw rozwiąże liniowo rozdzielalne Dane. Więc jeśli już wiesz, że Twoje dane nie są liniowo rozdzielne, nie zaszkodzi to zweryfikować -- po co używać bardziej złożonego modelu niż wymaga tego zadanie? Jeśli jest rozdzielna liniowo, to zadziała prostsza technika, ale Perceptron również to zrobi.

Zakładając, że Twoje dane wymagają rozdzielenia techniką nieliniową, to zawsze zaczynaj od jednej ukrytej warstwy. Prawie na pewno to wszystko, czego potrzebujesz. Jeśli dane można rozdzielić za pomocą MLP, to ten MLP prawdopodobnie potrzebuje tylko jednej ukrytej warstwy. Istnieje teoretyczne uzasadnienie tego, ale mój powód jest czysto empiryczny: wiele trudnych problemów klasyfikacji / regresji rozwiązuje się za pomocą MlP z jedną ukrytą warstwą, ale nie przypominam sobie, aby napotkać jakiekolwiek MlP z wieloma ukrytymi warstwami używane do skutecznego modelowania danych-czy na tablicach ogłoszeń ML, ML Podręczniki, prace naukowe itp. Istnieją, oczywiście, ale okoliczności, które uzasadniają ich użycie, są empirycznie dość rzadkie.

ile węzłów w warstwie ukrytej?

Z literatury akademickiej MLP. własne doświadczenia itp., Zebrałem i często opierałem się na kilku zasadach (RoT ), a które również uznałem za wiarygodne Przewodniki (tj., wskazówki były dokładne, a nawet gdy nie było, zazwyczaj było jasne, co robić następny):

RoT na podstawie poprawy zbieżności:

Po rozpoczęciu budowy modelu, po stronie więcej węzłów w ukrytej warstwie.

Dlaczego? Po pierwsze, kilka dodatkowych węzłów w ukrytej warstwie prawdopodobnie nie zaszkodzi-Twój MLP nadal będzie się zbierał. Z drugiej strony zbyt mała liczba węzłów w warstwie ukrytej może zapobiec konwergencji. Pomyśl o tym w ten sposób, dodatkowe węzły zapewniają pewną nadwyżkę pojemności-dodatkowe wagi do przechowywania/uwalniania sygnał do sieci podczas iteracji (szkolenia lub budowania modelu). Po drugie, jeśli zaczniesz z dodatkowymi węzłami w ukrytej warstwie, łatwo będzie je później przyciąć(w trakcie iteracji). Jest to powszechne i istnieją techniki diagnostyczne, które pomogą Ci (np. diagram Hintona, który jest tylko wizualnym przedstawieniem matryc wagowych, "mapa ciepła" wartości wagowych).

RoTs na podstawie wielkości warstwy wejściowej i wielkości warstwy wyjściowej:

zasada kciuka jest dla wielkości tej [ukrytej] warstwy, aby gdzieś pomiędzy rozmiarem warstwy wejściowej ... i rozmiar warstwy wyjściowej....

aby obliczyć liczbę ukrytych węzłów stosujemy ogólną zasadę: (Ilość wejść + wyjść) x 2/3

RoT na podstawie głównych składników:

zazwyczaj określamy tyle ukrytych węzłów co wymiary [główne komponenty] potrzebne do przechwytywania 70-90% wariancji danych wejściowych set .

A jednak NN FAQ autor nazywa te zasady "nonsensem" (dosłownie), ponieważ: ignorują liczbę instancji treningowych, hałas w celach (wartości zmiennych odpowiedzi) i złożoność przestrzeni funkcji.

Jego zdaniem (i zawsze wydawało mi się, że wie, o czym mówi), Wybierz liczbę neuronów w ukrytej warstwie w oparciu o to, czy twój MLP zawiera jakąś formę regularyzacji, czy wczesne zatrzymanie .

jedyna słuszna technika optymalizacji liczby neuronów w warstwie ukrytej:

Podczas budowania modelu, testuj obsesyjnie; testy ujawnią sygnatury "nieprawidłowej" architektury sieci. Na przykład, jeśli zaczynasz od MLP z ukrytą warstwą złożoną z niewielkiej liczby węzłów (które stopniowo zwiększasz w razie potrzeby, na podstawie wyników testów), twój błąd w treningu i uogólnieniu będzie wysoki spowodowane przez stronniczość i niedopasowanie.

Następnie zwiększ liczbę węzłów w warstwie ukrytej, jeden po drugim, aż błąd uogólnienia zacznie wzrastać, tym razem z powodu nadmiernego dopasowania i wysokiej wariancji.

W praktyce robię to w ten sposób:

Warstwa wejściowa : rozmiar mojego vactora danych (liczba funkcji w moim modelu) + 1 dla węzła bias i oczywiście nie wliczając zmiennej odpowiedzi

Warstwa wyjściowa :: regresja (jeden węzeł) a klasyfikacja (Liczba węzłów równa liczbie klas, przy założeniu softmax)

Ukryta warstwa: na początek, jedna ukryta warstwa z liczbą węzłów równą wielkości warstwy wejściowej. "Idealny" rozmiar jest raczej mniejszy (tzn. pewna liczba węzłów między liczbą w warstwie wejściowej a liczbą w warstwie wyjściowej) niż większy-znowu, jest to tylko obserwacja empiryczna, a większość z tego obserwacja to moje własne doświadczenie. Jeśli projekt uzasadniał dodatkowy wymagany czas, zaczynam od pojedynczej ukrytej warstwy złożonej z niewielkiej liczby węzłów, a następnie (jak wyjaśniłem powyżej) dodaję węzły do ukrytej warstwy, jeden po drugim, obliczając błąd uogólnienia, błąd szkolenia, stronniczość i wariancję. Kiedy błąd uogólnienia zmalał i tuż przed tym, jak zacznie ponownie rosnąć, liczba węzłów w tym momencie jest moim wyborem. Zobacz rysunek poniżej.