Jakie są dobre zasoby do nauki o sztucznych sieciach neuronowych? [zamknięte]

Po pierwsze, porzuć wszelkie wyobrażenia, że sztuczne sieci neuronowe mają cokolwiek wspólnego z mózgiem, ale dla przemijającego podobieństwa do sieci neuronów biologicznych. Nauka biologii nie pomoże Ci skutecznie zastosować sieci neuronowe; nauka algebry liniowej, rachunku i teorii prawdopodobieństwa pomoże. Powinieneś przynajmniej zaznajomić się z ideą podstawowego zróżnicowania funkcji, regułą łańcuchową, pochodnymi cząstkowymi( gradientem, Jakobiańskim i heskim) oraz zrozumienie mnożenia macierzy i przekątnej.

Naprawdę to, co robisz, gdy trenujesz sieć, to optymalizacja dużej, wielowymiarowej funkcji (minimalizacja pomiaru błędu w odniesieniu do każdej z wag w sieci), a więc badanie technik nieliniowej optymalizacji numerycznej może okazać się pouczające. Jest to szeroko badany problem z dużą bazą literatury poza sieciami neuronowymi i istnieje wiele notatek wykładowych w numerycznych optymalizacja dostępna w sieci. Na początek, większość ludzi używa prostych spadków gradientowych , ale może to być znacznie wolniejsze i mniej skuteczne niż bardziej niuansowe metody, takie jak

Gdy już opanujesz podstawowe pomysły, możesz zacząć eksperymentować z różnymi funkcjami "zgniatania" w ukrytej warstwie, dodając różne rodzaje regularyzacji i różne poprawki, aby nauka przebiegała szybciej. Zobacz niniejszy artykuł , aby zapoznać się z obszerną listą "najlepszych praktyk".

Jeden z najlepszych książki na ten temat to Chris Bishop Sieci neuronowe do rozpoznawania wzorców. Na tym etapie jest dość stary, ale nadal jest doskonałym zasobem i często można znaleźć używane kopie online za około $30. Rozdział sieć neuronowa w nowszej książce, rozpoznawanie wzorców i uczenie maszynowe, jest również dość obszerny. Aby uzyskać szczególnie dobry samouczek zorientowany na implementację, zobacz ten na CodeProject.com który wdraża sprytny rodzaj sieci zwanej siecią konwolucyjną, która ogranicza łączność w taki sposób, aby uczynić ją bardzo dobrą w nauce klasyfikacji wzorców wizualnych.

Maszyny wektorowe wsparcia i inne metody jądra stały się dość popularne, ponieważ można je stosować bez wiedzy, co do cholery robisz i często uzyskać akceptowalne wyniki. Z drugiej strony sieci neuronowe są ogromnymi problemami optymalizacyjnymi, które wymagają starannego dostrojenia, chociaż nadal są preferowane w przypadku wielu problemów, szczególnie duże problemy skali w domenach takich jak widzenie komputerowe.

Gorąco polecam tę doskonałą serię Anoop Madhusudanan na Code Project .

Prowadzi cię przez podstawy do zrozumienia, jak działają w łatwy do zrozumienia sposób i pokazuje, jak używać swojej biblioteki brainnet do tworzenia własnych.

Sieci neuronowe są w dzisiejszych czasach jakby deklasem. obsługa maszyn wektorowych i Metody jądra są lepsze dla większej liczby klas problemów niż backropagation. Sieci neuronowe i algorytmy genetyczne porywają wyobraźnię osób, które nie wiedzą zbyt wiele o nowoczesnym uczeniu maszynowym, ale nie są najnowocześniejsze.

Jeśli chcesz dowiedzieć się więcej o sztucznej inteligencji i uczeniu maszynowym, polecam lekturę Artificial Intelligence: a Modern Approach Petera Norviga. To szerokie badanie sztucznej inteligencji i wielu nowoczesnych technologii. Omawia historię i starsze techniki, a także daje pełniejsze podstawy podstaw sztucznej inteligencji i uczenia maszynowego.

Sieci neuronowe są dość łatwe. Zwłaszcza, jeśli użyjesz algorytmu genetycznego do określenia wagi, a nie właściwej backpropagacji.

I second dwf 'S zalecenie sieci neuronowych do rozpoznawania wzorca przez Chrisa Bishopa. Chociaż, być może nie jest to tekst początkowy. Norvig lub samouczek online (z kodem w Matlab!) byłoby zapewne łagodniejszym wstępem.

Dobrym projektem startowym byłoby OCR (Optical Character Recognition). Możesz skanować strony tekstu i podawać każdy znak przez sieć w celu przeprowadzenia klasyfikacji. (Trzeba by najpierw wyszkolić sieć z oczywiście!).

Książka Raula Rojasa {[2] } jest bardzo dobrym początkiem (jest również darmowa). Ponadto, książka Haykina 3rd edition , choć o dużej objętości, jest bardzo dobrze wyjaśniona.

Mogę polecić, od czego nie zacząć. Kupiłem Wprowadzenie do sieci neuronowych Kevina Gurneya, które ma dobre recenzje na Amazon i twierdzi, że jest "wysoce dostępnym wstępem do jednego z najważniejszych tematów w kognitywistyce i informatyce". Osobiście nie polecam tej książki na początek. Mogę zrozumieć tylko około 10%, ale może to tylko ja (angielski nie jest moim ojczystym językiem). Zamierzam przyjrzeć się innym opcjom z tego wątku.

Http://www.ai-junkie.com/ann/evolved/nnt1.html [2]} jest wyraźnym wstępem do perceptronu wielowarstwowego, choć nie opisuje algorytmu backropagacji

Możesz też rzucić okiem na generation5.org który zawiera wiele artykułów na temat AI w ogóle i ma kilka świetnych tekstów na temat sieci neuronowej

Jeśli nie masz nic przeciwko wydawaniu pieniędzy, Podręcznik teorii mózgu i sieci neuronowych jest bardzo dobry. Zawiera 287 artykułów dotyczących badań w wielu dyscyplinach. Zaczyna się od wprowadzenia i teorii, a następnie podkreśla ścieżki w artykułach, aby jak najlepiej objąć swoje zainteresowania.

Jeśli chodzi o pierwszy projekt, mapy Kohonena są interesujące dla kategoryzacji : Znajdź ukryte relacje w swojej kolekcji muzycznej, zbuduj inteligentnego robota, lub rozwiąż Nagroda Netflix .

Dwie książki, które były używane podczas mojej nauki:

Kurs wprowadzający: Wprowadzenie do obliczeń neuronowych Igora Aleksandra i Helen Morton.

Kurs zaawansowany: Neurokomputing Robert Hecht-Nielsen

Programming Collective Intelligence omawia to w kontekście algorytmów wyszukiwania i rankingu. Również w kodzie dostępnym tutaj (w ch.4), pojęcia omówione w książce zilustrowano na przykładzie Pythona.

Myślę, że dobrym punktem wyjścia zawsze byłaby Wikipedia . Znajdziesz tam przydatne linki do dokumentacji i projektów wykorzystujących sieci neuronowe.

Znalazłem Faustetta Podstawy sieci neuronowych Prosty i łatwy do opanowania podręcznik wprowadzający.

Uważam podręcznik "inteligencja obliczeniowa" za niezwykle pomocny.

Jeśli chcesz szybko dowiedzieć się o zastosowaniach niektórych koncepcji sieci neuronowych na prawdziwym symulatorze, istnieje świetna książka online (teraz wiki) o nazwie "Computational Cognitive Neuroscience" w http://grey.colorado.edu/CompCogNeuro/index.php/CCNBook/Main

Książka jest używana w szkołach jako podręcznik i prowadzi przez wiele różnych obszarów mózgu, od pojedynczych neuronów aż po funkcjonowanie wyższego rzędu.

Ponadto każda sekcja jest wzbogacony o zadania domowe "projekty", które są już dla Ciebie. Po prostu pobierz, postępuj zgodnie z instrukcjami i symuluj wszystko, o czym mówił rozdział. Oprogramowanie, którego używają, Emergent, jest trochę finnicky, ale niewiarygodnie solidne: jego produkt z ponad 10 lat pracy wierzę.

Przechodziłam przez to na studiach w zeszłym semestrze i było świetnie. Prowadzi cię przez wszystko krok po kroku

Zgadzam się z innymi, którzy mówili, że studiowanie biologii nie jest dobrym punktem wyjścia... ponieważ jest wiele nieistotnych informacji w biologii. Nie musisz rozumieć, jak działa neuron, aby odtworzyć jego funkcjonalność - wystarczy symulować jego działania. Polecam "jak stworzyć umysł" Raya Kurzweila-wchodzi on w aspekt biologii, który jest istotny dla modeli obliczeniowych, (tworzenie symulowanego neuronu przez łączenie kilku wejść i odpalanie raz threshhold jest reached), ale ignoruje irrelvant rzeczy, jak neuron rzeczywiście dodaje thouse wejścia razem. (Wystarczy użyć + i nierówności, aby porównać do progu, na przykład)

Powinienem również zwrócić uwagę, że książka nie jest tak naprawdę o "tworzenie umysłu" - skupia się tylko na heirarchical pattern recognition / neocortex. Temat ogólny jest omawiany od lat 80-tych, jak sądzę, więc istnieje wiele starszych książek, które prawdopodobnie zawierają nieco datowane formy tego samego informacje. Czytałem starsze dokumenty stwierdzające, że system wizyjny, na przykład, jest wielowarstwowym systemem rozpoznawania wzorców. Twierdzi, że dotyczy to całego neokorteksu. Weź też z przymrużeniem oka jego "przewidywania" - jego szacunki sprzętowe są prawdopodobnie dość dokładne, ale myślę, że nie docenia, jak skomplikowane mogą być proste zadania (np. prowadzenie samochodu). Przyznaję, że widział wiele postępów (i był częścią niektórych z nich), ale nadal uważam, że jest zbyt optymistyczny. Jest duży różnica między AI samochód jest w stanie przejechać milę z powodzeniem 90% czasu, w porównaniu do 99.9+%, że człowiek może zrobić. Nie spodziewam się, że jakaś sztuczna inteligencja będzie mnie napędzać przez co najmniej 20 lat... (Nie liczę samochodów torowych BMWs, które muszą być "przeszkolone" na rzeczywistym torze, ponieważ tak naprawdę nie grają w tę samą grę)

Jeśli masz już podstawowe pojęcie o tym, czym jest AI i jak można ją modelować, może lepiej przeskoczyć do czegoś bardziej technicznego.