Wybór z różnych funkcji kosztów i funkcji aktywacji sieci neuronowej

[8]}ostatnio zacząłem bawić się sieciami neuronowymi. Próbowałem zaimplementować AND bramę za pomocą Tensorflow. Mam problemy ze zrozumieniem, kiedy korzystać z różnych funkcji kosztów i aktywacji. Jest to podstawowa sieć neuronowa z tylko warstwami wejściowymi i wyjściowymi, bez ukrytych warstw.

Najpierw starałem się to zaimplementować w ten sposób. Jak widać jest to kiepska realizacja, ale myślę, że wykonuje swoją pracę, przynajmniej w jakiś sposób. Więc próbowałem tylko prawdziwych wyjść, nikt gorące prawdziwe wyjścia. Dla funkcji aktywacji, użyłem funkcji esicy i funkcji kosztów użyłem kwadratowy błąd koszt funkcji (myślę, że jego nazywa, że, popraw mnie, jeśli się mylę).

Próbowałem używać ReLU i Softmax jako funkcji aktywacji (z tą samą funkcją kosztów) i to nie działa. Wiem, dlaczego nie działają. Próbowałem również funkcji sigmoid z funkcją kosztów entropii krzyżowej, to również nie działa.

import tensorflow as tf
import numpy

train_X = numpy.asarray([[0,0],[0,1],[1,0],[1,1]])
train_Y = numpy.asarray([[0],[0],[0],[1]])

x = tf.placeholder("float",[None, 2])
y = tf.placeholder("float",[None, 1])

W = tf.Variable(tf.zeros([2, 1]))
b = tf.Variable(tf.zeros([1, 1]))

activation = tf.nn.sigmoid(tf.matmul(x, W)+b)
cost = tf.reduce_sum(tf.square(activation - y))/4
optimizer = tf.train.GradientDescentOptimizer(.1).minimize(cost)

init = tf.initialize_all_variables()

with tf.Session() as sess:
    sess.run(init)
    for i in range(5000):
        train_data = sess.run(optimizer, feed_dict={x: train_X, y: train_Y})

    result = sess.run(activation, feed_dict={x:train_X})
    print(result)

Po 5000 iteracji:

[[ 0.0031316 ]
[ 0.12012422]
[ 0.12012422]
[ 0.85576665]]

Pytanie 1 - czy jest jakaś inna funkcja aktywacyjna i funkcja kosztowa, która może pracować (uczyć się) dla powyższej sieci, bez zmiany parametrów (czyli bez zmiany W, x, b).

Pytanie 2 - przeczytałem z postu StackOverflow tutaj :

[funkcja aktywacji] wybór zależy od problemu.

Więc nie ma żadnych funkcji kosztów, które mogą być używane wszędzie? Chodzi mi o to, że nie ma standardowej funkcji kosztowej, która może być używana na dowolnym sieć neuronowa. Prawda? Proszę mnie poprawić.

Zaimplementowałem również bramę AND z innym podejściem, z wyjściem jako one-hot true. Jak widać train_Y [1,0] oznacza, że indeks 0 jest równy 1, więc odpowiedź jest równa 0. Mam nadzieję, że to zrozumiesz.

Tutaj użyłem funkcji aktywacji softmax, z entropią krzyżową jako funkcją kosztów. Funkcja Sigmoid jako funkcja aktywacji nie powiodła się.

import tensorflow as tf
import numpy

train_X = numpy.asarray([[0,0],[0,1],[1,0],[1,1]])
train_Y = numpy.asarray([[1,0],[1,0],[1,0],[0,1]])

x = tf.placeholder("float",[None, 2])
y = tf.placeholder("float",[None, 2])

W = tf.Variable(tf.zeros([2, 2]))
b = tf.Variable(tf.zeros([2]))

activation = tf.nn.softmax(tf.matmul(x, W)+b)

cost = -tf.reduce_sum(y*tf.log(activation))

optimizer = tf.train.GradientDescentOptimizer(0.5).minimize(cost)

init = tf.initialize_all_variables()

with tf.Session() as sess:
    sess.run(init)
    for i in range(5000):
        train_data = sess.run(optimizer, feed_dict={x: train_X, y: train_Y})

    result = sess.run(activation, feed_dict={x:train_X})
    print(result)

Po 5000 iteracja

[[  1.00000000e+00   1.41971401e-09]
 [  9.98996437e-01   1.00352429e-03]
 [  9.98996437e-01   1.00352429e-03]
 [  1.40495342e-03   9.98595059e-01]]

Pytanie 3 więc w tym przypadku jakiej funkcji kosztów i funkcji aktywacji mogę użyć? Jak mogę zrozumieć, jakiego rodzaju kosztów i funkcji aktywacji powinienem używać? Czy istnieje standardowy sposób lub reguła, czy tylko doświadczenie? Czy muszę próbować każdej funkcji kosztu i aktywacji w sposób brutalny? Znalazłem odpowiedź tutaj . Ale liczę na bardziej rozbudowane Wyjaśnienie.

Pytanie 4 zauważyłem, że potrzeba wielu iteracje zbiegają się do niemal dokładnego przewidywania. Myślę, że współczynnik zbieżności zależy od szybkości uczenia się (używanie zbyt dużej liczby będzie brakować rozwiązania) i funkcji kosztów (popraw mnie, jeśli się mylę). Czy istnieje optymalny sposób (czyli najszybszy) lub funkcja kosztowa dla osiągnięcia poprawnego rozwiązania?