Jak działa szkolenie asynchroniczne w rozproszonym przepływie Tensorflow?

W treningu asynchronicznym nie ma synchronizacji wagi wśród pracowników. Wagi są przechowywane na serwerze parametrów. Każdy pracownik ładuje i zmienia wspólne wagi niezależnie od siebie. W ten sposób, jeśli jeden pracownik ukończył iterację szybciej niż inni, kontynuuje kolejną iterację bez czekania. Pracownicy wchodzą w interakcję tylko z udostępnionym serwerem parametrów i nie wchodzą ze sobą w interakcję.

Ogólnie można (w zależności od zadania) przyspieszyć obliczenia znacznie. Jednak wyniki są czasami gorsze niż te uzyskane przy wolniejszych aktualizacjach synchronicznych.

Patrząc na przykład w dokumentacji, do której linkujesz:

with tf.device("/job:ps/task:0"):
  weights_1 = tf.Variable(...)
  biases_1 = tf.Variable(...)

with tf.device("/job:ps/task:1"):
  weights_2 = tf.Variable(...)
  biases_2 = tf.Variable(...)

with tf.device("/job:worker/task:7"):
  input, labels = ...
  layer_1 = tf.nn.relu(tf.matmul(input, weights_1) + biases_1)
  logits = tf.nn.relu(tf.matmul(layer_1, weights_2) + biases_2)
  # ...
  train_op = ...

with tf.Session("grpc://worker7.example.com:2222") as sess:
  for _ in range(10000):
    sess.run(train_op)

Widać, że trening jest rozłożony na trzech maszynach, które wszystkie mają kopię identycznych ciężarów, ale jak wspomniano poniżej przykład:

W powyższym przykładzie zmienne są tworzone w dwóch zadaniach w zadaniu ps, a intensywna obliczeniowo część modelu jest tworzona w zadaniu worker. TensorFlow wstawia odpowiednie transfery danych między zadaniami (z ps do worker dla przejście do przodu i z worker do ps do stosowania gradientów).

Innymi słowy, jeden gpu jest używany do obliczania przejścia do przodu, a następnie przesyła wyniki do pozostałych dwóch maszyn, podczas gdy każda z innych maszyn oblicza propagację wsteczną dla części wag, a następnie wysyła wyniki do innych maszyn, aby mogły one wszystkie odpowiednio zaktualizować swoje wagi.

GPU są używane do przyspieszenia mnożenia macierzy i równoległych operacji matematycznych, które są bardzo intensywne zarówno do przodu, jak i do tyłu propagacji. Tak rozproszone szkolenie po prostu oznacza, że można rozpowszechniać te operacje na wielu GPU, model jest nadal synchronizowany między maszynami, ale teraz propagacja wsteczna różnych ciężarów może być obliczana równolegle, a przejście do przodu na innej mini-partii można obliczyć w tym samym czasie, co backprop z poprzedniej mini-partii jest nadal obliczana. Szkolenie rozproszone nie oznacza, że masz całkowicie niezależne modele i ciężary na każdej maszynie.