Zrozumieć Spark: Menedżera klastrów, węzłów Master I Driver

Menedżer klastra jest usługą długo działającą, na którym węźle jest uruchomiony?

Menedżer klastrów to tylko Menedżer zasobów, tj. procesorów i pamięci RAM, których SchedulerBackends używa do uruchamiania zadań. Menedżer klastrów nie robi nic więcej Apache Spark, ale oferuje zasoby, a po uruchomieniu Spark executors bezpośrednio komunikują się ze sterownikiem w celu uruchamiania zadań.

Możesz uruchomić samodzielny serwer główny wykonując:

./sbin/start-master.sh

Można uruchomić gdziekolwiek.

Aby uruchomić aplikację na klastrze Spark

./bin/spark-shell --master spark://IP:PORT

Czy to możliwe, że węzły Master I Driver będą tą samą maszyną? Zakładam, że gdzieś powinna istnieć zasada mówiąca, że te dwa węzły powinny być różne?

W trybie autonomicznym, po uruchomieniu komputera, uruchomiony zostanie JVM.Twój Spark Master uruchomi się i na każdej maszynie uruchomi się JVM i zarejestruje się w Spark Master. Oba są Menedżer zasobów.Po uruchomieniu aplikacji lub przesłaniu aplikacji w trybie klastra sterownik uruchomi się wszędzie tam, gdzie wykonasz ssh, aby uruchomić tę aplikację. Sterownik JVM skontaktuje się z mistrzem SparK dla executorów (Ex) i w trybie samodzielnym Worker uruchomi Ex. Tak więc Spark Master jest na klaster, A sterownik JVM na aplikację.

W przypadku awarii węzła Sterownika, kto jest odpowiedzialny za ponowne uruchomienie aplikacji? a co dokładnie się stanie? czyli jak mistrz węzły node, Cluster Manager i Workers będą zaangażowane (jeśli tak się stanie) i w jakiej kolejności?

Jeśli Ex JVM ulegnie awarii, Worker JVM uruchomi Ex, A gdy Worker JVM ill ulegnie awarii, Spark Master uruchomi je. W przypadku samodzielnego klastra Spark z trybem wdrażania klastra można również określić --Supervisor, Aby upewnić się, że sterownik zostanie automatycznie uruchomiony ponownie, jeśli nie powiedzie się z niezerowym kodem wyjścia.Spark Master uruchomi sterownik JVM

Podobnie jak w poprzednie pytanie: w przypadku awarii węzła głównego, co dokładnie się stanie i kto jest odpowiedzialny za odzyskanie po awarii?

Niepowodzenie na master spowoduje, że executorzy nie będą w stanie się z nim komunikować. Więc przestaną pracować. Niepowodzenie master spowoduje, że kierowca nie będzie mógł się z nim komunikować w celu uzyskania statusu zadania. Więc Twoja aplikacja nie powiedzie się. Utrata Master zostanie potwierdzona przez uruchomione aplikacje, ale w przeciwnym razie powinny one nadal działać mniej więcej tak, jak nic się nie stało z dwoma ważnymi wyjątkami:

1.aplikacja nie będzie w stanie zakończyć się w elegancki sposób.

2.jeśli Spark Master jest wyłączony, Worker spróbuje ponownie zarejestrować się z mistrzem. Jeśli to się nie powiedzie, pracownicy po prostu się poddadzą.

ReregisterWithMaster () -- ponownie zarejestrować się u aktywnego mistrza, z którym pracownik komunikuje się. Jeśli nie ma żadnego, oznacza to, że ten worker nadal uruchamia bootstrapping i nie nawiązał jeszcze połączenia z master, w takim przypadku powinniśmy ponownie zarejestrować się u wszystkich mistrzów. Ważne jest, aby ponownie zarejestrować się tylko z aktywnym mistrzem podczas awarii.pracownik bezwarunkowo próbuje ponownie zarejestrować się u wszystkich mistrzów, może pojawić się stan rasy.Błąd szczegółowy w SPARK-4592:

W tej chwili długo działające aplikacje nie będą mogły kontynuować przetwarzania, ale nadal nie powinno to skutkować natychmiastową awarią. Zamiast tego aplikacja będzie czekać na mistrza, aby wrócić on-line (odzyskiwanie systemu plików) lub kontakt od nowego lidera (Tryb Zookeeper), a jeśli tak się stanie, będzie kontynuował przetwarzanie.