Spark Kill Running Application

Mam uruchomioną aplikację Spark, w której zajmuje wszystkie rdzenie, w których moje inne aplikacje nie będą przydzielane żadne zasoby.

Zrobiłem kilka szybkich badań i ludzie zasugerowali użycie YARN kill lub / bin / spark-class do zabicia polecenia. Jednak używam wersji CDH i /bin / spark-class w ogóle nie istnieje, aplikacja YARN kill też nie działa.

Tutaj wpisz opis obrazka

Może ktoś ze mną z tym?

Author: B.Mr.W., 2015-04-10
Source

5 answers

  • Skopiuj ID aplikacji z harmonogramu Spark, na przykład application_1428487296152_25597
  • Połącz się z serwerem, który uruchomił zadanie
  • yarn application -kill application_1428487296152_25597
 227
Author: Gérald Reinhart,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2016-08-17 10:32:11

Pobieranie wszystkich identyfikatorów aplikacji z YARN może być czasochłonne i zabijanie ich jeden po drugim. Możesz użyć pętli Bash for, Aby wykonać to powtarzalne zadanie szybko i wydajniej, jak pokazano poniżej:

Zabij wszystkie aplikacje na przędzy, które są w akceptowanym stanie:

for x in $(yarn application -list -appStates ACCEPTED | awk 'NR > 2 { print $1 }'); do yarn application -kill $x; done

Zabij wszystkie aplikacje na przędzy, które są w stanie uruchomionym:

for x in $(yarn application -list -appStates RUNNING | awk 'NR > 2 { print $1 }'); do yarn application -kill $x; done

 8
Author: Anil Kumar,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2019-05-08 08:14:35

Https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html#Cluster_Application_State_API

PUT http: / / {RM http address: port} / ws / v1 / cluster / apps / {appid} / state 

{
  "state":"KILLED"
}
 3
Author: Starwalker,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2017-10-11 02:42:13

Pierwsze użycie: 

yarn application -list

Zapisz identyfikator aplikacji Następnie do zabicia użyj: 

yarn application -kill application_id
 3
Author: Ankit Anand,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2020-09-22 15:46:42

Może to nie być etyczne i preferowane rozwiązanie, ale pomaga w środowiskach, w których nie można uzyskać dostępu do konsoli, aby zabić zadanie za pomocą polecenia aplikacji yarn.

Kroki są

Przejdź do strony głównej aplikacji Spark job. Kliknij sekcję zadania. Kliknij aktywny etap aktywnego zadania. Zobaczysz przycisk" Zabij " tuż obok aktywnego etapu.

To działa, jeśli kolejne etapy są zależne od aktualnie uruchomionego etapu. Choć oznacza to pracę jako " Zabity Przez Użytkownika "

 1
Author: Sachin Gaikwad,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2020-02-19 05:20:08