yarn
Jak wyłączyć INFO logowania Spark?
Zainstalowałem Spark za pomocą przewodnika AWS EC2 i mogę uruchomić program dobrze za pomocą skryptu bin/pyspark, aby dostać ... x=y")
# - SPARK_PUBLIC_DNS, to set the public dns name of the master or workers
export SPARK_SUBMIT_CLASSPATH="$FWDIR/conf"
Kontener działa poza limitami pamięci
W Hadoop v1, przypisałem każdy slot mapper 7 i reducer o rozmiarze 1GB, moje mappers & reducers działa dobrze. Moja maszy ... m, jak mogę się upewnić, że do każdego kontenera nie zostanie przypisana większa ilość splitów niż jest w stanie obsłużyć?
Jaki typ klastra wybrać dla Spark?
Jestem nowy w Apache Spark i właśnie dowiedziałem się, że Spark obsługuje trzy typy klastrów:
Standalone-czyli Spark będzi ... cany. Powiedzmy, że w przyszłości muszę zbudować duży klaster (setki instancji), do którego typu klastra powinienem się udać?
Spark Kill Running Application
Mam uruchomioną aplikację Spark, w której zajmuje wszystkie rdzenie, w których moje inne aplikacje nie będą przydzielane żadn ... używam wersji CDH i /bin / spark-class w ogóle nie istnieje, aplikacja YARN kill też nie działa.
Może ktoś ze mną z tym?
FetchFailedException lub MetadataFetchFailedException podczas przetwarzania big data set
Gdy uruchamiam kod parsujący z 1 GB dataset, kończy się on bez żadnego błędu. Ale kiedy próbuję 25 gb danych na raz, dostaję ...
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745)
Jak zapobiec zgubieniu Spark Executors podczas korzystania z trybu klienta YARN?
Cześć mam jedno zadanie Spark, które działa dobrze lokalnie z mniejszą ilością danych, ale kiedy planuję go na YARN do wykona ... --num-executors 12 /home/myuser/myspark-1.0.jar
Nie wiem, w czym problem, proszę cię. Jestem nowy w Spark. Z góry dzięki.
Iskra na temat zrozumienia koncepcji przędzy
Próbuję zrozumieć, jak spark działa na klastrze/kliencie YARN. Mam następujące pytanie w głowie.
Czy konieczne jest zainsta ... a) pliki konfiguracyjne dla klastra Hadoop". Dlaczego węzeł klienta musi zainstalować Hadoop, gdy wysyła zadanie do klastra?
Przędza Apache Hadoop-niedostateczne wykorzystanie rdzeni
Bez względu na to, ile majstrowałem z ustawieniami w yarn-site.xml tj. używając wszystkich poniższych opcji
yarn.scheduler. ... ffle.file.buffer.kb 200
Zauważ, że spark.executor.cores jest ustawione na 3, ale to nie działa.
Jak to naprawić?
Jak zalogować się za pomocą log4j do lokalnego systemu plików wewnątrz aplikacji Spark, która działa na YARN?
Buduję aplikację do przesyłania strumieniowego Apache Spark i nie mogę zalogować się do pliku na lokalnym systemie plików , g ... g myApp.jar
Nie widzę żadnego /tmp/application.log w lokalnym systemie plików maszyny, na której działa YARN.
Co mi umyka.
Zasoby Spark nie są w pełni przydzielone na Amazon EMR
Próbuję zmaksymalizować użycie klastra do prostego zadania.
Klaster to 1+2 x M3.xlarge, runnning Spark 1.3.1, Hadoop 2.4, Am ... wyjaśniono tutaj?
Jak mogę dać więcej pamięci mojemu kierowcy Spark job? (Gdzie powstają zbiory i inne użyteczne operacje)
Jakie dodatkowe korzyści przynosi dotychczasowa Mapa?
Yarn różni się warstwą infrastruktury od oryginalnej mapy w następujący sposób:
W YARN, job tracker jest podzielony na dwa ... ne treści na temat motywacji przędzy i jej korzyści w stosunku do istniejącego wdrażania Map-reduce, proszę wskaż mi to samo.
Dlaczego Hadoop raport "niezdrowy węzeł local-dirs i log-dirs są złe"?
[1]}próbuję skonfigurować klaster Hadoop 2.6.0 z pojedynczym węzłem na moim komputerze.
On visiting http://localhost:8088/c ... 1 local-dirs are bad: /tmp/hadoop-hduser/nm-local-dir;
1/1 log-dirs are bad: /usr/local/hadoop/logs/userlogs
Co się stało?
Jak Mogę uzyskać dostęp do S3 / S3N z lokalnej instalacji Hadoop 2.6?
[4]}próbuję odtworzyć Amazon EMR cluster na mojej lokalnej maszynie. W tym celu zainstalowałem najnowszą stabilną wersję Had ... słoików, aby móc czytać S3, ale nie mam pojęcia, skąd je wziąć. Wszelkie wskazówki w tym kierunku będą bardzo mile widziane.
Dlaczego Yarn na EMR nie przydziela wszystkich węzłów do uruchamiania zadań Spark?
Uruchamiam pracę na Apache Spark na Amazon Elastic Map Reduce (EMR). Obecnie pracuję na emr-4.1.0, który zawiera Amazon Hado ... dy dodawać węzły do uruchomionych zadań spark? Jakie zmienne wchodzą w grę? Pamięć? V-Rdzenie? Cokolwiek?
Z góry dzięki!
Co to jest yarn-client mode W Spark?
Apache Spark niedawno zaktualizował wersję do 0.8.1, w której dostępny jest tryb yarn-client. Moje pytanie brzmi, co tak napr ... czy "uruchamiany lokalnie"? Gdzie? Na klastrze iskry?
Jaka jest szczególna różnica w stosunku do trybu samodzielnego przędzy?
Dlaczego JVM zgłasza więcej pamięci niż ustawiony rozmiar rezydenta procesu Linuksa?
Podczas uruchamiania aplikacji Java (w YARN) z włączonym natywnym śledzeniem pamięci (-XX:NativeMemoryTracking=detail patrz ... 15624 0 15624
Dlaczego JVM wskazuje 2,7 GB pamięci, gdy tylko 1,6 GB jest rezydentem? Gdzie poszła reszta?
Apache Spark: ustawianie instancji executora nie zmienia executorów
Mam aplikację Apache Spark działającą na klastrze YARN (spark ma 3 węzły na tym klastrze) w trybie klastra.
Gdy aplikacja je ... toś wie, dlaczego nie mogłem zwiększyć liczby moich wykonawców?
Przędza.nodemanager.zasoby.memory-mb to 12g w yarn-site.xml
Zrozumieć Spark: Menedżera klastrów, węzłów Master I Driver
Po przeczytaniu tego Pytania, chciałbym zadać dodatkowe pytania:
Menedżer klastra jest usługą długo działającą, na który ... ednie pytanie: w przypadku awarii węzła głównego, co dokładnie się stanie i kto jest odpowiedzialny za odzyskanie po awarii?
Ile iskier może mieć pojedyncza aplikacja?
Odkryłem, że jak Spark działa, a tabele rosną w rozmiarze (poprzez połączenia), że spark executors w końcu zabraknie pamięci ... nstalacji spark.
Co dokładnie robi zatrzymanie kontekstu spark i dlaczego nie możesz utworzyć nowego, gdy już go zatrzymasz?
Apache Helix vs YARN
Jaka jest różnica między Apache Helix a Hadoop YARN (MRv2). Czy ktoś ma doświadczenie z obiema technologiami? Czy ktoś może m ... lix over YARN i dlaczego chłopaki z LinkedIn opracowali własne Zarządzanie klastrem zamiast używać YARN?
Z góry dzięki
Tobi
- 1
- 2