hadoop
Jak sprawdzić, czy ZooKeeper jest uruchomiony lub uruchomiony z wiersza polecenia?
Sprawdzałem kilka opcji konfiguracji Kafki i wiedziałem, że Zoo Keeper musi być uruchomiony, aby zainicjować Kafkę.
Chciałby ... | grep "zoo" nic nie znalazłem. Może używam złego klucza słowo do przeszukania??
Każda pomoc byłaby naprawdę mile widziana?
Python odczytuje plik jako strumień z HDFS
Oto mój problem: mam plik w HDFS, który może być potencjalnie ogromny (=nie wystarczy, aby zmieścić wszystko w pamięci)
To, ... ięcie tego, co opisałem powyżej, bez korzystania z zewnętrznej biblioteki, jestem również całkiem otwarty.
Dzięki za pomoc !
Jak mogę dołączyć pakiet Pythona z Hadoop streaming job?
Próbuję załączyć pakiet Pythona (nltk) z zadaniem przesyłania strumieniowego Hadoop, ale nie jestem pewien, jak to zrobić bez ...
Edit: jednym z rozwiązań byłoby zainstalowanie tego pakietu na wszystkich niewolnikach, ale obecnie nie mam takiej opcji.
Czy apache spark może działać bez hadoop?
Czy są jakieś zależności między Iskra oraz Hadoop?
Jeśli nie, czy są jakieś funkcje, których będę brakowało podczas biegu Iskra Bez Hadoop?
Jak Hadoop wykonuje podziały wejściowe?
Jest to pytanie koncepcyjne dotyczące Hadoop/HDFS. Powiedzmy, że masz plik zawierający 1 miliard linii. Dla uproszczenia przy ... dane ręcznie?
Dokładniej, przy każdym wywołaniu funkcji map() jakie są jej parametry Key key and Value val?
Dzięki,
Deepak
Explode the Array of Struct in Hive
To jest poniższa tabela Ula
CREATE EXTERNAL TABLE IF NOT EXISTS SampleTable
(
USER_ID BIGINT,
NEW_ITEM ARRAY<STRUCT<P ... .purchased_item.timestamps) myTable2 AS myCol2;
Czy ktoś może mi pomóc, co robię źle? Wszelkie sugestie będą mile widziane.
Hadoop, jak skompresować wyjście mapera, ale nie wyjście reduktora
Mam program Java map-reduce, w którym staram się kompresować tylko wyjście mapera, ale nie wyjście reduktora. Myślałem, że bę ... ompressionType.BLOCK.toString());
conf.setClass("mapred.output.compression.codec", GzipCodec.class, CompressionCodec.class);
Jak używać Sqoop w programie Java?
Wiem jak używać sqoop poprzez wiersz poleceń.
Ale nie wiem, jak wywołać polecenie Sqoop za pomocą programów java .
Czy ktoś może dać jakiś widok kodu?
Czy lepiej użyć pakietu mapred lub mapreduce, aby utworzyć zadanie Hadoop?
Aby utworzyć zadania MapReduce, możesz użyć starego org.apache.hadoop.mapred lub nowszego org.apache.hadoop.mapreduce pakietu ... ko od tego, czy potrzebujesz czegoś takiego jak MultipleTextOutputFormat, który jest dostępny tylko w starym pakiecie mapred?
Jak skopiować pliki z S3 do Amazon EMR HDFS?
I ' m running hive over EMR,
i trzeba skopiować niektóre pliki do wszystkich instancji EMR.
Jednym ze sposobów, jak rozum ... lików do HDFS, jednak nie znalazłem prostego sposobu na skopiowanie Straight z S3 do HDFS.
Jaki jest najlepszy sposób na to?
Pig Latin: załaduj wiele plików z zakresu dat (część struktury katalogów)
Mam następujący scenariusz -
Wersja świńska używana 0.70
Przykładowa struktura katalogów HDFS:
/user/training/test/2010 ... by przechwycić wszystkie znaczniki daty w zakresie i przekazać je do załadowania jako listę rozdzieloną przecinkami?
Cheers
Datanode nie uruchamia się poprawnie
Próbuję zainstalować Hadoop 2.2.0 w trybie pseudo-rozproszonym. Podczas gdy próbuję uruchomić usługi datanode, wyświetla się ... ExitUtil: Exiting with status 0
2014-03-11 08:48:18,536 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG:
Mapa Hadoop: Algorytmy
Czy ktoś może wskazać mi dobrą stronę z dobrym zbiorem algorytmów Hadoop? Na przykład najbardziej złożoną rzeczą, którą mogę ... nalne rzeczy, jak liczenie słów i takie tam.
Chcę zobaczyć stronę internetową, która pokazuje mi inne wykorzystanie hadoop.
umieszczanie zdalnego pliku w hadoop bez kopiowania go na dysk lokalny
Piszę skrypt powłoki, aby umieścić dane w hadoopie, gdy tylko zostaną wygenerowane. Mogę ssh do mojego węzła głównego, skopio ... okalnej kopii pliku na dysku lokalnym masterNode.
Dzięki
Innymi słowy, chcę przesłać kilka poleceń w taki sposób, że mogę
Jak poprawnie usunąć węzły w Hadoop?
[7]}uruchamiam Hadoop 1.1.2 na klastrze z ponad 10 maszynami. Chciałbym ładnie skalować w górę iw dół, zarówno dla HDFS, jak ... adku niektórych pechowych prac (ponieważ zadania, które miały uruchomione na usuniętym węźle muszą być ponownie zaplanowane).
. NET i Hadoop - co warto wiedzieć / się nauczyć i co jest dostępne? [zamknięte]
Informacje
Moje pytanie dotyczy BigData w .Net. BigData jest używany do przechowywania i zapytań ogromne ilości danych (Fac ... będzie usefull (w środowisku. net)
Pytanie 2 :
Czy jest więcej informacji na temat Hadoop w platformie. Net, niż już wiem?
Dlaczego nie ma komendy powłoki 'hadoop fs-head'?
Szybką metodą sprawdzania plików w HDFS jest użycie tail :
~$ hadoop fs -tail /path/to/file
Wyświetla ostatni kilobajt da ... wany na dostęp, który dotyczy head. To czyni mnie waha się robić rzeczy, aby uzyskać dostęp do głowy. Czy ktoś zna odpowiedź?
Testy integracyjne Hive jobs
Próbuję napisać nietrywialną pracę Hive 'a używając interfejsów Hive i JDBC i mam problem z ustawieniem porządnego testu JUni ... . Problem, jak stwierdzono, polega na tym, że nie jest to realne rozwiązanie do skutecznego testowania przepływów pracy Hive.
Nie są uruchamiane żadne węzły danych
Próbuję skonfigurować Hadoop w wersji 0.20.203.0 w pseudo rozproszonej konfiguracji, używając następującego przewodnika:
Ht ... ****
SHUTDOWN_MSG: Shutting down DataNode at m1a2/139.147.5.55
************************************************************/
Zmień rozmiar podziału pliku w Hadoop
Mam kilka małych plików w katalogu HDFS. Chociaż ilość plików jest stosunkowo niewielka, ilość czasu przetwarzania na plik j ... powiedzmy 10kb? Czy muszę zaimplementować własne InputFormat i RecordReader, czy jest jakiś parametr do Ustawienia? Dzięki.