hadoop
Życie bez ... zrozumienia i wspólnych praktyk
Wiele stron " BAW " (big ass-websites) używa technik przechowywania i wyszukiwania danych, które opierają się na ogromnych ta ... ana w Hadoopie lub
BigTable czy Cassandra."
Właśnie o tym mówię.
Punkty bonusowe dla tych, którzy łapią referencję xkcd.
Ula klaster według vs kolejność według vs Sortuj według
Z tego co rozumiem;
Sortuj tylko Sortuj z reduktorem
Uporządkować poukładać rzeczy globalnie ale wszystko wrzucić w je ... źć na tym jest tutaj i z przykładu wydaje się, że zamawia je globalnie. Ale z definicji mam wrażenie, że nie zawsze tak jest.
Darmowe duże zbiory danych do eksperymentowania z Hadoop
Czy znasz jakieś duże zbiory danych do eksperymentowania z Hadoop, który jest bezpłatny / niski koszt?
Wszelkie wskazówki/lin ... uruchomić własny crawler do zbierania danych ze stron np. Wikipedii? Wszelkie wskazówki, jak to zrobić, są również doceniane.
Jak rozpocząć analizę Big Data [zamknięty]
Od dawna jestem użytkownikiem R i ostatnio zacząłem pracować z Pythonem. Korzystając z konwencjonalnych systemów RDBMS do hur ... stie i zalecenia.
Przepraszam za ogólny charakter tego zapytania, ale chcę zyskać więcej perspektywa w tym temacie.
Harsh
Jak naprawić uszkodzone pliki HDFS
Jak ktoś naprawia uszkodzony HDFS? Zajrzałem na stronę Apache / Hadoop i powiedział, że jego fsck polecenie , które go nie n ... uchnąć, ale kiedy wejdziemy na żywo, Nie będę w stanie" naprawić " tego, wysadzając wszystko, więc próbuję to rozgryźć teraz.
Dlaczego HBase jest lepszym Wyborem niż Cassandra z Hadoop?
Dlaczego używanie HBase jest lepszym Wyborem niż używanie Cassandra z Hadoop?
Czy ktoś może podać szczegółowe wyjaśnienie?
Dzięki
Just enough Java for Hadoop [closed]
Jestem programistą C++ od około 10 lat. Muszę odebrać Javę tylko dla Hadoop. Wątpię, żebym robił cokolwiek innego w Javie. Ch ... wam Hadoop. Ale przypuszczam, że można powiedzieć coś takiego, jak nie trudź się nauką tego. To też będzie bardzo przydatne.
Scal pliki wyjściowe po fazie redukcji
W mapreduce każde zadanie reduce zapisuje swoje wyjście do pliku o nazwie part-r-nnnnn Gdzie nnnnn jest identyfikatorem partycji powiązanym z zadaniem reduce. Czy map/reduce Scala te pliki? Jeśli tak, to w jaki sposób?
Java vs Python na Hadoop
Pracuję nad projektem używającym Hadoop i wydaje się, że natywnie zawiera Javę i zapewnia obsługę strumieniową Pythona. Czy w ... eśnie w procesie, w którym mogę przejść w obie strony, jeśli istnieje znacząca różnica w wydajności w jedną lub drugą stronę.
Jak skopiować plik z HDFS do lokalnego systemu plików
Jak skopiować plik z HDFS do lokalnego systemu plików . Nie ma fizycznej lokalizacji pliku Pod plikiem, nawet katalogu . Jak mogę przenieść je do mojego lokalnego w celu dalszych weryfikacji.jestem wypróbowany przez winscp .
Hadoop na OSX "nie można załadować informacji realm z SCDynamicStore"
Dostaję ten błąd podczas uruchamiania Hadoop na OSX 10.7:
Nie można załadować informacji o serwerze z SCDynamicStore
p ... is/input / conf. Nazwa węzła jest w trybie awaryjnym.
Nie wydaje się powodować żadnych problemów z funkcjonalnością Hadoop.
Jak wybrać pomiędzy Cassandra, Membase, Hadoop, MongoDB, RDBMS itp.? [zamknięte]
Obecnie pytanie to nie pasuje do naszego formatu pytań i odpowiedzi. Oczekujemy, że odpowiedzi będą poparte faktami, referenc ... am się nad napisaniem nowego webservice, który będzie miał o milionów odsłon dziennie i danych obejmujących kilka terabajtów.
Jaki jest najlepszy sposób na uruchomienie i zatrzymanie ekosystemu hadoop za pomocą wiersza poleceń?
Widzę, że jest kilka sposobów na uruchomienie ekosystemu hadoop,
start-all.sh & stop-all.sh
Które mówią, że to przest ... node/datanode and yarn-deamon.sh resourcemanager
EDIT: myślę, że dla każdego polecenia muszą być określone przypadki użycia.
Nazwa węzła jest w trybie awaryjnym. Nie mogąc odejść
root# bin/hadoop fs -mkdir t
mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/r ... fs
Zrobiłem
root# bin/hadoop fs -safemode leave
Ale pokazuje
safemode: Unknown command
W czym problem?
Rozwiązanie
W jaki sposób impala zapewnia szybszą odpowiedź na zapytania w porównaniu do hive
Ostatnio zacząłem szukać odpytywania dużych zbiorów danych CSV leżących na HDFS za pomocą Hive i Impala. Tak jak się spodziew ... e Impala nie pasuje.
Jak Impala zapewnia szybszą odpowiedź na zapytania w porównaniu do Hive dla tych samych danych na HDFS?
out of Memory Error in Hadoop
Próbowałem zainstalować Hadoop po tym http://hadoop.apache.org/common/docs/stable/single_node_setup.html dokument.
Kiedy pr ... .java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.util.RunJar.main(RunJar.java:156)
Buiding Hadoop with Eclipse / Maven-Missing Artefact jdk.narzędzia: jdk.narzędzia: jar:1.6
[[3]}próbuję zaimportować cloudera ' S org.Apacz.hadoop: hadoop-client:2.0.0-cdh4.0.0 z cdh4 Maven repo w projekcie Maven w ... dniej, maven stwierdza, że brakuje następującego artefaktu
Missing artifact jdk.tools:jdk.tools:jar:1.6
Jak to rozwiązać?
Jak usunąć i zaktualizować rekord w ulu
Zainstalowałem Hadoop, Hive, Hive JD BC. które mi pasują. Ale nadal mam problem. Jak usunąć lub zaktualizować pojedynczy reko ... ent where id=1;
Usage: delete [FILE|JAR|ARCHIVE] <value> [<value>]*
Query returned non-zero code: 1, cause: null
połączenie z portem localhost 22 hosta: połączenie odrzucone
Podczas instalacji hadoop w moim lokalnym komputerze, dostałem następujący błąd
ssh -vvv localhost
OpenSSH_5.5p1, OpenSSL ... : connect to host localhost port 22: Connection refused
Czy ktoś może mi pomóc rozwiązać ten błąd, niż zmienić numer portu
Gdzie Hive przechowuje pliki w HDFS?
Chciałbym wiedzieć, jak znaleźć mapowanie pomiędzy tabelami Hive a rzeczywistymi plikami HDFS (a raczej katalogami), które reprezentują. Muszę mieć bezpośredni dostęp do akt.
Gdzie Hive przechowuje swoje pliki w HDFS?