mapreduce
MapReduce alternatives
Czy są jakieś alternatywne paradygmaty do MapReduce (Google, Hadoop)? Czy jest jakiś inny rozsądny sposób, jak podzielić i połączyć duże problemy?
Jakie dodatkowe korzyści przynosi dotychczasowa Mapa?
Yarn różni się warstwą infrastruktury od oryginalnej mapy w następujący sposób:
W YARN, job tracker jest podzielony na dwa ... ne treści na temat motywacji przędzy i jej korzyści w stosunku do istniejącego wdrażania Map-reduce, proszę wskaż mi to samo.
Od czego zacząć od obliczeń rozproszonych?
Interesuje mnie nauka technik przetwarzania rozproszonego. Jako programista Javy jestem skłonny zacząć od Hadoop . Czy mógłbyś polecić jakieś książki/tutoriale / artykuły na początek?
Jak dane są dzielone w Hadoop
Czy Hadoop dzieli dane na podstawie liczby maperów ustawionych w programie? Oznacza to, że mając zestaw danych o rozmiarze 50 ... y maper ma 2,5 MB danych?
Poza tym, czy wszystkie mapery działają jednocześnie, czy niektóre mogą być uruchamiane seryjnie?
Sortowanie dużych danych za pomocą MapReduce / Hadoop
Czytam o MapReduce i następujące rzeczy mnie mylą.
Załóżmy, że mamy Plik z 1 milionem wpisów (liczb całkowitych) i chcemy je ... jednym miejscu?. Problem polega na połączeniu 1 miliona wpisów w jednym miejscu. Tak, czy coś przeoczyłem?
Dzięki,
Chander
obsługa gzip w Spark
W projekcie Big Data planuję użyć spark , który ma kilka fajnych funkcji, takich jak obliczenia w pamięci dla powtarzających ... na ręczne zaimplementowanie odczytu plików gzipped lub rozpakowanie już automatycznie wykonywane podczas odczytu a .akta gz?
Jak określić Separator KeyValueTextInputFormat w Hadoop-.20 api?
W nowym API (apache.hadoop.mapreduce.KeyValueTextInputFormat), jak określić separator (ogranicznik) inny niż tab (który jest ... lass);
KeyValueTextInputFormat.addInputPath(job, new Path("/home/input.txt"));
To działa dobrze dla tab jako separator.
Jak rozpocząć naukę hadoop [closed]
Jestem web developerem. Posiadam doświadczenie w technologiach internetowych takich jak JavaScript, Jquery, Php, HTML . Znam ... ' s Hadoop the Definitive Guide 2nd.Wydanie .
Chciałbym, żebyście podpowiedzieli mi, Jak mogę się uczyć mapreduce i hadoop.
Klasa Hadoop JobConf jest przestarzała, wymaga zaktualizowanego przykładu
Piszę programy hadoop i naprawdę nie chcę bawić się przestarzałymi klasami .
Gdziekolwiek w Internecie nie jestem w stanie zn ... JobClient.runJob(conf);
}
Tak wygląda moja główna ().
Może zadowolić każdego, który dostarczy mi zaktualizowaną funkcję.
CouchDB: map-reduce in Erlang
Jak pisać funkcje map-reduce w Erlang dla CouchDB? Jestem pewien, że Erlang jest szybszy niż JavaScript.
Zmniejsz parę klucz-wartość do pary klucz-Lista za pomocą Apache Spark
Piszę aplikację Spark i chcę połączyć zestaw par klucz-wartość (K, V1), (K, V2), ..., (K, Vn) w jedną parę klucz-Multivalue ( ... iczby całkowite i wartości V1,..., Vn to krotki. Moim celem jest stworzenie jednej pary z kluczem i listy wartości (krotki).
hadoop: różnica między reduktorem 0 a reduktorem tożsamości?
Próbuję tylko potwierdzić moje zrozumienie różnicy między reduktorem 0 a reduktorem tożsamości.
0 reduktor oznacza, że kro ... ie mappera będzie ostatecznym wyjściem
reduktor tożsamości oznacza, że tasowanie / sortowanie nadal będzie miało miejsce?
Zapis do HDFS może być replikowany tylko do 0 węzłów zamiast minreplikacji (=1)
Mam uruchomione 3 węzły danych, podczas uruchamiania zadania dostaję następujący błąd podany poniżej,
Java.io. IOExcepti ... aporty w moich węzłach klastra wyraźnie pokazują, że dużo miejsca jest dostępne.
Nie jestem pewien, dlaczego tak się dzieje.
Niestandardowy program do zmniejszania Map na Ulu, jaka jest zasada? A co z wejściem i wyjściem?
Utknąłem na kilka dni, ponieważ chcę stworzyć własny program do zmniejszania map na podstawie mojego zapytania na Ulu, po goo ... ktorze, jak sformatować wynik w klasie mapera i reduktora?
Czy ktoś chce mi podać jakiś przykład i Wyjaśnienie na ten temat?
Czym są pliki SUCCESS i part-r - 00000 w hadoop
Chociaż często używam Hadoop na moim komputerze Ubuntu, nigdy nie myślałem o plikach SUCCESS i part-r-00000. Wyjście zawsze z ... ik wyjściowy ma nazwę part-r-0000? Czy jest jakieś znaczenie / jakaś nomenklatura, czy jest to po prostu losowo zdefiniowane?
No such method exception Hadoop
Kiedy prowadzę Hadoop .plik jar z wiersza polecenia, rzuca wyjątek mówiąc nie takiej metody StockKey metoda.
StockKey to moj ... ecurity.UserGroupInformation.doAs(UserGroupInformation.java:1127)
at org.apache.hadoop.mapred.Child.main(Child.java:264)
Zmiana nazw plików części w Hadoop Map Reduce
Próbowałem użyć klasy MultipleOutputs Jak na przykładzie na stronie http://hadoop.apache.org/docs/mapreduce/r0.21.0/api/index ... all log files and the _SUCCESS file in the output directory
else {
hdfs.rename(aFile.getPath(), new Path(myCustomName));
}
}
Różnice Dystrybucji Hadoop
Czy ktoś może opisać różne różnice między różnymi dostępnymi dystrybucjami Hadoop:
Cloudera - http://www.cloudera.com/had ... ktu odniesienia.
Czy istnieje dobry powód do używania jednej z tych dystrybucji w standardowej dystrybucji Apache Hadoop?
metody konfiguracji i czyszczenia Mapper / Reducer w Hadoop MapReduce
Czy metody setup I cleanup są wywoływane odpowiednio w zadaniach mapper i reducer? Czy są one wywoływane tylko raz na początku ogólnych zadań mapper i reducer?
O dzieleniu plików Hadoop / HDFS
Chcę tylko potwierdzić na następujące. Sprawdź, czy jest to poprawne:
1. Zgodnie z moim zrozumieniem, kiedy kopiujemy plik do ... ego na jednym komputerze. MR odczyta wszystkie fragmenty pliku z różnych węzłów danych i udostępni je pojedynczemu maperowi.