mapreduce
Dobre przykłady map [zamknięte]
Nie mogłem wymyślić żadnych dobrych przykładów innych niż zadanie "jak liczyć słowa w długim tekście za pomocą MapReduce". St ... ykład, aby dać innym wrażenie, jak potężne może być to narzędzie.
Nie szukam fragmentów kodu, tylko przykładów "tekstowych".
W jaki sposób rekordy procesów Hadoop są dzielone między granice bloków?
Zgodnie z Hadoop - The Definitive Guide
Logiczne rekordy definiowane przez FileInputFormats zwykle nie pasują do bloków ... rzający drugi blok (b2) określa, że pierwszy rekord jest niekompletny i powinien przetwarzać od drugiego rekord w bloku (b2)?
Łączenie wielu zadań MapReduce w Hadoop
W wielu rzeczywistych sytuacjach, w których stosujesz MapReduce, ostateczne algorytmy kończą się kilkoma krokami MapReduce.
... Hadoop?
Czy istnieje (prosty) przykład, który pokazuje, jak prawidłowo obsługiwać te pośrednie dane, w tym oczyszczanie po?
Czym jest Map/Reduce?
Dużo słyszę o map/reduce, szczególnie w kontekście systemu obliczeń masowo równoległych Google. Co to właściwie jest?
Jaki jest cel fazy tasowania i sortowania w reduktorze w programowaniu Map Reduce?
W programowaniu Map Reduce Faza reduce ma tasowanie, sortowanie i reduce jako swoje podczęści. Sortowanie to kosztowna sprawa.
Jaki jest cel fazy tasowania i sortowania w reduktorze w programowaniu Map Reduce?
Jak działa algorytm sortowania MapReduce?
Jednym z głównych przykładów, który jest używany do wykazania mocy MapReduce jest terasort benchmark. Mam problem ze zrozumie ... to ogromne zadanie.
Więc jak to się naprawdę robi? Jak działa algorytm sortowania MapReduce?
Dzięki za pomoc w zrozumieniu.
Czy jest a.NET odpowiednik Apache Hadoop? [zamknięte]
zamknięte. to pytanie nie spełnia wytycznych dotyczących przepełnienia stosu . Obecnie nie przyjmuje odpowiedzi.
... y tak bardzo, jak Szukam Hadoop.net lub nhadoop lub projekt. NET, który obejmuje podejście Google MapReduce . Ktoś o nim wie?
Kiedy w Hadoop rozpoczynają się zadania reduce?
W Hadoop kiedy rozpoczynają się zadania redukcyjne? Czy zaczynają się po zakończeniu określonego procentu (progu) maperów? Jeśli tak, to czy próg ten jest ustalony? Jakiego rodzaju próg jest zwykle używany?
Kontener działa poza limitami pamięci
W Hadoop v1, przypisałem każdy slot mapper 7 i reducer o rozmiarze 1GB, moje mappers & reducers działa dobrze. Moja maszy ... m, jak mogę się upewnić, że do każdego kontenera nie zostanie przypisana większa ilość splitów niż jest w stanie obsłużyć?
Scal pliki wyjściowe po fazie redukcji
W mapreduce każde zadanie reduce zapisuje swoje wyjście do pliku o nazwie part-r-nnnnn Gdzie nnnnn jest identyfikatorem partycji powiązanym z zadaniem reduce. Czy map/reduce Scala te pliki? Jeśli tak, to w jaki sposób?
Jakie są scenariusze, dla których MPI lepiej pasuje niż MapReduce?
O ile rozumiem, MPI daje mi znacznie większą kontrolę nad tym, jak dokładnie różne węzły w klastrze będą się komunikować.
W ... ariusz programowania klastrowego, w którym bardziej ogólny model MPI jest oczywistą przewagą nad prostszym modelem MapReduce?
Nazwa węzła jest w trybie awaryjnym. Nie mogąc odejść
root# bin/hadoop fs -mkdir t
mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/r ... fs
Zrobiłem
root# bin/hadoop fs -safemode leave
Ale pokazuje
safemode: Unknown command
W czym problem?
Rozwiązanie
Simple Java Map / Reduce framework [zamknięty]
zamknięte. to pytanie nie spełnia wytycznych dotyczących przepełnienia stosu . Obecnie nie przyjmuje odpowiedzi.
... jednym JVM, przy użyciu standardowej współbieżności w stylu Java5.
Nie jest to trudne do napisania, ale wolałbym nie musieć.
MongoDB: Fatalna Wydajność Map
Mam długą historię z relacyjnymi bazami danych, ale jestem nowy w MongoDB i MapReduce, więc jestem prawie pewien, że robię co ... t: ktoś na ircu wspomniał o dodaniu indeksu w polu dnia, ale z tego co wiem, to zostało zrobione automatycznie przez MongoDB.
Czy MongoDB ' s $in clause guarantee order
Podczas używania MongoDB ' S $in klauzula, czy kolejność zwracanych dokumentów zawsze odpowiada kolejności argumentu array?
Mapa i redukcja in.NET
Jakie scenariusze uzasadniałyby użycie algorytmu" Map and Reduce"?
czy istnieje implementacja tego algorytmu. NET?
Znajdź wszystkie duplikaty dokumentów w kolekcji MongoDB według pola klucza
Przypuśćmy, że mam zbiór dokumentów. coś w tym stylu.
{ "_id" : ObjectId("4f127fa55e7242718200002d"), "id":1, "name" : "foo" ... Chcę znaleźć wszystkie zduplikowane wpisy w tej kolekcji w polu "Nazwa". Np. " foo "pojawia się dwa razy, a" bar " trzy razy.
Wywołanie zadania mapreduce z prostego programu java
Próbowałem wywołać zadanie mapreduce z prostego programu java w tym samym pakiecie.. Próbowałem odwołać się do pliku JAR mapr ... rg.add("/root/Desktop/input");
arg.add(output);
RunJar.main((String[])arg.toArray(new String[0]));
}
}
Porównanie agregacji MongoDB: group (), $group i MapReduce
Jestem nieco zdezorientowany, kiedy użyć metody group (), aggregate z $group lub mapreduce. Przeczytałem dokumentację na htt ... łoby świetnie, gdybyś mógł wskazać coś nowego konkretnie w tych poleceniach, ponieważ pojawiło się nowe wydanie 2.2 Wynocha..
Gdzie hadoop mapreduce framework wysyła mój System.Wynocha.Print () statements? (stdout)
Chcę debugować skrypt mapreduce i bez większych problemów próbowałem umieścić kilka instrukcji print w moim programie. Ale nie mogę ich znaleźć w żadnym z dzienników.