hadoop-partitioning
Jakie jest zastosowanie komparatora grupującego w hadoop map reduce
Chciałbym wiedzieć, dlaczego komparator grupowania jest używany w drugorzędnym rodzaju mapreduce.
Zgodnie z definitywnym prz ... óry dbałby o klucze wyjściowe mapy przechodzące do konkretnego reduktora, to dlaczego mielibyśmy je grupować.
Z góry dzięki
Mapa hadoop zmniejsz sortowanie wtórne
Czy ktoś może mi wyjaśnić, jak działa sortowanie wtórne w hadoop ?
Dlaczego trzeba używać GroupingComparator i jak to działa ... wyjasnic jak dziala komparator grupowania?
Http://www.bigdataspeak.com/2013/02/hadoop-how-to-do-secondary-sort-on_25.html
Jak dane są dzielone w Hadoop
Czy Hadoop dzieli dane na podstawie liczby maperów ustawionych w programie? Oznacza to, że mając zestaw danych o rozmiarze 50 ... y maper ma 2,5 MB danych?
Poza tym, czy wszystkie mapery działają jednocześnie, czy niektóre mogą być uruchamiane seryjnie?