hadoop
Jaki jest cel "uber mode" w hadoop?
Cześć jestem Big Data newbie. Przeszukałem cały internet, aby znaleźć, co dokładnie uber mode jest. Im więcej Szukałem, tym b ... je pytania?
Do czego służy tryb uber?
czy to działa inaczej w mapred 1.x i 2.x?
i gdzie mogę znaleźć ustawienie dla niego?
MapReduce czy Spark? [zamknięte]
Przetestowałem hadoop i mapreduce z cloudera i uznałem to za całkiem fajne, myślałem, że jestem najnowszym i odpowiednim rozw ... ? Czy jest coś więcej, Co MapReduce może zrobić, czy może MapReduce być bardziej wydajne niż Spark w określonym kontekście ?
MapReduce alternatives
Czy są jakieś alternatywne paradygmaty do MapReduce (Google, Hadoop)? Czy jest jakiś inny rozsądny sposób, jak podzielić i połączyć duże problemy?
name node Vs secondary name node
Hadoop jest spójny i odporny na podział, tzn. należy do kategorii CP teorii CAP.
Hadoop nie jest dostępny, ponieważ wszystki ... jest główna różnica między nazwą węzeł i nazwa Drugorzędna węzeł, który sprawia, że hadoop jest niedostępny.
Z góry dzięki.
Jakie dodatkowe korzyści przynosi dotychczasowa Mapa?
Yarn różni się warstwą infrastruktury od oryginalnej mapy w następujący sposób:
W YARN, job tracker jest podzielony na dwa ... ne treści na temat motywacji przędzy i jej korzyści w stosunku do istniejącego wdrażania Map-reduce, proszę wskaż mi to samo.
Jak przetransponować / przestawić dane w hive?
Wiem, że nie ma bezpośredniego sposobu na transpozycję danych do ula. Podążyłem za tym pytaniem: Czy Jest jakiś sposób na tra ... ć z tego kroku do tabeli przestawnej / transponowanej, którą chcę.
Każda pomoc w tym, jak postępować będzie świetnie!
Dzięki.
Twitter (Social networking) Dataset
Szukam Twittera lub innych serwisów społecznościowych do mojego projektu. Obecnie mam zestaw danych CAW 2.0 twitter, ale zawi ... wittera.
Czy ktoś może mi podać dobre strony do znajdowania tego typu zbiorów danych? I nakarmię hadoop ' a zestawem danych.
Od czego zacząć od obliczeń rozproszonych?
Interesuje mnie nauka technik przetwarzania rozproszonego. Jako programista Javy jestem skłonny zacząć od Hadoop . Czy mógłbyś polecić jakieś książki/tutoriale / artykuły na początek?
Hadoop 2.2.0: Ostrzeżenie "nazwa lub usługa nieznana"
Moim celem jest uruchomienie hadoop 2.2.0 na Ubuntu 12.4 . udało mi się to zrobić, ale gdy uruchamiam następujące polecenie: ... t;libfile>', or link it with '-z noexecstack'.
0.0.0.0
]
Jaki może być problem i jak go rozwiązać?
Proszę pomóż mi
java.lang.RuntimeException: nie można utworzyć instancji org.Apacz.hadoop.hive.ql.metadane.SessionHiveMetaStoreClient
Mam zainstalowane wersje 2.7.1 i apache-hive - 1.2.1 na ubuntu 14.0.
Dlaczego występuje ten błąd ?
czy wymagana jest insta ... #HIVE home directory configuration
export HIVE_HOME=/usr/local/hive/apache-hive-1.2.1-bin
export PATH="$PATH:$HIVE_HOME/bin"
Zachowanie parametru " mapred./ min.split.rozmiar " w HDFS
Parametr " mapred./ min.split.rozmiar " zmienia rozmiar bloku, w którym plik został napisany wcześniej?
Zakładając sytuację, ... 64MB);
2 - pojawi się nowy podział mojego pliku wejściowego (wcześniej dołączonego HDFS) do zajmowania bloków w HDFS 128M;
Jak dane są dzielone w Hadoop
Czy Hadoop dzieli dane na podstawie liczby maperów ustawionych w programie? Oznacza to, że mając zestaw danych o rozmiarze 50 ... y maper ma 2,5 MB danych?
Poza tym, czy wszystkie mapery działają jednocześnie, czy niektóre mogą być uruchamiane seryjnie?
Jak działa proces przełączania awaryjnego Hadoop Namenode?
Hadoop defintive guide says -
Każdy Namenode uruchamia lekki proces kontrolera przełączania awaryjnego, którego
job i ... ię?
Kto wysyła bicie serca komu?
Gdzie przebiega ten proces?
Jak wykrywa awarię namenode?
To kogo zawiadamia o przejściu?
Jaka jest najbardziej dojrzała biblioteka do budowania potoku analizy danych w Javie / Scali dla Hadoop?
Znalazłem ostatnio wiele opcji i interesujących w ich porównaniach przede wszystkim dojrzałości i stabilności.
Crunch - ht ... /www.cascading.org/
oparzenie https://github.com/twitter/scalding
FlumeJava
Scoobi - https://github.com/NICTA/scoobi/
Sortowanie dużych danych za pomocą MapReduce / Hadoop
Czytam o MapReduce i następujące rzeczy mnie mylą.
Załóżmy, że mamy Plik z 1 milionem wpisów (liczb całkowitych) i chcemy je ... jednym miejscu?. Problem polega na połączeniu 1 miliona wpisów w jednym miejscu. Tak, czy coś przeoczyłem?
Dzięki,
Chander
Dlaczego Hadoop raport "niezdrowy węzeł local-dirs i log-dirs są złe"?
[1]}próbuję skonfigurować klaster Hadoop 2.6.0 z pojedynczym węzłem na moim komputerze.
On visiting http://localhost:8088/c ... 1 local-dirs are bad: /tmp/hadoop-hduser/nm-local-dir;
1/1 log-dirs are bad: /usr/local/hadoop/logs/userlogs
Co się stało?
Co dokładnie oznacza Non DFS?
To widziałem ostatnio na web UI
Configured Capacity : 232.5 GB
DFS Used : 112.44 GB
Non DFS Used : 119.4 ... a, skąd wzięły się nie używane DFS i dlaczego zajmuje to tyle capcity więcej niż używane DFS.
Co się stało? Popełniłem błąd?
Różnica między 'hadoop dfs' i ' hadoop fs '[zamknięte]
Zobaczyłem dfs polecenie, potem poszedłem do dokumentacji, ale nie jestem w stanie zrozumieć.
Z mojego punktu widzenia fs i dfs działają podobnie. Czy ktoś daje dokładną różnicę?
Jak Mogę uzyskać dostęp do S3 / S3N z lokalnej instalacji Hadoop 2.6?
[4]}próbuję odtworzyć Amazon EMR cluster na mojej lokalnej maszynie. W tym celu zainstalowałem najnowszą stabilną wersję Had ... słoików, aby móc czytać S3, ale nie mam pojęcia, skąd je wziąć. Wszelkie wskazówki w tym kierunku będą bardzo mile widziane.
Hadoop safemode recovery-trwa zbyt długo!
Mam Klaster Hadoop z 18 węzłami danych.
Zrestartowałem nazwę węzła ponad dwie godziny temu i nazwa węzła jest nadal w trybie ... s(Subject.java:416)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:960)
Każda rada jest mile widziana.
Dzięki!