hadoop
Technicznie jaka jest różnica między s3n, s3a i s3?
Jestem świadomy istnienia https://wiki.apache.org/hadoop/AmazonS3 i następujące słowa:
S3 Native FileSystem (URI schem ...
Jaka jest techniczna różnica leżąca u podstaw tej zmiany? Czy są jakieś dobre artykuły, które mogę przeczytać na ten temat?
Świnia jak policzyć kilka wierszy w aliasie
Zrobiłem coś takiego, aby policzyć liczbę wierszy w aliasie w PIG:
logs = LOAD 'log'
logs_w_one = foreach logs generate 1 a ... nerate SUM(logs_w_one.one);
dump logs_count;
To wydaje się zbyt nieefektywne. Proszę oświeć mnie, jeśli jest lepszy sposób!
Wywołanie zadania mapreduce z prostego programu java
Próbowałem wywołać zadanie mapreduce z prostego programu java w tym samym pakiecie.. Próbowałem odwołać się do pliku JAR mapr ... rg.add("/root/Desktop/input");
arg.add(output);
RunJar.main((String[])arg.toArray(new String[0]));
}
}
czy ktoś uważa kaskadowanie dla Hadoop Map Reduce za przydatne?
Próbowałem Kaskadować, ale nie widzę żadnej przewagi nad klasycznym podejściem map reduce do pisania zadań.
Map Reduce jobs ... ym podejściem?
W jakim scenariuszu powinienem wybrać kaskadowo nad klasycznym podejściem? Ktoś go używa i jest szczęśliwy?
Jak Hive porównuje się do HBase?
Jestem zainteresowany dowiedzeniem się, jak niedawno wydany ( http://mirror.facebook.com/facebook/hive/hadoop-0.17 / ) Hive p ... Interfejs podobny do SQL używany przez Hive jest bardzo korzystniejszy od zaimplementowanego przez nas interfejsu API HBase.
Dlaczego spark-shell zawodzi z NullPointerException?
Próbuję wykonać spark-shell w systemie Windows 10, ale ciągle dostaję ten błąd za każdym razem, gdy go uruchamiam.
Użyłem za ... ^
<console>:10: error: not found: value sqlContext
import sqlContext.sql
^
Różnice między Amazon S3 i S3n w Hadoop
Kiedy podłączyłem mój Klaster Hadoop do Amazon storage i pobrałem pliki do HDFS, stwierdziłem, że s3:// nie działa. Szukając ... . Kiedy użyłem S3n zadziałało. Nie rozumiem różnic pomiędzy używaniem S3 i {[1] } z moim klastrem Hadoop, może ktoś wyjaśnić?
Gdzie hadoop mapreduce framework wysyła mój System.Wynocha.Print () statements? (stdout)
Chcę debugować skrypt mapreduce i bez większych problemów próbowałem umieścić kilka instrukcji print w moim programie. Ale nie mogę ich znaleźć w żadnym z dzienników.
Powinienem zadzwonić do ugi.checkktgtandreloginfromkeytab () przed każdą akcją na hadoop?
W mojej aplikacji serwerowej łączę się z Kerberos secured Hadoop cluster z mojej aplikacji java. Używam różnych komponentów j ... to zrobić przed każdym pojedynczym wywołaniem do ugi.doAs(...) czy raczej ustawić timer i wywołać go okresowo (jak często)?
Apache Storm w porównaniu do Hadoop
Jak Storm porównuje się do Hadoop? Hadoop wydaje się być standardem defacto dla wielkoskalowego przetwarzania wsadowego typu open-source. czy Storm ma jakąś przewagę nad hadoopem? a może są zupełnie inne?
Po co nam ZooKeeper w stosie Hadoop?
Jestem nowy w Hadoop/ZooKeeper. Nie mogę zrozumieć celu używania ZooKeeper z Hadoop, czy ZooKeeper zapisuje dane w Hadoop? Jeśli nie, to dlaczego używamy ZooKeeper z Hadoop?
Jak zrobić tabelę HIVE z danych JSON?
Chcę utworzyć tabelę Hive z niektórych danych JSON (zagnieżdżonych) i uruchomić na niej zapytania? Czy to w ogóle możliwe?
... ł tabelą Hive?
Czy ktoś ma jakieś przykładowe polecenie, żeby mnie uruchomić, nie mogę znaleźć nic przydatnego w Google ...
Hadoop java. io. IOException: Mkdirs nie udało się utworzyć /some / path
Kiedy próbuję uruchomić swoją pracę, dostaję następujący wyjątek:
Exception in thread "main" java.io.IOException: Mkdirs fa ... nia). Również ścieżka jest poprawnie zdefiniowana w hadoop configs. Wszelkie sugestie będą mile widziane. Używam hadoop 0.21.
Ustawianie liczby zadań na mapie i zmniejszanie zadań
Aktualnie prowadzę zadanie poprawiłem liczbę zadań map na 20 ale i otrzymałem wyższą liczbę. Ustawiłem również zadanie reduce ... p output records=40000000
11/07/30 19:48:56 INFO mapred.JobClient: Reduce input records=40000000
[hcrc1425n30]s0907855:
Proces Datanode nie działa w Hadoop
Skonfigurowałem i skonfigurowałem multi-node Hadoop cluster używając tego tutoriala .
Kiedy wpiszę start-all.sh polecenie, ... DOWN_MSG: Shutting down DataNode at jawwadtest1/198.101.220.90
************************************************************/
Hadoop DistributedCache jest przestarzały - jakie jest preferowane API?
Moje zadania z mapą wymagają pewnych danych konfiguracyjnych, które chciałbym rozpowszechnić poprzez rozproszoną pamięć podrę ... 2.2.0.
Jaki jest nowy preferowany sposób, aby to osiągnąć? Czy istnieje aktualny przykład lub samouczek dotyczący tego API?
Czy jest jakiś sposób, aby uzyskać nazwę kolumny wraz z wyjściem podczas wykonywania dowolnego zapytania w Hive?
W Hive, kiedy wykonujemy zapytanie (jak: select * from employee), nie otrzymujemy żadnych nazw kolumn w wyjściu (jak nazwa, w ... wartości.
Czy Jest jakiś sposób, aby nazwy kolumn były wyświetlane wraz z wyjściem podczas wykonywania dowolnego zapytania?
Odmowa uprawnień w hdfs
Jestem nowy w hadoop distributed file system, zrobiłem kompletną instalację hadoop single node na moim komputerze.ale potem, ... ception: Permission denied: user=root, access=WRITE, inode="":hduser:supergroup:rwxr-xr-x
hduser@ubuntu:/usr/local/hadoop$
Zbieraj SET() w ulu, zachowuj duplikaty?
Czy istnieje sposób, aby utrzymać duplikaty w zbiorze w ulu, lub symulować rodzaj zbiorczego zbioru, który Ul zapewnia przy u ... ======================
ad3jkfk Array<int>(4,4,2)
fkjh43f Array<int>(1,8,8)
rjkhd93 Array<int>(7,4,7)
Jak załadować dane do hive z HDFS bez usuwania pliku źródłowego?
Podczas ładowania danych z HDFS do Hive, używając
LOAD DATA INPATH 'hdfs_file' INTO TABLE tablename;
Polecenie, wygląda n ... alogu hive/warehouse.
Czy to możliwe (jak?), aby skopiować go zamiast przenosić, aby plik mógł być używany przez inny proces.