Jak rozpocząć naukę hadoop [closed]

Jestem web developerem. Posiadam doświadczenie w technologiach internetowych takich jak JavaScript, Jquery, Php, HTML . Znam podstawowe pojęcia C. Ostatnio zainteresowałem się poznaniem MapReduce i hadoop . Zapisałem się więc na równoległe przetwarzanie danych na kursie mapreduce na mojej uczelni. Ponieważ nie mam żadnej wcześniejszej wiedzy programistycznej w dowolnym języku obiektowym, takim jak Java lub C++, jak powinienem iść o nauce Map reduce i hadoop. Mam zacząłem czytać Yahoo hadoop tutoriale a także Oreilly ' s Hadoop the Definitive Guide 2nd.Wydanie .

Chciałbym, żebyście podpowiedzieli mi, Jak mogę się uczyć mapreduce i hadoop.

Author: FrostRogue, 2011-09-06
Source

8 answers

Możesz uzyskać dostęp do Hadoop z wielu różnych języków i wielu zasobów skonfigurować Hadoop dla Ciebie. Możesz wypróbować na przykład Elastic MapReduce firmy Amazon (EMR), bez konieczności kłopotliwego konfigurowania serwerów, pracowników itp. Jest to dobry sposób, aby skupić się na przetwarzaniu MapReduce, opóźniając nieco kwestie uczenia się, jak dobrze korzystać z HDFS, jak zarządzać harmonogramem itp.

Nie jest trudno wyszukać swój ulubiony język i znaleźć Hadoop API dla niego lub przynajmniej kilka samouczków na temat łączenia go z Hadoop. Na przykład, oto przegląd aplikacji PHP uruchomionej na Hadoop: http://www.lunchpauze.com/2007/10/writing-hadoop-mapreduce-program-in-php.html

 5
Author: Iterator,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2011-09-06 01:21:24
 12
Author: Praveen Sripati,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2011-09-06 01:19:10

Odpowiedź 1 :

  • bardzo pożądane jest poznanie Javy. Hadoop jest napisany w Javie. Jego popularny format pliku sekwencyjnego jest zależny od Javy.
  • nawet jeśli używasz Hive lub Pig, prawdopodobnie będziesz musiał kiedyś napisać swój własny UDF. Niektórzy nadal próbują pisać je w innych językach, Ale myślę, że Java ma dla nich bardziej solidne i podstawowe wsparcie.
  • większość narzędzi Hadoop nie jest wystarczająco dojrzała( jak Sqoop, HCatalog itd.), więc zobaczysz wiele błędów Javy ślady i prawdopodobnie będziesz chciał kiedyś zhakować kod źródłowy

ODPOWIEDŹ 2

  • znajomość Javy nie jest wymagana.
  • jak powiedzieli inni, byłoby to bardzo pomocne w zależności od tego, jak skomplikowane może być twoje przetwarzanie. Jednak jest niesamowita ilość, którą można zrobić tylko świnia i powiedzieć Ula.
  • zgadzam się, że jest dość prawdopodobne, że w końcu będziesz musiał napisać funkcję zdefiniowaną przez użytkownika (UDF), jednak napisałem je w Pythonie i bardzo łatwo jest pisać UDFs w Pythonie.
  • oczywiście, jeśli masz bardzo rygorystyczne wymagania dotyczące wydajności, to najlepszym rozwiązaniem byłby program MapReduce oparty na Javie. Jednak wielkie postępy w wydajności są dokonywane przez cały czas zarówno w świni i Ulu.
  • Tak więc krótka odpowiedź na twoje pytanie brzmi: "Nie", Nie jest wymagane, aby znać Javę, aby wykonać Hadoop development.

Źródło : http://www.linkedin.com/groups/Is-it-must-Hadoop-Developer-988957.S.141072851

 4
Author: Abhishek Goel,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2013-06-19 07:45:31

1) Naucz Się Javy. Nie ma mowy, przepraszam.

2) zysk! Po tym będzie bardzo łatwo. Hadoop jest cholernie prosty.

 3
Author: Ernest Friedman-Hill,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2011-09-06 00:20:41

Wygląda na to, że jesteś na dobrej drodze. Zalecam skonfigurowanie niektórych maszyn wirtualnych na komputerze domowym, aby zacząć brać to, co widzisz w książkach i wdrażać je w swoich maszynach wirtualnych. Tak jak w przypadku wielu rzeczy, jedynym sposobem, aby stać się lepszym w czymś, jest praktykowanie tego. Gdy już się do mnie dostaniesz, jestem pewien, że będziesz miał wystarczająco dużo wiedzy, aby rozpocząć mały projekt, aby wdrożyć Hadoop z. Oto kilka przykładów rzeczy, które ludzie zbudowali z Hadoop: Powered By Hadoop

 2
Author: ITOps,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2011-09-06 00:20:06

Przejdź przez Yahoo Hadoop tutorial zanim przejdziesz przez Hadoop the definitive guide . Samouczek Yahoo daje bardzo czyste i łatwe zrozumienie architektury. Myślę, że pojęcia nie są odpowiednio ułożone w książce. To trochę utrudnia studiowanie tego. Więc nie badajcie go razem. Najpierw przejdź do samouczka internetowego.

 2
Author: Nilsaw,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2013-11-12 18:22:54

Właśnie przygotowałem artykuł na ten temat. Świetne zasoby powyżej, ale myślę, że znajdziesz tu dodatkowe wskazówki: http://images.globalknowledge.com/wwwimages/whitepaperpdf/WP_CL_Learning_Hadoop.pdf

 1
Author: rICh,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2013-01-11 16:13:13

Zapraszam na mojego bloga o Big Data - https://oyermolenko.blog . Pracuję z Hadoop od kilku lat i na tym blogu chcę podzielić się moimi doświadczeniami od samego początku. Pochodzę ze środowiska. NET i stanąłem przed kilkoma wyzwaniami związanymi z przełączaniem się z jednego języka na inny. Mój blog jest zorientowany na ludzi, którzy nie pracowali z Hadoop, ale mają podstawowe zaplecze techniczne jak ty. Krok po kroku chcę objąć całą rodzinę usług Big Data, opisz koncepcje i typowe problemy, które napotkałem pracując z nimi. Mam nadzieję, że ci się spodoba

 1
Author: Alex,
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2017-02-03 08:43:03