Różnice Dystrybucji Hadoop

Disclaimer: staż w Cloudera tego lata (ale niektórzy z moich najlepszych przyjaciół są w Yahoo! :-))

Dystrybucja Yahoo jest wersją Hadoop 20, którą uruchamiają (ran?) na niektórych podzbiorach ich gromad. Zawiera zestaw łatek dla stabilności, poprawek błędów itp. Jest to wydanie źródłowe; nie ma przyjaznych dla administratorów funkcji, takich jak pakiety RPM czy Debiana itp.

Dystrybucją Cloudera są pakiety w postaci rpms i DEB (dostępne jest również źródło). Oznacza to, że można uzyskać aktualizacje metodami standardowymi itp. Zawiera również poprawki stabilności i błędów. Jest on stale utrzymywany (nie mówiąc, że Yahoo nie jest-przypuszczam, że można po prostu przejść na github i sprawdzić, kiedy ostatnio go zaktualizowali). Pakuje również świnie i ule.

Dystrybucja Hadoop 20 firmy Cloudera jest w wersji beta, a 18 jest uważana za stabilną (więcej na ten temat na blogu Cloudera). Wersja 18 zawiera również pakiety dla Ula i świni; za 20 trzeba je zbudować samemu (nie ma oficjalne wydania Pig lub Hive, które obsługują jeszcze 20, chociaż istnieją patche). Wersje Cloudera i Yahoo 20 mogą znacznie nakładać się na siebie; obie zawierają manifesty, więc możesz to sprawdzić. Najnowsza dokumentacja dystrybucji Cloudera znajduje się na http://archive.cloudera.com

Yahoo nie zapewnia wsparcia dla ich dystrybucji; zapewniają ich poprawioną wersję jako usługę dla społeczności, więc ludzie, którzy są zainteresowani mogą zbudować to, co działa Yahoo wewnętrznie. Biorąc pod uwagę wielkość klastrów Yahoo, jest to znaczący wkład, zwłaszcza jeśli nie jesteś deweloperem Hadoop, który śledzi JIRAs cały czas. Cloudera obsługuje ich dystrybucję komercyjnie, a także zapewnia wsparcie społeczności za pośrednictwem list dyskusyjnych Hadoop oraz, w przypadku problemów związanych z dystrybucją, na stronie GetSatisfaction.

Oba są całkiem różne od vanilla Apache distro, ponieważ łatają je między wydaniami (wersja cloudera 20 mA 60+ patches!).