Implementacja MapReduce w Scali

Http://hadoop.apache.org / jest agnostykiem językowym.

Osobiście stałem się wielkim fanem Spark

Http://spark-project.org/

Masz możliwość wykonywania obliczeń w klastrze pamięci, znacznie zmniejszając koszty, których doświadczysz podczas operacji mapowania wymagających dużej ilości dysków.

Być może zainteresuje cię scouchdb, interfejs Scala do używania CouchDB.

Innym pomysłem jest użycie GridGain . Skaladudesmają przykład użycia GridGain ze scalą. I tutaj{[2] } jest inny przykład.

Jakiś czas temu napotkałem dokładnie ten problem i skończyło się na napisaniu trochę infrastruktury, aby ułatwić korzystanie z Hadoop od Scali. Używałem go sam przez jakiś czas, ale w końcu udało mi się umieścić go w sieci. Nazywa się (bardzo oryginalnie) ScalaHadoop .

Dla API scala na szczycie hadoop sprawdź Scoobi , jest nadal w ciężkim rozwoju, ale pokazuje wiele obietnic. W inkubatorze Scala Istnieje również pewien wysiłek, aby zaimplementować rozproszone kolekcje na szczycie hadoop, ale ten wysiłek nie jest jeszcze użyteczny.

Istnieje również nowy wrapper Scali do kaskadowania z Twittera, o nazwie Scalding . Po bardzo krótkim przejrzeniu dokumentacji do oparzenia wydaje się że podczas gdy sprawia, że integracja z kaskadowe gładsze to nadal robi nie rozwiązuje tego, co widzę jako główny problem z kaskadowaniem: bezpieczeństwo typu. Każda operacja w kaskadowaniu działa na krotkach kaskadowych (w zasadzie lista wartości pól z oddzielnym schematem lub bez), co oznacza, że błędy typu, czyli łączenie klucza jako ciągu znaków i klucza jako długich przewodów do awarii w czasie biegu.

Do dalszego punktu jshena:

Hadoop streaming po prostu używa gniazd. używając strumieni unix, Twój kod (dowolny język) musi być po prostu w stanie odczytywać ze standardowego wejścia i wyprowadzać strumienie rozdzielane tabulatorami. zaimplementuj maper i w razie potrzeby reduktor (a jeśli to stosowne, skonfiguruj go jako kombiner).