Apache Spark vs Akka

Spark służy do przetwarzania danych, czym Akka jest do zarządzania przepływem danych i instrukcji w aplikacji.

TL; DR

Spark i Akka to dwa różne frameworki o różnych zastosowaniach i zastosowaniach.

Podczas tworzenia aplikacji, rozproszonych lub innych, może być konieczne zaplanowanie i zarządzanie zadaniami za pomocą podejścia równoległego, takiego jak użycie wątków. Wyobraź sobie ogromną aplikację z dużą ilością wątków. Jak skomplikowane byłoby to?

TypeSafe ' s Akka toolkit pozwala na użycie systemów Actor (pierwotnie wywodzących się z Erlanga), które dają warstwę abstrakcji nad wątkami. Aktorzy ci są w stanie komunikować się ze sobą, przekazując wszystko i wszystko jako wiadomości, i robić rzeczy równolegle i bez blokowania innego kodu.

Akka daje Ci wisienkę na torcie, zapewniając Ci sposoby prowadzenia aktorów w rozproszonym środowisku.

Apache Spark, z drugiej strony, jest frameworkiem przetwarzania danych dla ogromnych zbiorów danych, które nie mogą być obsługiwane ręcznie. Spark wykorzystuje to, co nazywamy RDD (lub Resilient Distributed Datasets), który jest rozproszoną listą jak warstwa abstrakcji nad tradycyjnymi strukturami danych, dzięki czemu operacje mogą być wykonywane na różnych węzłach równolegle do siebie.

Spark wykorzystuje zestaw narzędzi Akka do planowania zadań między różnymi węzłami.

Apache Spark:

Apache Spark™ to szybki i ogólny silnik do przetwarzania danych na dużą skalę.

Spark uruchamia programy do 100x szybciej niż Hadoop MapReduce w pamięci lub 10x szybciej na dysku.

Spark daje nam kompleksowy, Ujednolicony framework do zarządzania wymaganiami przetwarzania dużych danych za pomocą różnych zestawów danych, które mają zróżnicowany charakter (dane tekstowe, dane wykresowe itp.), a także źródła danych (batch v. dane strumieniowe w czasie rzeczywistym).

1. Dobrze integruje się z ekosystemem Hadoop i źródłami danych (HDFS, Amazon S3, Hive, HBase, Cassandra, itp.)

2. Może działać na klastrach zarządzanych przez Hadoop YARN lub Apache Mesos, a także może działać w trybie Standalone

3. Zapewnia API w Scala, Java i Python , z obsługą innych języków (takich jak R) w drodze

4. W oprócz mapowania i zmniejszania operacji obsługuje zapytania SQL, strumieniowanie danych, uczenie maszynowe i przetwarzanie danych Wykresów.

Powinniśmy spojrzeć na Spark jako alternatywę dla Hadoop MapReduce, a nie zamiennik Hadoop.

główne przypadki użycia Spark:

1. algorytmy uczenia maszynowego
2. Interactive analityka
3. Streaming danych

Akka: from Letitcrash

Akka to oparty na zdarzeniach framework middleware, do tworzenia wydajnych i niezawodnych aplikacji rozproszonych w Javie i Scali. Akka oddziela logikę biznesową od mechanizmów niskopoziomowych, takich jak wątki, zamki i nieblokujące IO. Dzięki akce możesz łatwo skonfigurować sposób tworzenia, niszczenia, planowania i ponownego uruchamiania aktorów w przypadku awarii.

Zobacz ten typuje artykuł dla lepszego zrozumienia RAM aktorskich.

Akka zapewnia tolerancję błędów na podstawie hierarchii przełożonych. Każdy aktor może stworzyć innych aktorów, których następnie będzie nadzorował, podejmując decyzje, czy powinny zostać wznowione, wznowione, wycofane lub czy problem powinien zostać eskalowany.

Zobacz Akka artykuł & więc pytania

Główne przypadki użycia:

1. przetwarzanie transakcji
2. współbieżność / paralelizm
3. Symulacja
4. przetwarzanie wsadowe
5. Gry i zakłady
6. Złożone Przetwarzanie Strumienia Zdarzeń