Apache Spark vs. Apache Storm [zamknięty]

Apache Spark jest rozproszoną platformą do analizy danych w pamięci-przede wszystkim ukierunkowaną na przyspieszenie zadań analizy wsadowej, iteracyjnych zadań uczenia maszynowego, interaktywnych zapytań i przetwarzania Wykresów.

Jednym z podstawowych wyróżników Spark jest wykorzystanie RDDs lub odpornych rozproszonych zbiorów danych. RDD są świetne do pipelining operatorów równoległych do obliczeń i są, z definicji, niezmienne, co pozwala iskrzyć unikalną formę tolerancji błędów w oparciu o informacje o linii. Jeśli jesteś zainteresowany, na przykład, wykonaniem zadania MapReduce Hadoop znacznie szybciej, Spark jest świetną opcją(chociaż należy wziąć pod uwagę wymagania dotyczące pamięci).

Apache Storm koncentruje się na przetwarzaniu strumieni lub co niektórzy nazywają złożonym przetwarzaniem zdarzeń. Storm implementuje metodę odporną na błędy do wykonywania obliczeń lub rurociągów wielu obliczeń na zdarzeniu, gdy wpływa ono do systemu. Można użyć Storm przekształcić nieustrukturyzowane dane, gdy przepływa do systemu w pożądanym format.

Storm i Spark skupiają się na dość różnych przypadkach użycia. Bardziej "jabłka do jabłek" porównanie byłoby między Storm Tridenti Spark Streaming. Ponieważ RDD Spark są niezmienne, Spark Streaming implementuje metodę "grupowania" przychodzących aktualizacji w zdefiniowanych przez użytkownika odstępach czasu, które są przekształcane w własne RDD. Operatory równoległe Spark mogą następnie wykonywać obliczenia na tych RDD. Różni się od Storm, który zajmuje się każdym wydarzenie indywidualnie.

Edit: odkryte to dzisiaj