distributed-computing
Objaśnienie Apache ZooKeeper
Staram się zrozumieć, jak to działa i co robi. Czy jest jakaś aplikacja, która jest porównywalna do ZooKeeper?
Jeśli wiesz, ... urceforge.net/index.sf.shtml , więc nie ma więcej takich usług? Czy jest to tak proste, jak tylko replikacja obsługa serwera?
Czym są pracownicy, wykonawcy, rdzenie w samodzielnym klastrze Spark?
Przeczytałem Przegląd trybu klastra i nadal nie mogę zrozumieć różnych procesów w klastrze Spark Standalone i równoległoś ... nawcę? Ile rdzeni?
W jaki sposób ustala się liczbę wykonawców na aplikację. Czy zawsze jest taka sama jak liczba pracowników?
Spark-repartition () vs coalesce()
Według nauki Spark
Należy pamiętać, że repartycjonowanie danych jest dość kosztowną operacją.
Spark ma również zoptyma ... niejszona.
Jeśli partycje są rozłożone na wiele maszyn i coalesce () jest uruchomione, jak może uniknąć przenoszenia danych?
Różnica między przetwarzaniem w chmurze a przetwarzaniem rozproszonym? [zamknięte]
zamknięte . To pytanie musi być bardziej skoncentrowane . Obecnie nie przyjmuje odpowiedzi.
... ologiami.
Również, jeśli ktoś mógłby wskazać mi przydatne zasoby dla cloud computing, byłoby to bardzo doceniane.
Thanks
Różnica między przetwarzaniem w chmurze a przetwarzaniem rozproszonym?
Chciałem się dowiedzieć o różnicy w cloud computing i distributed computing. Przeczytałem artykuł o cloud computingu i miałem ... iami.
Również, jeśli ktoś mógłby wskazać mi przydatne zasoby dla cloud computing, byłoby to bardzo mile widziane.
Thanks
Co decyduje o offsecie konsumenckim Kafka?
Jestem stosunkowo nowy w Kafce. Zrobiłem z tym trochę eksperymentu, ale kilka rzeczy nie jest dla mnie niejasnych w odniesien ... jest zawsze deterministyczne ? Proszę nie wahaj się skomentować, jeśli cokolwiek w moim pytaniu jest niejasne. Z góry dzięki.
Jakie są podstawy systemów rozproszonych w czasie rzeczywistym?
Biorę się za kontraktowanie i miałem dzisiaj pierwszą rozmowę kwalifikacyjną na stanowisko wykonawcy. Zdałem go jednak powied ... ym. Podobało mu się, ale powiedział, że potrzebuje więcej na drugim wywiadzie.
Każda pomoc będzie naprawdę mile widziana,
Trwała pamięć masowa dla Apache Mesos
Ostatnio odkryłem coś takiego jak Apache Mezos.
To wszystko wygląda niesamowicie we wszystkich demach i przykładach. Mogę so ... tanie w dużej mierze skopiowane z Persistent storage dla Apache Mesos , zadane przez zerkms na programistów Stack Exchange .
Jak działa Spark aggregate function-aggregateByKey?
Powiedzmy, że mam system dystrybucji na 3 węzłach i moje dane są dystrybuowane między tymi węzłami. na przykład, mam test.pli ... ską? Czy ktoś może wykorzystać powyższy przykład do wyjaśnienia? Po przetasowaniu gdzie znajdują się wiersze na każdym węzeł?
Najlepszy rozproszony system plików dla commodity linux storage farm [zamknięty]
Mam wiele zapasowych serwerów Intel linux (setki) i chcę ich użyć do rozproszonego systemu plików w środowisku hostingu i udo ... cji. Nie tak dobrze wspierane jak Połysk.
Czy ktoś ma jakieś doświadczenie z tymi lub innymi systemami, które mogą działać?
C++ Winsock P2P
Scenariusz
Czy ktoś ma jakieś dobre przykłady sieci peer-to-peer (p2p) w C++ używając Winsock?
Jest to wymóg, który mam dla ... mile widziana.
EDIT
I chciałbym unikać używania bibliotek, aby zrozumieć podstawowy kod źródłowy i poszerzyć swoją wiedzę.
Czym jest zadanie w Spark? Jak Spark worker wykonuje plik jar?
Po przeczytaniu jakiegoś dokumentu na http://spark.apache.org/docs/0.8.0/cluster-overview.html , Mam pytanie, które chcę wyj ... ane do pracowników? Jeśli tak, to w jaki sposób pracownik to wykonuje? Jak java -cp "application-test.jar" step1 i tak dalej?
"Ewentualna konsystencja" vs "silna konsystencja" vs "silna konsystencja"?
Natknąłem się na pojęcie "mocnej konsekwencji".
Czy ma być mocniejsza od" ewentualnej konsystencji", ale słabsza od"mocnej ko ... _consistency#Strong_Eventual_Consistency
http://en.wikipedia.org/wiki/Conflict-free_replicated_data_type
Wielkie dzięki.
Zmień rozmiar podziału pliku w Hadoop
Mam kilka małych plików w katalogu HDFS. Chociaż ilość plików jest stosunkowo niewielka, ilość czasu przetwarzania na plik j ... powiedzmy 10kb? Czy muszę zaimplementować własne InputFormat i RecordReader, czy jest jakiś parametr do Ustawienia? Dzięki.
Cluster Shared Cache [zamknięty]
Szukam frameworka java, który pozwoliłby mi na współdzielenie pamięci podręcznej pomiędzy wieloma JVMs.
Potrzebowałbym czego ... już rozproszonej mapy. Będziemy używać JGroups dla frameworka sygnalizacyjnego niskiego poziomu. Dziękuję wszystkim za pomoc.
Algorytm Parallel top ten dla danych rozproszonych
To jest pytanie z wywiadu. Załóżmy, że jest kilka komputerów i każdy komputer przechowuje bardzo duży plik dziennika odwiedza ... rozumiem, ważne jest również, aby obliczenia były równoległe i wykorzystywały wszystkie dane Komputery.
Jak rozwiążesz to?
Różnice między AMQP i ZeroMQ
Ostatnio zaczął przyglądać się technologiom AMQP (RabbitMQ, ActiveMQ) i ZeroMQ, interesując się systemami rozproszonymi/oblic ... eroMQ wydaje się być nowym pretendentem do AMQP, wydaje się być znacznie szybszy, jedynym problemem będą adopcje / wdrożenia?
Jak napisać do CSV w Spark
Próbuję znaleźć skuteczny sposób na zapisanie wyniku mojej pracy Spark jako pliku csv. Używam Sparka z Hadoop i do tej pory w ... są zapisywane jako part-00000.
Jakieś pomysły, jak sprawić, by moje zapisywanie spark do pliku o określonej nazwie pliku?
Od czego zacząć od obliczeń rozproszonych?
Interesuje mnie nauka technik przetwarzania rozproszonego. Jako programista Javy jestem skłonny zacząć od Hadoop . Czy mógłbyś polecić jakieś książki/tutoriale / artykuły na początek?
Protokoły/algorytmy bicia serca lub najlepsze praktyki
Ostatnio dodałem kilka możliwości równoważenia obciążenia do oprogramowania, które napisałem. Jest to aplikacja sieciowa, któ ... powiedź Matta Davisa ponieważ była najbliższa i wskazał dobry pomysł na użycie multicastu.
Dziękuję wszystkim za Wasz czas~
- 1
- 2