Najlepszy rozproszony system plików dla commodity linux storage farm [zamknięty]
Mam wiele zapasowych serwerów Intel linux (setki) i chcę ich użyć do rozproszonego systemu plików w środowisku hostingu i udostępniania plików. To nie jest dla aplikacji HPC, więc wysoka wydajność nie jest krytyczna. Głównym wymogiem jest wysoka dostępność, jeśli jeden serwer przechodzi w tryb offline, dane przechowywane na jego dyskach twardych są nadal dostępne z innych węzłów. Musi działać przez TCP / IP i zapewniać standardowe uprawnienia do plików POSIX.
Spojrzałem na po:
-
Lustre ( http://wiki.lustre.org/index.php?title=Main_Page ): Comes naprawdę blisko, ale nie zapewnia redundancji dla danych na węźle. Musisz zrobić HA danych za pomocą RAID lub DRBD. Wspierane przez Sun I Open Source, więc powinno być przez jakiś czas
Gfarm ( http://datafarm.apgrid.org/): wygląda na to, że zapewnia redundancję, ale kosztem złożoności i łatwości konserwacji. Nie tak dobrze wspierane jak Połysk.
Czy ktoś ma jakieś doświadczenie z tymi lub innymi systemami, które mogą działać?
7 answers
Sprawdź również ]}
Edit (sierpień-2012): Ceph w końcu się przygotowuje. Niedawno autorzy utworzyli Inktank , niezależną firmę sprzedającą komercyjne wsparcie dla it. Zgodnie z niektórymi prezentacjami, montowalny system plików zgodny z POSIX jest najwyższą warstwą i tak naprawdę nie jest jeszcze testowany, ale dolne warstwy są używane w produkcji od jakiegoś czasu. Ciekawą częścią jest warstwa RADOS, która przedstawia obiektowa pamięć masowa z "natywnym" dostępem przez Bibliotekę Ten film jest dobrym opisem filozofii, architektury, możliwości i aktualnego stanu.librados (dostępną w kilku językach) oraz API resp kompatybilne z Amazon S3. Każdy z nich sprawia, że jest więcej niż odpowiedni do dodawania ogromnej pamięci masowej do usługi internetowej.
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2012-08-31 16:13:06
Moim zdaniem najlepszym systemem plików dla Linuksa jest MooseFS, jest całkiem nowy, ale miałem okazję porównać go z Ceph i Lustre i mówię na pewno, że MooseFS jest najlepszy.
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2011-10-11 09:56:53
Gluster robi się w tej chwili dość dużo prasy:
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2011-01-06 20:21:16
Jeśli ktoś nie zmusza cię do korzystania z niego, polecam również użycie czegokolwiek innego niż Lustre. Z tego, co słyszę od innych i co również sprawiało mi koszmary od dłuższego czasu, wynika fakt, że Lustre dość łatwo psuje się w różnego rodzaju sytuacjach. A jeśli tylko jeden klient w systemie się zepsuje, przechodzi w niekończący się tryb do_nothing_loop, zazwyczaj trzymając jakąś ważną globalną blokadę - więc następnym razem inny klient spróbuje uzyskać dostęp do tego samego informacja, będzie również wisi. W związku z tym często kończysz na ponownym uruchomieniu całego klastra, co, jak sądzę, jest czymś, czego normalnie starasz się uniknąć;)
Nowoczesne równoległe systemy plików jak FhGFS (http://www.fhgfs.com) są tu znacznie bardziej wytrzymałe, a także pozwalają robić ładne rzeczy, takie jak uruchamianie komponentów serwera i klienta na tych samych maszynach (chociaż wbudowane funkcje HA są nadal w fazie rozwoju, jak powiedział mi ktoś z ich zespołu, ale ich implementacja będzie całkiem niesamowita z co słyszałem).
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2011-06-19 12:06:56
Lustre pracuje dla nas. Nie jest idealny, ale to jedyna rzecz, której próbowaliśmy, która nie zepsuła się przez obciążenie. Wciąż od czasu do czasu dostajemy LBUGS i radzenie sobie z systemami plików 100TB + nigdy nie jest łatwe, ale system Lustre zadziałał i zwiększył zarówno wydajność, jak i dostępność.
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2010-11-22 02:02:28
Ceph wygląda na obiecujące wejście na arenę. Strona twierdzi, że nie jest jeszcze gotowa do użytku produkcyjnego.
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2009-11-27 16:26:10
Czytałem dużo o rozproszonych systemach plików i uważam, że FhGFS jest najlepszy.
Warto spróbować. Zobacz więcej na:
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/doraprojects.net/template/agent.layouts/content.php on line 54
2011-06-12 16:13:14