AWS EFS vs EBS vs S3 (różnice & kiedy używać?)

Zastanawiam się, dlaczego ludzie nie podkreślają najbardziej przekonujących powodów na rzecz EFS. EFS może być montowany na więcej niż jednej instancji EC2 w tym samym czasie, umożliwiając dostęp do plików na EFS w tym samym czasie.

(Edit 2020 maj, EBS obsługuje również montaż do wielu EC2 w tym samym czasie, Zobacz: https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ebs-volumes-multi.html)

Poprawianie porównania:

• S3 jest magazynem dostępnym wszędzie tam, gdzie
EBS to urządzenie, które można zamontować na EC2
• EFS jest systemem plików, który można montować na kilku instancjach EC2 jednocześnie

W tym momencie porównywanie EFS i EBS jest trochę przedwczesne - wydajność EFS nie jest znana, ani jego niezawodność nie jest znana.

Dlaczego używasz S3?

• nie masz potrzeby, aby pliki były "lokalne" do jednego lub więcej instancji EC2.
• (efektywnie) nieskończona pojemność
• wbudowane Serwery WWW, uwierzytelnianie

Aby dodać do porównania: (burst)Odczyt/Zapis-wydajność na EFS zależy od zebranych punktów. Zbieranie kredytów zależy od ilości przechowywanych na nim danych. Więcej daty - > więcej kredytów. Oznacza to, że gdy potrzebujesz tylko kilku GB pamięci, która jest często czytana lub zapisywana, wkrótce zabraknie Ci kredytów, a througphput spadnie do około 50kb / s. Jedynym sposobem na naprawienie tego (w moim przypadku) było dodanie dużych atrap plików, aby zwiększyć kredyty rate są zdobyte. Jednak więcej pamięci - > więcej koszt.

Oprócz ceny i funkcji, przepustowość również bardzo się różni (jak wspomniano przez user1677120):

EBS

Zaczerpnięte z EBS docs :

| EBS volume | Throughput |           Throughput          |
|    type    |   MiB/s    |         dependent on..        |
|------------|------------|-------------------------------|
| gp2 (SSD)  | 128-160    | volume size                   |
| io1 (SSD)  | 0.25-500   | IOPS (256Kib/s per IOPS)      |
| st1 (HDD)  | 20-500     | volume size (40Mib/s per TiB) |
| sc1 (HDD)  | 6-250      | volume size (12Mib/s per TiB) |

Zauważ, że dla io1, st1 i sc1 możesz zwiększyć przepustowość ruchu do co najmniej 125mib/s, ale do 500Mib / s, W zależności od wielkości woluminu.

EFS

Zaczerpnięte zEFS docs

| Filesystem |    Base    |   Burst    |
|    Size    | Throughput | Throughput |
|    GiB     |   MiB/s    |   MiB/s    |
|------------|------------|------------|
|         10 |        0.5 |        100 |
|        256 |       12.5 |        100 |
|        512 |       25.0 |        100 |
|       1024 |       50.0 |        100 |
|       1536 |       75.0 |        150 |
|       2048 |      100.0 |        200 |
|       3072 |      150.0 |        300 |
|       4096 |      200.0 |        400 |

Baza przepustowość jest gwarantowana, przepustowość seryjna zużywa punkty, które zebrałeś będąc poniżej podstawowej przepustowości (więc będziesz mieć to tylko przez ograniczony czas, zobacz tutaj aby uzyskać więcej szczegółów.

S3

S3 to zupełnie inna rzecz, więc tak naprawdę nie można jej porównać do EBS i EFS. Dodatkowo: nie ma opublikowanych wskaźników przepustowości dla S3. Możesz poprawić przepustowość pobierając równolegle (gdzieś czytałem Stany AWS, które miałbyś w zasadzie nieograniczoną przepustowość w ten sposób), lub dodawanie CloudFront do mix

EBS to magazyn na poziomie bloków prostych, który może być dołączony do instancji z tego samego AZ i może przetrwać niezależnie od okresu życia instancji.

Jednak interesująca różnica jest między EFS i S3, i zidentyfikować odpowiednie przypadki użycia dla niego.

Koszt: EFS jest około 10 razy droższy niż S3.

Usecases:

• gdy mamy tysiące instancji, które muszą przetwarzać plik jednocześnie, EFS jest zalecany przez S3.
• zauważ również, że S3 jest obiektowym magazynem, podczas gdy EFS jest oparty na plikach, oznacza to, że ilekroć mamy wymóg, aby pliki były aktualizowane w sposób ciągły (odświeżane), powinniśmy użyć EFS.
• S3 jest ostatecznie spójny, podczas gdy EFS jest silny spójny. Jeśli nie możesz sobie pozwolić na ostateczną spójność, powinieneś użyć EFS

W prostych słowach

Amazon S3 zapewnia obiektową pamięć masową .

Amazon EBS zapewnia pamięć na poziomie bloków-służy do tworzenia na niej systemu plików i przechowywania plików. Amazon EFS-współdzielony system pamięci masowej podobny do NAS / SAN. Musisz go zamontować na serwerze unix i użyć. Amazon S3 - jest to obiektowy magazyn, w którym każdy element jest przechowywany z adresem http.

Jedna z różnic polega na tym, że-EBS może być dołączony do jednej instancji na raz, a EFS może być dołączony do wielu instancji, co powoduje, że współdzielona pamięć masowa. Nie można zamontować S2 plain object storage.

EFS & S3 mają ten sam cel, można przechowywać dowolny rodzaj obiektów lub plików.

Ale dla mnie jedyną różnicą jest to, że EFS pozwala na posiadanie tradycyjnego systemu plików w chmurze VM (EC2) z większą elastycznością, jak można dołączyć do wielu instancji.

S3 jest natomiast oddzielnym elastycznym i elastycznym serwerem dla Twoich obiektów. Może być używany do plików statycznych, obrazów, filmów, a nawet hostingu aplikacji statycznej (js).

EBS jest oczywiście do przechowywania blokowego gdzie można zainstalować system operacyjny lub cokolwiek związanego z systemem operacyjnym.

AWS EFS, EBS i S3. Z funkcjonalnego punktu widzenia , Oto różnica

EFS :

1. Sieciowy system plików: może być współdzielony na kilka serwerów; nawet między regionami. To samo nie jest dostępne dla EBS case. To może być wykorzystane esp do przechowywania programów ETL bez ryzyka bezpieczeństwa

2. Wysoce dostępna, skalowalna usługa.

3. Uruchamianie dowolnej aplikacji, która ma duże obciążenie, wymaga skalowalnej pamięci masowej i musi szybko produkować wydajność.

4. Może zapewnić wyższą przepustowość. Dopasowuje się do nagłego wzrostu systemu plików, nawet w przypadku obciążeń do 500 000 IOPS lub 10 GB na sekundę.

5. Obsługa aplikacji Lift-and-shift: EFS jest elastyczny, dostępny i skalowalny i umożliwia łatwe i szybkie przenoszenie aplikacji korporacyjnych bez konieczności ich ponownego architekturowania.

6. Analityka dla big data: ma możliwość uruchamiania aplikacji big data, które wymagają znacząca przepustowość węzła, dostęp do plików z małym opóźnieniem i operacje odczytu po zapisie.

EBS :

1. dla baz danych NoSQL, EBS oferuje bazy danych NoSQL o niskim opóźnieniu i niezawodności, których potrzebują do uzyskania maksymalnej wydajności.

S3:

Solidna wydajność, skalowalność i dostępność: Amazon S3 skaluje zasoby pamięci masowej bez cykli pozyskiwania zasobów lub inwestycji z góry.

2) Data lake i big data analityka: Utwórz jezioro danych w celu przechowywania nieprzetworzonych danych w natywnym formacie, a następnie za pomocą narzędzi do uczenia maszynowego, analityki do wyciągania wniosków.

Tworzenie kopii zapasowych i przywracanie danych: bezpieczne i niezawodne rozwiązania do tworzenia kopii zapasowych i przywracania danych]}
1. archiwizacja danych
2. S3 to obiektowy magazyn dobrze przechowujący ogromną liczbę kopii zapasowych lub plików użytkownika. W przeciwieństwie do EBS lub EFS, S3 nie ogranicza się do EC2. Dostęp do plików przechowywanych w zasobniku S3 można uzyskać programowo lub bezpośrednio z usług, takich jak AWS CloudFront. Wiele stron internetowych używa go do przechowywania swoich treści i plików multimedialnych, które mogą być skutecznie obsługiwane przez AWS CloudFront.

To pytanie jest bardzo wiele odpowiedzi przez innych ludzi, chcę tylko, aby punkt, gdy decydując się na jakąkolwiek usługę być w AWS jest to, że zrozumienie przypadku użycia dla każdego, a także zobaczyć rozwiązanie, które usługa zapewni w zakresie dobrze zaprojektowanych RAM, potrzebujesz wysokiej dostępności, Torelant błędów, optymalizacja kosztów. Pomoże to zdecydować się na wszelkiego rodzaju usługi, które mają być używane.

Główna różnica między EBS i EFS polega na tym, że EBS jest dostępny tylko z jednej instancji EC2 w danym regionie AWS, podczas gdy EFS pozwala zamontować system plików w wielu regionach i instancjach.

Wreszcie, Amazon S3 jest magazynem obiektów dobrym w przechowywaniu ogromnej liczby kopii zapasowych lub plików użytkownika.