Dostęp FTP/SFTP do Amazon S3 Bucket [zamknięty]

Update

Możesz zainstalować usługę FTP/SFTP (taką jak proftpd) na serwerze linux, w EC2 lub we własnym centrum danych... następnie zamontuj bucket do systemu plików, w którym serwer ftp jest skonfigurowany do chroot, używając s3fs.

Mam klienta, który serwuje treści z S3, a zawartość jest dostarczana im przez stronę trzecią, która obsługuje tylko FTP... tak więc, z pewnym wahaniem (ze względu na niedopasowanie impedancji pomiędzy S3 A rzeczywistym systemem plików), ale brakuje czasu na napisanie odpowiedniego pakietu oprogramowania serwera bramy FTP / S3 (który nadal zamierzam zrobić jeden z tych dni), zaproponowałem i wdrożyłem To rozwiązanie dla nich kilka miesięcy temu i nie zgłaszali żadnych problemów z systemem.

Jako bonus, ponieważ proftpd może chrootować każdego użytkownika do jego własnego katalogu domowego i "udawać" (o ile użytkownik może powiedzieć), że pliki należące do użytkownika proftpd są rzeczywiście własnością zalogowanego użytkownika, to segreguje każdego użytkownika ftp do "podkatalogu" wiadra i sprawia, że pliki innych użytkowników są niedostępne.

Jest jednak problem z domyślną konfiguracją.

Gdy zaczniesz zdobywać kilkadziesiąt lub setki plików, problem pojawi się, gdy wyciągniesz listę katalogów, ponieważ ProFTPd będzie próbował odczytać pliki .ftpaccess w kółko i w kółko, a dla każdego pliku w katalogu, .ftpaccess jest sprawdzane, aby sprawdzić, czy Użytkownik powinien mieć możliwość jego wyświetlenia.

Możesz wyłączyć to zachowanie w ProFTPd, ale sugerowałbym, że najbardziej poprawną konfiguracją jest skonfigurowanie dodatkowych opcji -o enable_noobj_cache -o stat_cache_expire=30 w s3fs:

-o stat_cache_expire (Wartość domyślna to no expire)

określ expire czas (sekundy) dla wpisów w buforze stat

Bez tej opcji będziesz wysyłać mniej zapytań do S3, ale nie zawsze będziesz niezawodnie wykrywać zmiany wprowadzone w obiektach, jeśli zewnętrzne procesy lub inne instancje s3fs również modyfikują obiekty w zasobniku. Wartość " 30 " w moim systemie została wybrana nieco arbitralnie.

-o enable_noobj_cache (domyślnie jest wyłączony)

włącz wpisy cache dla obiektu, który nie istnieje. s3fs zawsze musi sprawdzić czy plik (lub podkatalog) istnieje w obiekcie (ścieżce), gdy s3fs wykonuje jakieś polecenie, ponieważ s3fs rozpoznał katalog, który nie istnieje i ma pliki lub podkatalogi pod sobą. Zwiększa żądanie ListBucket i sprawia, że wydajność jest zła. Możesz określić tę opcję dla wydajności, s3fs zapamięta w pamięci podręcznej stat, że obiekt (plik lub katalog) nie istnieje.

Ta opcja pozwala s3fs zapamiętać, że .ftpaccess nie było.

Niezwiązane z problemy z wydajnością, które mogą pojawić się w przypadku ProFTPd, które zostały rozwiązane przez powyższe zmiany, należy również włączyć -o enable_content_md5 w s3fs.

-o enable_content_md5 (domyślnie jest wyłączony)

weryfikacja przesłanych danych bez multipart przez nagłówek content-md5. Włącz wysyłanie nagłówka "Content-MD5" podczas przesyłania obiektu bez wieloczęściowego publikowania. Jeśli ta opcja jest włączona, ma ona pewien wpływ na wydajność s3fs podczas przesyłania małych obiektów. Ponieważ s3fs zawsze sprawdza MD5 podczas wgrywania duży obiekt, ta opcja nie ma wpływu na duży obiekt.

Jest to opcja, która nigdy nie powinna być opcja -- powinna być zawsze włączona, ponieważ nie robi to omija krytycznej kontroli integralności tylko znikome korzyści wydajności. Gdy obiekt jest przesyłany do S3 z nagłówkiem Content-MD5:, S3 potwierdzi sumę kontrolną i odrzuci obiekt, jeśli jest uszkodzony podczas przesyłania. Jakkolwiek mało prawdopodobne jest to, wydaje się krótkowzroczne wyłączenie tego bezpieczeństwa szach.

^{cytaty pochodzą ze strony podręcznika s3fs. Błędy gramatyczne są w oryginalnym tekście.}

Odpowiedź z 2014 roku dla osób, które nie głosują na mnie:

Cóż, S3 to nie FTP. Istnieje wiele, wiele klientów, które obsługują S3, jednak.

Prawie każdy znany klient FTP na OS X ma wsparcie, w tymTransmit iCyberduck .

Jeśli korzystasz z Windows, spójrz naCyberduck lubCloudBerry .

Zaktualizowana odpowiedź dla 2019:

AWS niedawno udostępnił Transfer AWS dla Usługa SFTP , która może robić to, czego szukasz.

Lub uruchom instancję Linuksa dla bramki SFTP w infrastrukturze AWS, która zapisuje przesłane pliki do wiadra Amazon S3.

Wspierane przez Thorntech

Filezilla właśnie wydała wersję Pro swojego klienta FTP. Łączy się z wiadrami S3 w usprawnionym środowisku FTP. Sam go używam (bez przynależności) i działa świetnie.

WinSCp obsługuje teraz protokół S3

Najpierw upewnij się, że twój użytkownik AWS z uprawnieniami dostępu S3 ma utworzony "identyfikator klucza dostępu". Musisz również znać "tajny klucz dostępu". Klucze dostępu są tworzone i zarządzane na stronie użytkownicy konsoli IAM Management Console.

Upewnij się, że wybrano nowy węzeł strony.

W nowym węźle witryny wybierz protokół Amazon S3.

Wprowadź identyfikator klucza dostępu użytkownika AWS i tajny klucz dostępu

Zapisz Ustawienia witryny za pomocą Zapisz guzik.

Zaloguj się za pomocą przycisku Login.

Amazon wydał usługi SFTP dla S3, ale robią tylko SFTP (nie FTP lub FTPES) i mogą być wygórowane w zależności od okoliczności.

Jestem założycielem DocEvent.io, a my zapewniamy bramy FTP/S dla Twojego zasobnika S3 bez konieczności uruchamiania serwerów lub martwienia się o infrastrukturę.

Istnieją również inne firmy, które zapewniają samodzielny serwer FTP, który płacisz przez miesiąc, który może połączyć się z łyżką S3 poprzez konfigurację oprogramowania, na przykład brickftp.com .

Wreszcie istnieją również aplikacje AWS Marketplace, które mogą pomóc, Oto link do wyszukiwania . Wiele z nich uruchamia instancje we własnej infrastrukturze - oznacza to, że będziesz musiał samodzielnie zarządzać instancjami i aktualizować je, co może być trudne do utrzymania i skonfigurowania w czasie.

Jak zauważyły inne plakaty, istnieją pewne ograniczenia związane z transferem AWS dla usługi SFTP. Musisz ściśle dostosować wymagania. Na przykład nie ma kwot, białych list/czarnych list, limitów typów plików, a dostęp bez klucza wymaga usług zewnętrznych. Istnieje również pewien narzut związany z zarządzaniem użytkownikami i IAM, który może być bólem na skalę.

Dla naszych klientów od około 5 lat prowadzimy SFTP S3 Proxy Gateway. Na rozwiązanie core zawiera zbiór usług Docker i jest wdrażane w dowolnym kontekście, nawet na lokalnych lub lokalnych serwerach deweloperskich. Przypadek użycia dla nas jest nieco inny, ponieważ naszym rozwiązaniem jest skoncentrowane przetwarzanie danych i potoków w porównaniu do udziału plików. W przykładzie Salesforce klient użyje SFTP jako metody transportu wysyłania wiadomości e-mail, zakupu...dane do punktu SFTP/S3. Jest to mapowany klucz obiektu na S3. Po przybyciu dane są zbierane, przetwarzane, kierowane i ładowane do magazyn. Mamy również dość znaczące wymagania dotyczące audytu dla każdego transferu, czego dzienniki Cloudwatch dla AWS nie zapewniają bezpośrednio.

Jak wspomnieli inni, rolowanie własnych jest również opcją. Korzystanie AWS Lightsail można skonfigurować klaster, powiedzmy 4, $10 instancje 2GB za pomocą Route 53 lub ELB.

Ogólnie rzecz biorąc, świetnie jest zobaczyć AWS oferującą tę usługę i oczekuję, że z czasem dojrzeje. Jednak, w zależności od przypadku użycia, alternatywnymi rozwiązaniami mogą być lepiej pasuje.