Przenosić pliki bezpośrednio z jednego konta S3 na drugie?

Tak, jest sposób. I to dość proste, choć trudno go znaleźć. 8)

Załóżmy na przykład, że nazwa użytkownika pierwszego konta to [email protected] a po drugie to [email protected].

Otwórz AWS Management Console jako acc1. Przejdź do właściwości łyżki Amazon S3, a na karcie "Uprawnienia" kliknij "Dodaj więcej uprawnień". Następnie dodaj listę i uprawnienia widoku dla "uwierzytelnionych użytkowników".

Następnie w AWS IAM (jest dostępny z zakładek konsoli) z acc2 create użytkownik z pełnym dostępem do zasobnika S3 (aby być bardziej bezpiecznym, możesz ustawić dokładne uprawnienia, ale wolę utworzyć tymczasowego użytkownika do transferu, a następnie go usunąć).

Następnie możesz użyć s3cmd (używając poświadczeń nowo utworzonego użytkownika w acc2), aby zrobić coś takiego:

s3cmd cp s3://acc1_bucket/folder/ s3://acc2_bucket/folder --recursive

Wszystkie transfery będą wykonywane po stronie Amazona.

Użyj aws cli (użyłem instancji ubuntu 14 ec2) i po prostu uruchom następujące polecenie:

aws s3 sync s3://bucket1 s3://bucket2

Będziesz musiał podać dane konta dla jednego i mieć publiczny dostęp do zapisu lub publiczny dostęp do odczytu dla drugiego.

Boto działa dobrze. Zobacz ten wątek . Używając boto, kopiujesz obiekty bezpośrednio z jednego zasobnika do drugiego, zamiast pobierać je na lokalną maszynę i przesyłać do innego zasobnika.

Na Mac OS X korzystałem z aplikacji Transmit firmy Panic. Otworzyłem jedno okno dla każdego konta S3(używając kluczy API i tajemnic). Mogłem następnie przeciągnąć z jednego wiadra w jednym oknie do drugiego wiadra w drugim oknie. nie trzeba najpierw pobierać plików lokalnie .

Andrew ma rację, Transmit pobiera pliki lokalnie, a następnie przesyła pliki.

Przenoszenie plików S3 z jednego konta na drugie

Rozważmy, że istnieją dwa konta Konto źródłowe i konto docelowe. I dwa wiadra source-bucket i destination bucket. Chcemy przenieść wszystkie pliki z source-bucket do destination-bucket. Możemy to zrobić w następujących krokach:

1. aws configure
   • Skonfiguruj swoje konto docelowe za pomocą poświadczenia lub roli IAM.
2. Utwórz politykę użytkownika dla użytkownika konta docelowego.
3. Udostępnij użytkownikowi docelowemu do zasobnika source, modyfikując Zasady Source-bucket i dodając do niego zasady użytkownika konta docelowego. W ten sposób użytkownik docelowy będzie miał dostęp do source-bucket.
4. aws s3 ls s3://source-bucket/
   • to sprawdzi, czy konto docelowe ma dostęp do source-bucket. Tylko dla potwierdzenia zrób to.
5. aws s3 cp s3://source-bucket s3://destination-bucket --recursive
   • spowoduje skopiowanie source-bucket wszystkich plików do destination-bucket. Wszystkie pliki są kopiowane za pomocą --recursive flaga.
6. aws s3 mv s3://source-bucket s3://destination-bucket --recursive
   • spowoduje przeniesienie wszystkich plików z source-bucket do destination-bucket.

Alternatywnie możesz użyć polecenia sync - aws s3 sync s3://source-bucket s3://detination-bucket

Dla lepszego wyjaśnienia kliknij link

CrossFTP może kopiować pliki S3 bezpośrednio z jednego zasobnika do drugiego bez ich pobierania. Jest to klient GUI S3, który działa na systemach Windows, Mac i Linux.

Możesz użyć Cyberduck (open source)

Dla nowo utworzonych plików (nieistniejących obiektów), możesz skorzystać z nowej funkcjonalności AWS. Jest to replikacja międzyregionalna(pod "wersjonowanie" dla zasobnika S3). Możesz utworzyć zasadę, która pozwoli Ci replikować nowe obiekty do zasobnika na innym koncie.

Dla istniejących obiektów, nadal będziesz musiał kopiować obiekty za pomocą innej metody-chyba że AWS wprowadzi do tego natywną funkcjonalność w przyszłości.

Można więc uruchomić następujące:

aws s3 mv (sync for keeping buckets in sync) s3://source-bucket s3://destination-bucket --recursive

1. Dołącz Zasady bucket do zasobnika source na koncie Source.

2. Dołącz Zasady AWS Identity and Access Management (IAM) do użytkownika lub roli na koncie docelowym.

3. Użyj użytkownika lub roli IAM na koncie docelowym, aby wykonać ruch między kontami.