Przenoszenie plików do magazynu obiektów.
Przenieś pliki z Amazon S3, Google Cloud Storage, dowolnego magazynu zgodnego z S3 albo folderu na swoim serwerze do bucketu: skopiuj wszystko naraz albo przenoś stopniowo, bez przestojów.
Trzymasz już pliki gdzie indziej? Przenieś je do bucketu swojej aplikacji na jeden z dwóch sposobów. Oba zaczynasz w panelu: aplikacja → Magazyn → bucket → Przenieś pliki.
| Skopiuj wszystko teraz | Przenoś stopniowo, bez przestojów | |
|---|---|---|
| Co się dzieje | wszystkie pliki są kopiowane za jednym razem | plik jest kopiowany, gdy aplikacja odczyta go po raz pierwszy |
| Kiedy przełączyć aplikację | po zakończeniu kopiowania | od razu |
| Postęp | pliki znalezione, skopiowane, pominięte, nieskopiowane; wstrzymanie, wznowienie, zatrzymanie | działa, dopóki go nie wyłączysz |
| Stary magazyn | Amazon S3, Google Cloud Storage, zgodny z S3 | Amazon S3, Google Cloud Storage |
Kopiowanie odbywa się po naszej stronie — twój komputer nie musi być włączony. Gdy się zakończy (albo zatrzyma przed końcem), dostaniesz e-mail i wiadomość na Telegramie.
Przenoszenie plików jest dostępne dla właściciela konta i Administratorów aplikacji (zobacz Dostęp do aplikacji), a także przez API, CLI i MCP.
Zanim zaczniesz: klucz tylko do odczytu
W starym magazynie utwórz osobny klucz do tej przeprowadzki, który może tylko wyświetlać listę i odczytywać jeden bucket. Nigdy nie wklejaj swoich głównych kluczy. Klucz służy tylko do tego przeniesienia; nie przechowujemy go i nie będzie już nigdzie pokazany. Po zakończeniu przenoszenia usuń go u starego dostawcy.
Amazon S3
W IAM utwórz użytkownika (albo rolę z kluczem dostępu) z taką polityką — zastąp my-old-bucket nazwą swojego bucketu:
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": ["s3:List*", "s3:Get*"],
"Resource": ["arn:aws:s3:::my-old-bucket", "arn:aws:s3:::my-old-bucket/*"]
}
]
}Potem utwórz dla niego klucz dostępu. W panelu potrzebne będą: identyfikator klucza dostępu, tajny klucz dostępu, nazwa bucketu i jego region (na przykład eu-central-1; widać go obok bucketu w konsoli S3).
Google Cloud Storage
Utwórz konto usługi z dostępem do odczytu bucketu i pobierz jego klucz JSON:
gcloud iam service-accounts create rivervo-move --display-name="Move files to Rivervo"
gcloud storage buckets add-iam-policy-binding gs://my-old-bucket \
--member="serviceAccount:rivervo-move@MY-PROJECT.iam.gserviceaccount.com" --role="roles/storage.objectViewer"
gcloud storage buckets add-iam-policy-binding gs://my-old-bucket \
--member="serviceAccount:rivervo-move@MY-PROJECT.iam.gserviceaccount.com" --role="roles/storage.legacyBucketReader"
gcloud iam service-accounts keys create key.json \
--iam-account="rivervo-move@MY-PROJECT.iam.gserviceaccount.com"Storage Object Viewer odczytuje pliki; Storage Legacy Bucket Reader pozwala odczytać sam bucket. W panelu wklej całą zawartość key.json. Potem usuń plik klucza ze swojego komputera.
Inne magazyny zgodne z S3
Każdy magazyn z API S3 działa tak samo: utwórz klucz, który może tylko wyświetlać listę i odczytywać bucket (większość dostawców nazywa go kluczem „read-only” albo „restricted”), i znajdź adres S3 regionu bucketu — na przykład https://s3.eu-central-003.backblazeb2.com. Wpisz adres bez nazwy bucketu.
Skopiuj wszystko teraz
- Aplikacja → Magazyn → bucket → Przenieś pliki.
- Wybierz Skopiuj wszystko teraz, stary magazyn, bucket w nim, region lub adres S3 i wklej klucz.
- Opcjonalnie: folder — na przykład skopiuj tylko
photos/. - Pliki, które już tu są: domyślnie plik o tej samej nazwie, który już jest w buckecie, zostaje, a plik ze starego magazynu jest pomijany. Włącz Zastąp je, żeby je nadpisać.
- Kliknij Rozpocznij kopiowanie i potwierdź.
Karta pokazuje, ile plików znaleziono, skopiowano, pominięto i nie skopiowano, wraz z paskiem postępu; Pokaż log wymienia pliki pominięte albo te, których nie udało się skopiować. Możesz użyć przycisków Wstrzymaj, Wznów albo Zatrzymaj kopiowanie — już skopiowane pliki zostają. Po zakończeniu kopiowania przełącz aplikację na bucket (ma już zmienne S3_*).
Pliki zachowują nazwy (klucze). Ponowne uruchomienie kopiowania kopiuje tylko to, czego brakuje (przy wyłączonym Zastąp je).
Przenoś stopniowo, bez przestojów
Przydaje się, gdy aplikacja musi działać bez przerwy, a pliki ciągle przybywają:
- Przenieś pliki → Przenoś stopniowo, bez przestojów, stary magazyn, bucket i klucz → Włącz stopniowe przenoszenie.
- Od razu przełącz aplikację na ten bucket (jego zmienne
S3_*) i ją wdróż. - Gdy aplikacja odczytuje plik, którego jeszcze nie ma w buckecie, jest on w tej chwili kopiowany ze starego magazynu i serwowany. Nowo przesyłane pliki trafiają od razu do bucketu.
- Na koniec uruchom Skopiuj wszystko teraz dla plików, których nikt jeszcze nie odczytał (z wyłączonym Zastąp je, żeby nowsze pliki zostały), zaczekaj na zakończenie, a potem Wyłącz stopniowe przenoszenie.
Dopóki go nie wyłączysz, stary magazyn musi być dostępny z tym samym kluczem. Pliki, których nikt nie odczytał i które nie zostały skopiowane, po wyłączeniu nie są już pobierane.
Z folderu na twoim serwerze
Żeby przenieść pliki z VPS albo innego serwera (na przykład storage/app/public strony w Laravelu), użyj rclone z własnymi kluczami bucketu. Znajdziesz je na karcie Zmienne aplikacji: S3_ENDPOINT, S3_BUCKET, S3_KEY i S3_SECRET (drugi bucket ma swoją nazwę z przodu: MEDIA_S3_KEY …).
# Install rclone (Linux)
curl https://rclone.org/install.sh | sudo bash
# The bucket's keys as environment variables — they do not end up in a config file
export RCLONE_CONFIG_RIVERVO_TYPE=s3
export RCLONE_CONFIG_RIVERVO_PROVIDER=Other
export RCLONE_CONFIG_RIVERVO_REGION=auto
export RCLONE_CONFIG_RIVERVO_ENDPOINT='value of S3_ENDPOINT'
export RCLONE_CONFIG_RIVERVO_ACCESS_KEY_ID='value of S3_KEY'
export RCLONE_CONFIG_RIVERVO_SECRET_ACCESS_KEY='value of S3_SECRET'
# Copy the folder into the bucket (value of S3_BUCKET), keeping the folder structure
rclone copy /var/www/shop/storage/app/public rivervo:BUCKET/public --progress --transfers 16
# Check that every file arrived
rclone check /var/www/shop/storage/app/public rivervo:BUCKET/public --one-wayrclone copy niczego nie usuwa w buckecie i pomija pliki, które już tam są bez zmian, więc po przerwie możesz uruchomić je ponownie. Długie kopiowanie uruchamiaj na serwerze w tmux lub screen — wtedy trwa dalej, nawet jeśli zerwie się połączenie SSH.
Ile to kosztuje
Samo przeniesienie jest bezpłatne. Pliki w buckecie kosztują tyle co zwykle w cenniku magazynu obiektów i są opłacane z salda:
- przechowywanie: 0,025 USD za GB miesięcznie — 50 GB kosztuje około 1,25 USD miesięcznie;
- zapisy: 6 USD za milion — każdy skopiowany plik to mniej więcej jeden zapis, więc 100 000 plików kosztuje około 0,60 USD (bardzo duży plik jest przesyłany w częściach i liczy się jako kilka zapisów);
- odczyty podczas stopniowego przenoszenia to zwykłe odczyty (0,50 USD za milion).
Większość dostawców chmurowych magazynów pobiera opłaty za dane wychodzące (egress). Zanim przeniesiesz dużo danych, sprawdź cennik starego dostawcy.
Przenoszenie plików wymaga dodatniego salda, tak samo jak dodanie bucketu. Nie jest dostępne w okresie próbnym ani do bucketu w trybie tylko do odczytu (po przekroczeniu limitu rozmiaru albo ponad to, co pokrywa saldo) — panel wyjaśnia powód i tam, gdzie to pomoże, proponuje doładowanie. Jeśli bucket przejdzie w tryb tylko do odczytu w trakcie kopiowania, kopiowanie się wstrzymuje i samo wznawia, gdy zapis znów będzie możliwy.
Limity
- Jedno kopiowanie i jedno stopniowe przenoszenie naraz na bucket.
- Pliki większe niż 1 TB są przy kopiowaniu pomijane.
- Pliki w klasach archiwalnych, które przed odczytem trzeba przywrócić (S3 Glacier Flexible Retrieval, Glacier Deep Archive), są pomijane; najpierw je przywróć.
- Razem z plikiem przenoszone są tylko twoje własne metadane (
x-amz-meta-*); ETag pliku może różnić się od starego. - Plik usunięty z bucketu przy włączonym stopniowym przenoszeniu zostanie skopiowany ponownie przy następnym odczycie.