Přesun souborů do objektového úložiště.
Přeneste soubory z Amazon S3, Google Cloud Storage, libovolného úložiště kompatibilního s S3 nebo ze složky na vašem serveru do bucketu: zkopírujte vše najednou, nebo je přesouvejte postupně bez výpadku.
Máte soubory uložené jinde? Přesuňte je do bucketu své aplikace jedním ze dvou způsobů. Oba začínají v panelu: aplikace → Úložiště → bucket → Přesunout soubory sem.
| Zkopírovat vše hned | Přesouvat postupně, bez výpadku | |
|---|---|---|
| Co se děje | všechny soubory se zkopírují najednou | soubor se zkopíruje, když ho aplikace poprvé čte |
| Kdy přepnout aplikaci | po dokončení kopírování | hned |
| Průběh | soubory nalezené, zkopírované, přeskočené, nezkopírované; pozastavit, pokračovat, zastavit | zapnuto, dokud to nevypnete |
| Původní úložiště | Amazon S3, Google Cloud Storage, kompatibilní s S3 | Amazon S3, Google Cloud Storage |
Kopírování probíhá na naší straně — váš počítač nemusí zůstat zapnutý. Když skončí (nebo když se zastaví před koncem), dostanete e-mail a zprávu přes Telegram.
Přesun souborů může provést vlastník účtu a Administrátoři aplikace (viz Přístup týmu) a je dostupný také přes API, CLI a MCP.
Než začnete: klíč jen pro čtení
Ve svém původním úložišti si vytvořte samostatný klíč pro tento přesun, který umí jen vypsat a číst jeden bucket. Nikdy nevkládejte své hlavní klíče. Klíč se použije jen pro tento přesun; neukládáme ho a už se nikdy nezobrazí. Po dokončení přesunu ho u původního poskytovatele smažte.
Amazon S3
V IAM vytvořte uživatele (nebo roli s přístupovým klíčem) s touto politikou — my-old-bucket nahraďte svým bucketem:
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": ["s3:List*", "s3:Get*"],
"Resource": ["arn:aws:s3:::my-old-bucket", "arn:aws:s3:::my-old-bucket/*"]
}
]
}Pak k němu vytvořte přístupový klíč. V panelu budete potřebovat ID přístupového klíče, tajný přístupový klíč, název bucketu a jeho region (například eu-central-1; v konzoli S3 je uvedený u bucketu).
Google Cloud Storage
Vytvořte servisní účet s přístupem ke čtení bucketu a stáhněte jeho klíč JSON:
gcloud iam service-accounts create rivervo-move --display-name="Move files to Rivervo"
gcloud storage buckets add-iam-policy-binding gs://my-old-bucket \
--member="serviceAccount:rivervo-move@MY-PROJECT.iam.gserviceaccount.com" --role="roles/storage.objectViewer"
gcloud storage buckets add-iam-policy-binding gs://my-old-bucket \
--member="serviceAccount:rivervo-move@MY-PROJECT.iam.gserviceaccount.com" --role="roles/storage.legacyBucketReader"
gcloud iam service-accounts keys create key.json \
--iam-account="rivervo-move@MY-PROJECT.iam.gserviceaccount.com"Storage Object Viewer čte soubory; Storage Legacy Bucket Reader umožní kopírování číst samotný bucket. Do panelu vložte celý obsah key.json. Soubor s klíčem potom ze svého počítače smažte.
Jiné úložiště kompatibilní s S3
Stejně funguje jakékoli úložiště s S3 API: vytvořte klíč, který umí jen vypsat a číst bucket (většina poskytovatelů mu říká „read-only“ nebo „restricted“), a zjistěte S3 adresu regionu bucketu — například https://s3.eu-central-003.backblazeb2.com. Adresu zadejte bez názvu bucketu.
Zkopírovat vše hned
- Aplikace → Úložiště → bucket → Přesunout soubory sem.
- Zvolte Zkopírovat vše hned, původní úložiště, bucket v něm, region nebo S3 adresu a vložte klíč.
- Volitelně: složka — například zkopírovat jen
photos/. - Soubory, které tu už jsou: ve výchozím stavu se soubor se stejným názvem, který už v bucketu je, ponechá a ten z původního úložiště se přeskočí. Chcete-li je přepsat, zapněte Nahradit je.
- Spustit kopírování a potvrďte.
Karta ukazuje, kolik souborů bylo nalezeno, zkopírováno, přeskočeno a nezkopírováno, s ukazatelem průběhu; Zobrazit log vypíše soubory, které byly přeskočeny nebo je nešlo zkopírovat. Kopírování můžete Pozastavit, Pokračovat v něm nebo ho Zastavit — už zkopírované soubory zůstanou. Po dokončení kopírování přepněte aplikaci na bucket (proměnné S3_* už má — viz proměnné).
Soubory si ponechají své názvy (klíče). Když kopírování později spustíte znovu, zkopíruje se jen to, co chybí (při vypnutém Nahradit je).
Přesouvat postupně, bez výpadku
Hodí se, když aplikace musí běžet dál a soubory neustále přibývají:
- Přesunout soubory sem → Přesouvat postupně, bez výpadku, původní úložiště, bucket a klíč → Zapnout postupný přesun.
- Aplikaci hned přepněte na tento bucket (jeho proměnné
S3_*) a nasaďte. - Když aplikace čte soubor, který v bucketu ještě není, zkopíruje se v tu chvíli z původního úložiště a doručí se. Nově nahrané soubory jdou rovnou do bucketu.
- Dokončení: spusťte Zkopírovat vše hned pro soubory, které zatím nikdo nečetl (při vypnutém Nahradit je, aby novější soubory zůstaly), počkejte na dokončení a pak postupný přesun Vypnout.
Dokud ho nevypnete, musí původní úložiště zůstat dostupné se stejným klíčem. Soubory, které nikdo nečetl a které se nezkopírovaly, se po vypnutí už nenačítají.
Ze složky na vašem serveru
Chcete-li přesunout soubory z VPS nebo jiného serveru (například storage/app/public webu v Laravelu), použijte rclone s vlastními klíči bucketu. Najdete je na kartě Proměnné aplikace: S3_ENDPOINT, S3_BUCKET, S3_KEY a S3_SECRET (druhý bucket má před nimi svůj název: MEDIA_S3_KEY …).
# Install rclone (Linux)
curl https://rclone.org/install.sh | sudo bash
# The bucket's keys as environment variables — they do not end up in a config file
export RCLONE_CONFIG_RIVERVO_TYPE=s3
export RCLONE_CONFIG_RIVERVO_PROVIDER=Other
export RCLONE_CONFIG_RIVERVO_REGION=auto
export RCLONE_CONFIG_RIVERVO_ENDPOINT='value of S3_ENDPOINT'
export RCLONE_CONFIG_RIVERVO_ACCESS_KEY_ID='value of S3_KEY'
export RCLONE_CONFIG_RIVERVO_SECRET_ACCESS_KEY='value of S3_SECRET'
# Copy the folder into the bucket (value of S3_BUCKET), keeping the folder structure
rclone copy /var/www/shop/storage/app/public rivervo:BUCKET/public --progress --transfers 16
# Check that every file arrived
rclone check /var/www/shop/storage/app/public rivervo:BUCKET/public --one-wayrclone copy v bucketu nikdy nic nemaže a přeskakuje soubory, které už tam beze změny jsou, takže ho po přerušení můžete spustit znovu. Při dlouhém kopírování ho na serveru spouštějte v tmux nebo screen — pak poběží dál, i když vám spadne SSH připojení.
Kolik to stojí
Za samotný přesun nic neplatíte. Soubory v bucketu stojí obvyklé ceny objektového úložiště a platí se z vašeho kreditu:
- uložení: 0,025 US$ za GB měsíčně — 50 GB vyjde zhruba na 1,25 US$ měsíčně;
- zápisy: 6 US$ za milion — každý zkopírovaný soubor je zhruba jeden zápis, takže 100 000 souborů vyjde asi na 0,60 US$ (velmi velký soubor se nahrává po částech a počítá se jako několik zápisů);
- čtení během postupného přesunu jsou běžná čtení (0,50 US$ za milion).
Většina poskytovatelů cloudových úložišť účtuje data, která od nich odcházejí (egress). Než přesunete hodně dat, podívejte se do ceníku svého původního poskytovatele.
Přesun souborů vyžaduje kladný kredit, stejně jako přidání bucketu. Není dostupný během zkušebního období zdarma a nelze přesouvat do bucketu, který je jen pro čtení (překročil limit velikosti nebo to, co kredit pokryje) — panel řekne proč a tam, kde to pomůže, nabídne dobití. Pokud se bucket během kopírování přepne do režimu jen pro čtení, kopírování se pozastaví a samo pokračuje, jakmile je zápis znovu možný.
Omezení
- Na jeden bucket najednou jedno kopírování a jeden postupný přesun.
- Soubory větší než 1 TB kopírování přeskočí.
- Soubory v archivních třídách, které je před čtením nutné obnovit (S3 Glacier Flexible Retrieval, Glacier Deep Archive), se přeskočí; nejdřív je obnovte.
- Se souborem se přesouvají jen vaše vlastní metadata (
x-amz-meta-*); ETag souboru se může od původního lišit. - Soubor smazaný z bucketu během zapnutého postupného přesunu se znovu zkopíruje, až ho příště někdo bude číst.