Преместване на файлове в обектно хранилище.
Пренесете файлове от Amazon S3, Google Cloud Storage, всяко S3-съвместимо хранилище или папка на вашия сървър в bucket: копирайте всичко наведнъж или преместете постепенно, без прекъсване.
Вече държите файлове другаде? Преместете ги в bucket на приложението си по един от два начина. И двата започват от панела: приложението → Хранилище → bucket-ът → Преместване на файлове.
| Копиране на всичко сега | Постепенно преместване, без прекъсване | |
|---|---|---|
| Какво става | всеки файл се копира наведнъж | файлът се копира, когато приложението ви го прочете за първи път |
| Кога да превключите приложението си | след като копирането приключи | веднага |
| Напредък | намерени, копирани, пропуснати и некопирани файлове; пауза, продължаване, спиране | включено, докато не го изключите |
| Старо хранилище | Amazon S3, Google Cloud Storage, S3-съвместимо | Amazon S3, Google Cloud Storage |
Копирането се изпълнява от наша страна — компютърът ви не трябва да остава включен. Когато приключи (или ако спре преди края), получавате имейл и съобщение в Telegram.
Преместването на файлове е достъпно за собственика на акаунта и за администраторите на приложението (вижте Достъп за екипа), както и през API, CLI и MCP.
Преди да започнете: ключ само за четене
Създайте в старото си хранилище отделен ключ за това преместване, който може само да изброява и чете единствения bucket. Никога не поставяйте основните си ключове. Ключът се използва само за това преместване; не го пазим и той никога не се показва отново. Изтрийте го при стария доставчик, след като преместването приключи.
Amazon S3
В IAM създайте потребител (или роля с ключ за достъп) с тази политика — заменете my-old-bucket с вашия bucket:
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": ["s3:List*", "s3:Get*"],
"Resource": ["arn:aws:s3:::my-old-bucket", "arn:aws:s3:::my-old-bucket/*"]
}
]
}След това създайте ключ за достъп за него. В панела ще ви трябват ID на ключа за достъп, тайният ключ за достъп, името на bucket-а и неговият регион (например eu-central-1; показва се до bucket-а в конзолата на S3).
Google Cloud Storage
Създайте service account с достъп за четене до bucket-а и изтеглете неговия JSON ключ:
gcloud iam service-accounts create rivervo-move --display-name="Move files to Rivervo"
gcloud storage buckets add-iam-policy-binding gs://my-old-bucket \
--member="serviceAccount:rivervo-move@MY-PROJECT.iam.gserviceaccount.com" --role="roles/storage.objectViewer"
gcloud storage buckets add-iam-policy-binding gs://my-old-bucket \
--member="serviceAccount:rivervo-move@MY-PROJECT.iam.gserviceaccount.com" --role="roles/storage.legacyBucketReader"
gcloud iam service-accounts keys create key.json \
--iam-account="rivervo-move@MY-PROJECT.iam.gserviceaccount.com"Storage Object Viewer чете файловете; Storage Legacy Bucket Reader позволява на копирането да чете самия bucket. В панела поставете цялото съдържание на key.json. След това изтрийте файла с ключа от компютъра си.
Друго S3-съвместимо хранилище
Всяко хранилище с S3 API работи по същия начин: създайте ключ, който може само да изброява и чете bucket-а (повечето доставчици го наричат „read-only“ или „restricted“ ключ), и намерете S3 адреса на региона на bucket-а — например https://s3.eu-central-003.backblazeb2.com. Въведете адреса без името на bucket-а.
Копиране на всичко сега
- Приложението → Хранилище → bucket-ът → Преместване на файлове.
- Изберете Копиране на всичко сега, старото хранилище, bucket-а там, региона или S3 адреса и поставете ключа.
- По желание: папка — например да копирате само
photos/. - Файлове, които вече са тук: по подразбиране файл със същото име, който вече е в bucket-а, се запазва, а този от старото хранилище се пропуска. Включете Замяна, за да се презаписват.
- Стартиране на копирането и потвърдете.
Картата показва колко файла са намерени, копирани, пропуснати и некопирани, с лента за напредъка; Показване на лога изброява пропуснатите файлове и тези, които не са могли да бъдат копирани. Можете да използвате Пауза, Продължаване или Спиране на копирането — вече копираните файлове остават. След като копирането приключи, превключете приложението си към bucket-а (то вече има променливите S3_*).
Файловете запазват имената си (ключовете). Повторно стартиране на копирането по-късно копира само липсващото (с изключена Замяна).
Постепенно преместване, без прекъсване
Полезно, когато приложението трябва да продължи да работи, а файлове се добавят непрекъснато:
- Преместване на файлове → Постепенно преместване, без прекъсване, старото хранилище, bucket-ът и ключът → Включване на постепенното преместване.
- Превключете приложението си към този bucket веднага (неговите променливи
S3_*) и внедрете. - Когато приложението прочете файл, който още не е в bucket-а, той се копира от старото хранилище в този момент и се връща. Новите качвания отиват директно в bucket-а.
- За да приключите: стартирайте Копиране на всичко сега за файловете, които никой още не е прочел (с изключена Замяна, за да останат по-новите файлове), изчакайте да приключи, след което Изключете постепенното преместване.
Докато не го изключите, старото хранилище трябва да остане достъпно със същия ключ. Файловете, които никога не са били прочетени и не са копирани, вече не се изтеглят, след като го изключите.
От папка на вашия сървър
За да преместите файлове от VPS или друг сървър (например storage/app/public на сайт с Laravel), използвайте rclone със собствените ключове на bucket-а. Ще ги намерите в раздела Променливи на приложението: S3_ENDPOINT, S3_BUCKET, S3_KEY и S3_SECRET (при втори bucket името му е отпред: MEDIA_S3_KEY …).
# Инсталиране на rclone (Linux)
curl https://rclone.org/install.sh | sudo bash
# Ключовете на bucket-а като променливи на средата — не попадат в конфигурационен файл
export RCLONE_CONFIG_RIVERVO_TYPE=s3
export RCLONE_CONFIG_RIVERVO_PROVIDER=Other
export RCLONE_CONFIG_RIVERVO_REGION=auto
export RCLONE_CONFIG_RIVERVO_ENDPOINT='стойността на S3_ENDPOINT'
export RCLONE_CONFIG_RIVERVO_ACCESS_KEY_ID='стойността на S3_KEY'
export RCLONE_CONFIG_RIVERVO_SECRET_ACCESS_KEY='стойността на S3_SECRET'
# Копиране на папката в bucket-а (стойността на S3_BUCKET) със запазване на структурата на папките
rclone copy /var/www/shop/storage/app/public rivervo:BUCKET/public --progress --transfers 16
# Проверка, че всички файлове са пристигнали
rclone check /var/www/shop/storage/app/public rivervo:BUCKET/public --one-wayrclone copy никога не изтрива нищо в bucket-а и пропуска файловете, които вече са там непроменени, така че можете да го стартирате отново след прекъсване. При дълго копиране го стартирайте в tmux или screen на сървъра — тогава продължава, дори ако SSH връзката ви прекъсне.
Колко струва
Самото преместване е безплатно. Файловете в bucket-а струват обичайните цени на обектното хранилище и се плащат от баланса ви:
- съхранение: 0,025 щ.д. за GB на месец — 50 GB струват около 1,25 щ.д. на месец;
- записи: 6,00 щ.д. за милион — всеки копиран файл е около един запис, така че 100 000 файла струват около 0,60 щ.д. (много голям файл се качва на части и се брои като няколко записа);
- четенията при постепенно преместване са обикновени четения (0,50 щ.д. за милион).
Повечето доставчици на облачно хранилище таксуват излизащите от тях данни (egress). Проверете цените на стария си доставчик, преди да местите голям обем данни.
Преместването на файлове изисква положителен баланс, както и добавянето на bucket. То не е достъпно по време на безплатния пробен период, нито към bucket, който е само за четене (над лимита си за размер или над това, което покрива балансът) — панелът казва защо и предлага зареждане, когато това помага. Ако по време на копиране bucket-ът стане само за четене, копирането се поставя на пауза и продължава само, щом записът отново стане възможен.
Ограничения
- По едно копиране и едно постепенно преместване наведнъж на bucket.
- Файлове, по-големи от 1 TB, се пропускат при копирането.
- Файлове в архивни класове, които трябва да се възстановят преди четене (S3 Glacier Flexible Retrieval, Glacier Deep Archive), се пропускат; първо ги възстановете.
- С файла се премества само вашата собствена метаинформация (
x-amz-meta-*); ETag на файла може да се различава от стария. - Файл, изтрит от bucket-а, докато постепенното преместване е включено, се копира отново при следващото му прочитане.