将文件迁移到对象存储。
将 Amazon S3、Google Cloud Storage、任何兼容 S3 的存储或服务器上的文件夹中的文件迁入存储桶:一次性全部复制,或不停机逐步迁移。
文件已经存放在别处?可以通过两种方式迁入应用的存储桶。两种方式都从控制面板开始:应用 → 存储 → 存储桶 → 迁入文件。
| 立即全部复制 | 逐步迁移,不停机 | |
|---|---|---|
| 迁移方式 | 一次性复制所有文件 | 应用首次读取某个文件时复制该文件 |
| 何时切换应用 | 复制完成后 | 立即 |
| 进度 | 已发现、已复制、已跳过、未复制的文件数;可暂停、继续、停止 | 持续进行,直到您关闭 |
| 原存储 | Amazon S3、Google Cloud Storage、兼容 S3 的存储 | Amazon S3、Google Cloud Storage |
复制在我们这边进行——您的电脑无需保持开机。复制完成(或中途停止)时,您会收到电子邮件和 Telegram 消息。
账户所有者和应用的管理员可以迁移文件(请参阅团队访问权限),也可以通过 API、命令行工具和 MCP 进行。
开始之前:只读密钥
请在原存储中为本次迁移单独创建一个密钥,只允许列出和读取这一个存储桶。切勿粘贴您的主密钥。该密钥仅用于本次迁移;我们不会保存它,它也不会再次显示。迁移完成后,请在原服务商处删除该密钥。
Amazon S3
在 IAM 中创建一个用户(或带访问密钥的角色),并附加以下策略——将 my-old-bucket 替换为您的存储桶:
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": ["s3:List*", "s3:Get*"],
"Resource": ["arn:aws:s3:::my-old-bucket", "arn:aws:s3:::my-old-bucket/*"]
}
]
}然后为其创建访问密钥。在控制面板中,您需要填写访问密钥 ID、秘密访问密钥、存储桶名称及其区域(例如 eu-central-1;在 S3 控制台中显示在存储桶旁边)。
Google Cloud Storage
创建一个对该存储桶有读取权限的服务账号,并下载其 JSON 密钥:
gcloud iam service-accounts create rivervo-move --display-name="Move files to Rivervo"
gcloud storage buckets add-iam-policy-binding gs://my-old-bucket \
--member="serviceAccount:rivervo-move@MY-PROJECT.iam.gserviceaccount.com" --role="roles/storage.objectViewer"
gcloud storage buckets add-iam-policy-binding gs://my-old-bucket \
--member="serviceAccount:rivervo-move@MY-PROJECT.iam.gserviceaccount.com" --role="roles/storage.legacyBucketReader"
gcloud iam service-accounts keys create key.json \
--iam-account="rivervo-move@MY-PROJECT.iam.gserviceaccount.com"Storage Object Viewer 用于读取文件;Storage Legacy Bucket Reader 让复制过程能够读取存储桶本身。在控制面板中粘贴 key.json 的全部内容。之后请从您的电脑中删除该密钥文件。
其他兼容 S3 的存储
任何提供 S3 API 的存储都可以用同样的方式迁移:创建一个只能列出和读取该存储桶的密钥(大多数服务商称之为“只读”或“受限”密钥),并找到存储桶所在区域的 S3 地址——例如 https://s3.eu-central-003.backblazeb2.com。填写地址时不要包含存储桶名称。
立即全部复制
- 应用 → 存储 → 存储桶 → 迁入文件。
- 选择立即全部复制、原存储、其中的存储桶、区域或 S3 地址,并粘贴密钥。
- 可选:指定文件夹——例如只复制
photos/。 - 已存在的文件:默认情况下,如果存储桶中已有同名文件,则保留该文件并跳过原存储中的文件。开启替换可覆盖。
- 点击开始复制并确认。
卡片上会显示已发现、已复制、已跳过和未复制的文件数,并附进度条;查看日志会列出被跳过或无法复制的文件。您可以暂停、继续或停止复制——已复制的文件会保留。复制完成后,将应用切换到该存储桶(应用已有 S3_* 变量)。
文件保留原名称(键)。之后再次运行复制只会复制缺失的文件(在替换关闭的情况下)。
逐步迁移,不停机
适用于应用必须持续运行、且不断有新文件加入的情况:
- 迁入文件 → 逐步迁移,不停机,选择原存储、存储桶并填写密钥 → 开启逐步迁移。
- 立即将应用切换到该存储桶(使用其
S3_*变量)并部署。 - 当应用读取存储桶中尚不存在的文件时,系统会在那一刻从原存储复制该文件并返回。新上传的文件直接存入存储桶。
- 完成迁移:对尚未被读取的文件运行立即全部复制(关闭替换,以保留较新的文件),等待复制完成,然后关闭逐步迁移。
在关闭之前,原存储必须保持可用且密钥不变。关闭后,从未被读取且未被复制的文件将不再获取。
从服务器上的文件夹迁移
如需从 VPS 或其他服务器迁移文件(例如 Laravel 网站的 storage/app/public),请使用 rclone 和存储桶自己的密钥。这些密钥在应用的变量标签页中:S3_ENDPOINT、S3_BUCKET、S3_KEY 和 S3_SECRET(第二个存储桶的变量名前带有其名称:MEDIA_S3_KEY …)。
# 安装 rclone(Linux)
curl https://rclone.org/install.sh | sudo bash
# 以环境变量形式提供存储桶密钥——不会写入配置文件
export RCLONE_CONFIG_RIVERVO_TYPE=s3
export RCLONE_CONFIG_RIVERVO_PROVIDER=Other
export RCLONE_CONFIG_RIVERVO_REGION=auto
export RCLONE_CONFIG_RIVERVO_ENDPOINT='S3_ENDPOINT 的值'
export RCLONE_CONFIG_RIVERVO_ACCESS_KEY_ID='S3_KEY 的值'
export RCLONE_CONFIG_RIVERVO_SECRET_ACCESS_KEY='S3_SECRET 的值'
# 将文件夹复制到存储桶(S3_BUCKET 的值),保留目录结构
rclone copy /var/www/shop/storage/app/public rivervo:BUCKET/public --progress --transfers 16
# 检查所有文件是否都已到达
rclone check /var/www/shop/storage/app/public rivervo:BUCKET/public --one-wayrclone copy 不会删除存储桶中的任何内容,并会跳过已存在且未更改的文件,因此中断后可以再次运行。长时间复制请在服务器上的 tmux 或 screen 中运行——这样即使 SSH 连接断开,复制也会继续。
费用
**迁移本身不收费。**存储桶中的文件按常规对象存储价格计费,从您的余额中扣除:
- 存储:每月每 GB US$0.025——50 GB 每月约 US$1.25;
- 写入:每百万次 US$6.00——每个复制的文件约计一次写入,因此 100 000 个文件约 US$0.60(很大的文件会分段上传,计为几次写入);
- 逐步迁移期间产生的读取按普通读取计费(每百万次 US$0.50)。
大多数云存储服务商会对流出的数据收费(出站流量)。迁移大量数据前,请查看原服务商的价目表。
迁移文件需要余额为正,与添加存储桶相同。免费试用期间不可用,也不能迁入只读的存储桶(超出容量上限,或超出余额可支付的范围)——控制面板会说明原因,并在有帮助时提供充值入口。复制过程中如果存储桶变为只读,复制会暂停,并在恢复可写后自动继续。
限制
- 每个存储桶同一时间只能进行一次复制和一次逐步迁移。
- 大于 1 TB 的文件会被复制跳过。
- 需要先取回才能读取的归档存储类别中的文件(S3 Glacier Flexible Retrieval、Glacier Deep Archive)会被跳过;请先将其取回。
- 只有您自定义的元数据(
x-amz-meta-*)会随文件迁移;文件的 ETag 可能与原来不同。 - 逐步迁移开启期间从存储桶中删除的文件,在下次被读取时会再次被复制。