Como levar arquivos para o armazenamento de objetos.
Traga arquivos do Amazon S3, do Google Cloud Storage, de qualquer armazenamento compatível com S3 ou de uma pasta no seu servidor para um bucket: copie tudo de uma vez ou migre aos poucos, sem tempo fora do ar.
Já guarda arquivos em outro lugar? Leve-os para um bucket do seu aplicativo de uma destas duas formas. As duas começam no painel: o aplicativo → Armazenamento → o bucket → Trazer arquivos.
| Copiar tudo agora | Migrar aos poucos, sem tempo fora do ar | |
|---|---|---|
| O que acontece | todos os arquivos são copiados de uma vez | um arquivo é copiado na primeira vez que o seu aplicativo o lê |
| Quando mudar o seu aplicativo | depois que a cópia terminar | na hora |
| Andamento | arquivos encontrados, copiados, ignorados, não copiados; pausar, retomar, parar | ativo até você desativar |
| Armazenamento antigo | Amazon S3, Google Cloud Storage, compatível com S3 | Amazon S3, Google Cloud Storage |
A cópia roda do nosso lado — seu computador não precisa ficar ligado. Quando ela termina (ou se parar antes do fim), você recebe um e-mail e uma mensagem no Telegram.
A migração de arquivos está disponível para o titular da conta e para os Administradores do aplicativo (veja Acesso da equipe), e também pela API, CLI e MCP.
Antes de começar: uma chave que só pode ler
Crie no armazenamento antigo uma chave separada só para esta migração, que possa apenas listar e ler aquele bucket. Nunca cole suas chaves principais. A chave é usada só nesta migração; não a guardamos, e ela nunca mais é mostrada. Apague-a no provedor antigo quando a migração terminar.
Amazon S3
No IAM, crie um usuário (ou uma função com chave de acesso) com esta política — troque my-old-bucket pelo seu bucket:
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": ["s3:List*", "s3:Get*"],
"Resource": ["arn:aws:s3:::my-old-bucket", "arn:aws:s3:::my-old-bucket/*"]
}
]
}Depois crie uma chave de acesso para ele. No painel, você vai precisar do ID da chave de acesso, da chave de acesso secreta, do nome do bucket e da região dele (por exemplo, eu-central-1; ela aparece ao lado do bucket no console do S3).
Google Cloud Storage
Crie uma conta de serviço com acesso de leitura ao bucket e baixe a chave JSON dela:
gcloud iam service-accounts create rivervo-move --display-name="Move files to Rivervo"
gcloud storage buckets add-iam-policy-binding gs://my-old-bucket \
--member="serviceAccount:rivervo-move@MY-PROJECT.iam.gserviceaccount.com" --role="roles/storage.objectViewer"
gcloud storage buckets add-iam-policy-binding gs://my-old-bucket \
--member="serviceAccount:rivervo-move@MY-PROJECT.iam.gserviceaccount.com" --role="roles/storage.legacyBucketReader"
gcloud iam service-accounts keys create key.json \
--iam-account="rivervo-move@MY-PROJECT.iam.gserviceaccount.com"Storage Object Viewer lê os arquivos; Storage Legacy Bucket Reader permite que a cópia leia o próprio bucket. No painel, cole todo o conteúdo do key.json. Depois, apague o arquivo da chave do seu computador.
Outros armazenamentos compatíveis com S3
Qualquer armazenamento com API S3 funciona do mesmo jeito: crie uma chave que só possa listar e ler o bucket (a maioria dos provedores a chama de chave «read-only» ou «restricted») e encontre o endereço S3 da região do bucket — por exemplo, https://s3.eu-central-003.backblazeb2.com. Informe o endereço sem o nome do bucket.
Copiar tudo agora
- O aplicativo → Armazenamento → o bucket → Trazer arquivos.
- Escolha Copiar tudo agora, o armazenamento antigo, o bucket de lá, a região ou o endereço S3 e cole a chave.
- Opcional: uma pasta — copie só
photos/, por exemplo. - Arquivos que já estão aqui: por padrão, um arquivo com o mesmo nome que já está no bucket é mantido, e o do armazenamento antigo é ignorado. Ative Substituir para sobrescrever.
- Iniciar a cópia e confirme.
O card mostra quantos arquivos foram encontrados, copiados, ignorados e não copiados, com uma barra de progresso; Mostrar log lista os arquivos que foram ignorados ou não puderam ser copiados. Você pode Pausar, Retomar ou Parar a cópia — os arquivos já copiados ficam. Quando a cópia terminar, mude o seu aplicativo para o bucket (ele já tem as variáveis S3_*).
Os arquivos mantêm os nomes (chaves). Rodar a cópia de novo depois copia só o que estiver faltando (com Substituir desativado).
Migrar aos poucos, sem tempo fora do ar
Útil quando o aplicativo precisa continuar funcionando e arquivos são adicionados o tempo todo:
- Trazer arquivos → Migrar aos poucos, sem tempo fora do ar, o armazenamento antigo, o bucket e a chave → Ativar a migração gradual.
- Mude o seu aplicativo para este bucket na hora (as variáveis
S3_*dele) e faça o deploy. - Quando o aplicativo lê um arquivo que ainda não está no bucket, ele é copiado do armazenamento antigo naquele momento e entregue. Novos uploads vão direto para o bucket.
- Para terminar: rode Copiar tudo agora para os arquivos que ninguém leu ainda (com Substituir desativado, para que os arquivos mais novos fiquem), espere terminar e depois clique em Desativar a migração gradual.
Até você desativá-la, o armazenamento antigo precisa continuar disponível com a mesma chave. Arquivos que nunca foram lidos nem copiados deixam de ser buscados depois que ela é desativada.
De uma pasta no seu servidor
Para levar arquivos de uma VPS ou de qualquer outro servidor (por exemplo, o storage/app/public de um site Laravel), use o rclone com as próprias chaves do bucket. Elas ficam na aba Variáveis do aplicativo: S3_ENDPOINT, S3_BUCKET, S3_KEY e S3_SECRET (um segundo bucket tem o nome na frente: MEDIA_S3_KEY …).
# Install rclone (Linux)
curl https://rclone.org/install.sh | sudo bash
# The bucket's keys as environment variables — they do not end up in a config file
export RCLONE_CONFIG_RIVERVO_TYPE=s3
export RCLONE_CONFIG_RIVERVO_PROVIDER=Other
export RCLONE_CONFIG_RIVERVO_REGION=auto
export RCLONE_CONFIG_RIVERVO_ENDPOINT='value of S3_ENDPOINT'
export RCLONE_CONFIG_RIVERVO_ACCESS_KEY_ID='value of S3_KEY'
export RCLONE_CONFIG_RIVERVO_SECRET_ACCESS_KEY='value of S3_SECRET'
# Copy the folder into the bucket (value of S3_BUCKET), keeping the folder structure
rclone copy /var/www/shop/storage/app/public rivervo:BUCKET/public --progress --transfers 16
# Check that every file arrived
rclone check /var/www/shop/storage/app/public rivervo:BUCKET/public --one-wayO rclone copy nunca apaga nada no bucket e ignora arquivos que já estão lá sem alterações, então você pode rodá-lo de novo depois de uma interrupção. Para uma cópia longa, rode-o dentro do tmux ou do screen no servidor — assim ele continua mesmo se a sua conexão SSH cair.
Quanto custa
A migração em si não tem custo. Os arquivos no bucket custam os preços normais do armazenamento de objetos, pagos com o seu saldo:
- armazenamento: US$ 0,025 por GB por mês — 50 GB custam cerca de US$ 1,25 por mês;
- gravações: US$ 6 por milhão — cada arquivo copiado equivale a cerca de uma gravação, então 100.000 arquivos custam cerca de US$ 0,60 (um arquivo muito grande é enviado em partes e conta algumas gravações);
- as leituras feitas durante a migração gradual são leituras normais (US$ 0,50 por milhão).
A maioria dos provedores de armazenamento em nuvem cobra pelos dados que saem deles (egress). Confira a tabela de preços do seu provedor antigo antes de migrar muitos dados.
A migração de arquivos exige saldo positivo, assim como adicionar um bucket. Ela não está disponível durante o teste grátis nem para um bucket em modo somente leitura (acima do limite de tamanho ou além do que o saldo cobre) — o painel explica o motivo e oferece adicionar saldo quando isso resolve. Se o bucket ficar somente leitura durante uma cópia, ela é pausada e continua sozinha quando a gravação voltar a ser possível.
Limites
- Uma cópia e uma migração gradual por vez em cada bucket.
- Arquivos maiores que 1 TB são ignorados pela cópia.
- Arquivos em classes de arquivamento que precisam ser restaurados antes da leitura (S3 Glacier Flexible Retrieval, Glacier Deep Archive) são ignorados; restaure-os antes.
- Só os seus próprios metadados (
x-amz-meta-*) vão junto com o arquivo; o ETag de um arquivo pode ser diferente do antigo. - Um arquivo apagado do bucket com a migração gradual ativa é copiado de novo na próxima vez que for lido.