Mover ficheiros para o armazenamento de objetos.
Traga ficheiros do Amazon S3, do Google Cloud Storage, de qualquer armazenamento compatível com S3 ou de uma pasta no seu servidor para um bucket: copie tudo de uma vez ou mude aos poucos, sem interrupções.
Já guarda ficheiros noutro sítio? Mova-os para um bucket da sua aplicação de uma de duas formas. Ambas começam no painel: a aplicação → Armazenamento → o bucket → Trazer ficheiros.
| Copiar tudo agora | Mover aos poucos, sem interrupções | |
|---|---|---|
| O que acontece | todos os ficheiros são copiados de uma vez | um ficheiro é copiado na primeira vez que a aplicação o lê |
| Quando mudar a aplicação | depois de a cópia terminar | de imediato |
| Progresso | ficheiros encontrados, copiados, ignorados, não copiados; pausar, retomar, parar | ativo até o desativar |
| Armazenamento antigo | Amazon S3, Google Cloud Storage, compatível com S3 | Amazon S3, Google Cloud Storage |
A cópia corre do nosso lado — o seu computador não precisa de ficar ligado. Quando terminar (ou se parar antes do fim), recebe um email e uma mensagem de Telegram.
Mover ficheiros está disponível para o titular da conta e para os Administradores da aplicação (consulte Acesso da equipa), e também através da API, CLI e MCP.
Antes de começar: uma chave só de leitura
Crie no armazenamento antigo uma chave separada para esta mudança, que só possa listar e ler esse bucket. Nunca cole as suas chaves principais. A chave é usada só para esta mudança; não a guardamos e nunca volta a ser mostrada. Apague-a no fornecedor antigo quando a mudança terminar.
Amazon S3
No IAM, crie um utilizador (ou uma função com chave de acesso) com esta política — substitua my-old-bucket pelo seu bucket:
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": ["s3:List*", "s3:Get*"],
"Resource": ["arn:aws:s3:::my-old-bucket", "arn:aws:s3:::my-old-bucket/*"]
}
]
}Depois crie uma chave de acesso para ele. No painel precisa do ID da chave de acesso, da chave de acesso secreta, do nome do bucket e da respetiva região (por exemplo, eu-central-1; aparece junto ao bucket na consola do S3).
Google Cloud Storage
Crie uma conta de serviço com acesso de leitura ao bucket e descarregue a respetiva chave JSON:
gcloud iam service-accounts create rivervo-move --display-name="Move files to Rivervo"
gcloud storage buckets add-iam-policy-binding gs://my-old-bucket \
--member="serviceAccount:rivervo-move@MY-PROJECT.iam.gserviceaccount.com" --role="roles/storage.objectViewer"
gcloud storage buckets add-iam-policy-binding gs://my-old-bucket \
--member="serviceAccount:rivervo-move@MY-PROJECT.iam.gserviceaccount.com" --role="roles/storage.legacyBucketReader"
gcloud iam service-accounts keys create key.json \
--iam-account="rivervo-move@MY-PROJECT.iam.gserviceaccount.com"Storage Object Viewer lê os ficheiros; Storage Legacy Bucket Reader permite que a cópia leia o próprio bucket. No painel, cole todo o conteúdo de key.json. Depois, apague o ficheiro da chave do seu computador.
Outro armazenamento compatível com S3
Qualquer armazenamento com API S3 funciona da mesma forma: crie uma chave que só possa listar e ler o bucket (a maioria dos fornecedores chama-lhe chave «read-only» ou «restricted») e encontre o endereço S3 da região do bucket — por exemplo, https://s3.eu-central-003.backblazeb2.com. Introduza o endereço sem o nome do bucket.
Copiar tudo agora
- A aplicação → Armazenamento → o bucket → Trazer ficheiros.
- Escolha Copiar tudo agora, o armazenamento antigo, o bucket lá, a região ou o endereço S3, e cole a chave.
- Opcional: uma pasta — copiar só
photos/, por exemplo. - Ficheiros que já cá estão: por predefinição, um ficheiro com o mesmo nome que já esteja no bucket é mantido e o do armazenamento antigo é ignorado. Ative Substituí-los para os sobrescrever.
- Iniciar a cópia e confirme.
O cartão mostra quantos ficheiros foram encontrados, copiados, ignorados e não copiados, com uma barra de progresso; Mostrar registo indica os ficheiros que foram ignorados ou não puderam ser copiados. Pode Pausar, Retomar ou Parar a cópia — os ficheiros já copiados ficam. Quando a cópia terminar, mude a aplicação para o bucket (já tem as variáveis S3_*).
Os ficheiros mantêm os nomes (chaves). Voltar a correr a cópia mais tarde copia só o que falta (com Substituí-los desativado).
Mover aos poucos, sem interrupções
Útil quando a aplicação tem de continuar a funcionar e estão sempre a ser acrescentados ficheiros:
- Trazer ficheiros → Mover aos poucos, sem interrupções, o armazenamento antigo, o bucket e a chave → Ativar a mudança gradual.
- Mude de imediato a aplicação para este bucket (as variáveis
S3_*dele) e faça o deploy. - Quando a aplicação lê um ficheiro que ainda não está no bucket, este é copiado do armazenamento antigo nesse momento e servido. Os novos uploads vão diretamente para o bucket.
- Para terminar: corra Copiar tudo agora para os ficheiros que ninguém leu ainda (com Substituí-los desativado, para que os ficheiros mais recentes fiquem), espere até terminar e depois Desative a mudança gradual.
Até a desativar, o armazenamento antigo tem de continuar disponível com a mesma chave. Os ficheiros que nunca foram lidos nem copiados deixam de ser obtidos depois de a desativar.
A partir de uma pasta no seu servidor
Para mover ficheiros de um VPS ou de qualquer outro servidor (por exemplo, storage/app/public de um site Laravel), use o rclone com as chaves do próprio bucket. Encontra-as no separador Variáveis da aplicação: S3_ENDPOINT, S3_BUCKET, S3_KEY e S3_SECRET (um segundo bucket tem o nome à frente: MEDIA_S3_KEY …).
# Install rclone (Linux)
curl https://rclone.org/install.sh | sudo bash
# The bucket's keys as environment variables — they do not end up in a config file
export RCLONE_CONFIG_RIVERVO_TYPE=s3
export RCLONE_CONFIG_RIVERVO_PROVIDER=Other
export RCLONE_CONFIG_RIVERVO_REGION=auto
export RCLONE_CONFIG_RIVERVO_ENDPOINT='value of S3_ENDPOINT'
export RCLONE_CONFIG_RIVERVO_ACCESS_KEY_ID='value of S3_KEY'
export RCLONE_CONFIG_RIVERVO_SECRET_ACCESS_KEY='value of S3_SECRET'
# Copy the folder into the bucket (value of S3_BUCKET), keeping the folder structure
rclone copy /var/www/shop/storage/app/public rivervo:BUCKET/public --progress --transfers 16
# Check that every file arrived
rclone check /var/www/shop/storage/app/public rivervo:BUCKET/public --one-wayO rclone copy nunca apaga nada no bucket e ignora os ficheiros que já lá estão sem alterações, por isso pode voltar a corrê-lo depois de uma pausa. Numa cópia longa, corra-o dentro de tmux ou screen no servidor — assim continua mesmo que a ligação SSH caia.
Quanto custa
A mudança em si não tem custo. Os ficheiros no bucket custam os preços habituais do armazenamento de objetos, pagos a partir do seu saldo:
- armazenamento: 0,025 US$ por GB por mês — 50 GB custam cerca de 1,25 US$ por mês;
- escritas: 6 US$ por milhão — cada ficheiro copiado corresponde a cerca de uma escrita, por isso 100 000 ficheiros custam cerca de 0,60 US$ (um ficheiro muito grande é enviado por partes e conta algumas escritas);
- as leituras feitas durante a mudança gradual são leituras normais (0,50 US$ por milhão).
A maioria dos fornecedores de armazenamento cloud cobra pelos dados que saem (egress). Consulte a tabela de preços do fornecedor antigo antes de mover muitos dados.
Mover ficheiros exige saldo positivo, tal como adicionar um bucket. Não está disponível durante o período de teste gratuito nem para um bucket só de leitura (acima do limite de tamanho ou para além do que o saldo paga) — o painel explica porquê e propõe um carregamento quando isso ajuda. Se, durante uma cópia, o bucket passar a só de leitura, a cópia fica em pausa e continua sozinha quando voltar a ser possível escrever.
Limites
- Uma cópia e uma mudança gradual de cada vez por bucket.
- Os ficheiros com mais de 1 TB são ignorados pela cópia.
- Os ficheiros em classes de arquivo que têm de ser restaurados antes da leitura (S3 Glacier Flexible Retrieval, Glacier Deep Archive) são ignorados; restaure-os primeiro.
- Só os seus próprios metadados (
x-amz-meta-*) acompanham um ficheiro; o ETag de um ficheiro pode ser diferente do antigo. - Um ficheiro apagado do bucket enquanto a mudança gradual está ativa volta a ser copiado da próxima vez que for lido.