Aan de slag

Bestanden naar objectopslag verhuizen.

Haal bestanden uit Amazon S3, Google Cloud Storage, andere S3-compatibele opslag of een map op je server naar een bucket: alles in één keer kopiëren, of geleidelijk verhuizen zonder downtime.

6 MIN LEESTIJD

Bewaar je je bestanden nu nog ergens anders? Verhuis ze op een van twee manieren naar een bucket van je applicatie. Beide start je in het paneel: de applicatie → Opslag → de bucket → Bestanden overzetten.

Nu alles kopiërenGeleidelijk verhuizen, zonder downtime
Wat er gebeurtalle bestanden worden in één keer gekopieerdeen bestand wordt gekopieerd zodra je applicatie het voor het eerst leest
Wanneer je je applicatie omzetals het kopiëren klaar ismeteen
Voortgangbestanden gevonden, gekopieerd, overgeslagen, niet gekopieerd; pauzeren, hervatten, stoppenactief tot je het uitzet
Oude opslagAmazon S3, Google Cloud Storage, S3-compatibelAmazon S3, Google Cloud Storage

Het kopiëren gebeurt bij ons — je computer hoeft niet aan te blijven. Als het klaar is (of als het voor het einde stopt), krijg je een e-mail en een Telegram-bericht.

Bestanden verhuizen kunnen de eigenaar van het account en de Beheerders van de applicatie (zie Teamtoegang), en het kan ook via de API, CLI en MCP.

Voordat je begint: een sleutel die alleen kan lezen

Maak in je oude opslag een aparte sleutel voor deze verhuizing die alleen die ene bucket kan oplijsten en lezen. Plak nooit je hoofdsleutels. De sleutel wordt alleen voor deze verhuizing gebruikt; we bewaren hem niet en hij wordt nooit meer getoond. Verwijder hem bij de oude provider zodra de verhuizing klaar is.

Amazon S3

Maak in IAM een gebruiker (of een rol met een access key) aan met deze policy — vervang my-old-bucket door je eigen bucket:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": ["s3:List*", "s3:Get*"],
      "Resource": ["arn:aws:s3:::my-old-bucket", "arn:aws:s3:::my-old-bucket/*"]
    }
  ]
}

Maak daarna een access key voor die gebruiker. In het paneel heb je de access key ID, de secret access key, de naam van de bucket en de regio nodig (bijvoorbeeld eu-central-1; die staat in de S3-console naast de bucket).

Google Cloud Storage

Maak een dienstaccount met leestoegang tot de bucket en download de JSON-sleutel ervan:

gcloud iam service-accounts create rivervo-move --display-name="Move files to Rivervo"
gcloud storage buckets add-iam-policy-binding gs://my-old-bucket \
  --member="serviceAccount:rivervo-move@MY-PROJECT.iam.gserviceaccount.com" --role="roles/storage.objectViewer"
gcloud storage buckets add-iam-policy-binding gs://my-old-bucket \
  --member="serviceAccount:rivervo-move@MY-PROJECT.iam.gserviceaccount.com" --role="roles/storage.legacyBucketReader"
gcloud iam service-accounts keys create key.json \
  --iam-account="rivervo-move@MY-PROJECT.iam.gserviceaccount.com"

Storage Object Viewer leest de bestanden; met Storage Legacy Bucket Reader kan de kopieeractie de bucket zelf lezen. Plak in het paneel de volledige inhoud van key.json. Verwijder het sleutelbestand daarna van je computer.

Andere S3-compatibele opslag

Elke opslag met een S3-API werkt op dezelfde manier: maak een sleutel die de bucket alleen kan oplijsten en lezen (de meeste providers noemen dat een «read-only»- of «restricted»-sleutel), en zoek het S3-adres van de regio van de bucket op — bijvoorbeeld https://s3.eu-central-003.backblazeb2.com. Vul het adres in zonder de naam van de bucket.

Nu alles kopiëren

  1. De applicatie → Opslag → de bucket → Bestanden overzetten.
  2. Kies Nu alles kopiëren, de oude opslag, de bucket daar, de regio of het S3-adres, en plak de sleutel.
  3. Optioneel: een map — kopieer bijvoorbeeld alleen photos/.
  4. Bestanden die er al staan: standaard blijft een bestand met dezelfde naam dat al in de bucket staat behouden en wordt het bestand uit de oude opslag overgeslagen. Zet Vervangen aan om te overschrijven.
  5. Kopiëren starten en bevestig.

De kaart toont hoeveel bestanden er zijn gevonden, gekopieerd, overgeslagen en niet gekopieerd, met een voortgangsbalk; Log tonen noemt de bestanden die zijn overgeslagen of niet konden worden gekopieerd. Je kunt Pauzeren, Hervatten of Kopiëren stoppen — al gekopieerde bestanden blijven staan. Is het kopiëren klaar, zet je applicatie dan om naar de bucket (die heeft de S3_*-variabelen al).

Bestanden houden hun namen (keys). Start je het kopiëren later opnieuw, dan wordt alleen gekopieerd wat nog ontbreekt (met Vervangen uit).

Geleidelijk verhuizen, zonder downtime

Handig als de applicatie moet blijven werken en er voortdurend bestanden bijkomen:

  1. Bestanden overzetten → Geleidelijk verhuizen, zonder downtime, de oude opslag, de bucket en de sleutel → Geleidelijk verhuizen aanzetten.
  2. Zet je applicatie meteen om naar deze bucket (de S3_*-variabelen ervan) en deploy.
  3. Leest de applicatie een bestand dat nog niet in de bucket staat, dan wordt het op dat moment uit de oude opslag gekopieerd en geserveerd. Nieuwe uploads gaan direct naar de bucket.
  4. Afronden: start Nu alles kopiëren voor de bestanden die nog niemand heeft gelezen (met Vervangen uit, zodat de nieuwere bestanden blijven), wacht tot het klaar is en zet geleidelijk verhuizen daarna Uit.

Tot je het uitzet, moet de oude opslag met dezelfde sleutel bereikbaar blijven. Bestanden die nooit zijn gelezen en niet zijn gekopieerd, worden niet meer opgehaald als het uit staat.

Vanuit een map op je server

Om bestanden van een VPS of een andere server te verhuizen (bijvoorbeeld storage/app/public van een Laravel-site), gebruik je rclone met de eigen sleutels van de bucket. Die vind je op het tabblad Variabelen van de applicatie: S3_ENDPOINT, S3_BUCKET, S3_KEY en S3_SECRET (bij een tweede bucket staat de naam ervoor: MEDIA_S3_KEY …).

# Install rclone (Linux)
curl https://rclone.org/install.sh | sudo bash
 
# The bucket's keys as environment variables — they do not end up in a config file
export RCLONE_CONFIG_RIVERVO_TYPE=s3
export RCLONE_CONFIG_RIVERVO_PROVIDER=Other
export RCLONE_CONFIG_RIVERVO_REGION=auto
export RCLONE_CONFIG_RIVERVO_ENDPOINT='value of S3_ENDPOINT'
export RCLONE_CONFIG_RIVERVO_ACCESS_KEY_ID='value of S3_KEY'
export RCLONE_CONFIG_RIVERVO_SECRET_ACCESS_KEY='value of S3_SECRET'
 
# Copy the folder into the bucket (value of S3_BUCKET), keeping the folder structure
rclone copy /var/www/shop/storage/app/public rivervo:BUCKET/public --progress --transfers 16
 
# Check that every file arrived
rclone check /var/www/shop/storage/app/public rivervo:BUCKET/public --one-way

rclone copy verwijdert nooit iets in de bucket en slaat bestanden over die er al ongewijzigd staan, dus je kunt het na een onderbreking gewoon opnieuw starten. Draai het voor een lange kopie in tmux of screen op de server — dan gaat het door als je SSH-verbinding wegvalt.

Wat het kost

Voor de verhuizing zelf betaal je niets. Bestanden in de bucket kosten de gewone prijzen voor objectopslag, betaald uit je saldo:

  • opslag: US$ 0,025 per GB per maand — 50 GB kost ongeveer US$ 1,25 per maand;
  • schrijfacties: US$ 6 per miljoen — elk gekopieerd bestand is ongeveer één schrijfactie, dus 100.000 bestanden kosten ongeveer US$ 0,60 (een heel groot bestand wordt in delen geüpload en telt als een paar schrijfacties);
  • leesacties tijdens geleidelijk verhuizen zijn gewone leesacties (US$ 0,50 per miljoen).

De meeste cloudopslagproviders rekenen voor data die bij hen vertrekt (egress). Bekijk de prijslijst van je oude provider voordat je veel data verhuist.

Voor het verhuizen van bestanden heb je een positief saldo nodig, net als voor het toevoegen van een bucket. Het kan niet tijdens de gratis proefperiode en niet naar een bucket die alleen-lezen is (boven de groottelimiet, of meer dan het saldo dekt) — het paneel vertelt waarom en stelt opwaarderen voor waar dat helpt. Wordt de bucket alleen-lezen terwijl er gekopieerd wordt, dan pauzeert het kopiëren en gaat het vanzelf verder zodra schrijven weer kan.

Grenzen

  • Eén kopieeractie en één geleidelijke verhuizing tegelijk per bucket.
  • Bestanden groter dan 1 TB worden bij het kopiëren overgeslagen.
  • Bestanden in archiefklassen die eerst teruggezet moeten worden voordat ze leesbaar zijn (S3 Glacier Flexible Retrieval, Glacier Deep Archive), worden overgeslagen; zet ze eerst terug.
  • Alleen je eigen metadata (x-amz-meta-*) verhuist mee met een bestand; de ETag van een bestand kan afwijken van de oude.
  • Een bestand dat uit de bucket wordt verwijderd terwijl geleidelijk verhuizen aan staat, wordt opnieuw gekopieerd zodra het weer wordt gelezen.

Kom je er niet uit?

Chat met ons — de AI antwoordt meteen en een technicus komt erbij als dat nodig is, op elk moment van de dag.

Contact met support