Dateien in den Object Storage übertragen.
Dateien aus Amazon S3, Google Cloud Storage, einem beliebigen S3-kompatiblen Speicher oder einem Ordner auf Ihrem Server in einen Bucket holen: alles auf einmal kopieren oder schrittweise ohne Ausfallzeit umziehen.
Ihre Dateien liegen bereits woanders? Übertragen Sie sie auf einem von zwei Wegen in einen Bucket Ihrer Anwendung. Beide beginnen im Panel: die Anwendung → Speicher → der Bucket → Dateien übertragen.
| Jetzt alles kopieren | Schrittweise umziehen, ohne Ausfallzeit | |
|---|---|---|
| Was passiert | alle Dateien werden in einem Durchgang kopiert | eine Datei wird kopiert, wenn Ihre Anwendung sie zum ersten Mal liest |
| Wann Sie die Anwendung umstellen | nach Abschluss der Kopie | sofort |
| Fortschritt | gefundene, kopierte, übersprungene, nicht kopierte Dateien; Pausieren, Fortsetzen, Abbrechen | aktiv, bis Sie es ausschalten |
| Bisheriger Speicher | Amazon S3, Google Cloud Storage, S3-kompatibel | Amazon S3, Google Cloud Storage |
Die Kopie läuft auf unserer Seite – Ihr Computer muss nicht eingeschaltet bleiben. Ist sie fertig (oder bricht sie vorzeitig ab), erhalten Sie eine E-Mail und eine Telegram-Nachricht.
Dateien übertragen können der Kontoinhaber und die Administratoren der Anwendung (siehe Teamzugriff), außerdem ist es über API, CLI und MCP möglich.
Vorab: ein Schlüssel, der nur lesen darf
Erstellen Sie in Ihrem bisherigen Speicher einen eigenen Schlüssel nur für diesen Umzug, der ausschließlich den einen Bucket auflisten und lesen darf. Fügen Sie nie Ihre Hauptschlüssel ein. Der Schlüssel wird nur für diesen Umzug verwendet; wir speichern ihn nicht, und er wird nie wieder angezeigt. Löschen Sie ihn beim bisherigen Anbieter, sobald der Umzug abgeschlossen ist.
Amazon S3
Legen Sie in IAM einen Benutzer (oder eine Rolle mit Zugriffsschlüssel) mit dieser Richtlinie an – ersetzen Sie my-old-bucket durch Ihren Bucket:
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": ["s3:List*", "s3:Get*"],
"Resource": ["arn:aws:s3:::my-old-bucket", "arn:aws:s3:::my-old-bucket/*"]
}
]
}Erstellen Sie dann einen Zugriffsschlüssel dafür. Im Panel benötigen Sie die Zugriffsschlüssel-ID, den geheimen Zugriffsschlüssel, den Bucket-Namen und seine Region (zum Beispiel eu-central-1; sie steht in der S3-Konsole neben dem Bucket).
Google Cloud Storage
Erstellen Sie ein Dienstkonto mit Lesezugriff auf den Bucket und laden Sie seinen JSON-Schlüssel herunter:
gcloud iam service-accounts create rivervo-move --display-name="Move files to Rivervo"
gcloud storage buckets add-iam-policy-binding gs://my-old-bucket \
--member="serviceAccount:rivervo-move@MY-PROJECT.iam.gserviceaccount.com" --role="roles/storage.objectViewer"
gcloud storage buckets add-iam-policy-binding gs://my-old-bucket \
--member="serviceAccount:rivervo-move@MY-PROJECT.iam.gserviceaccount.com" --role="roles/storage.legacyBucketReader"
gcloud iam service-accounts keys create key.json \
--iam-account="rivervo-move@MY-PROJECT.iam.gserviceaccount.com"Storage Object Viewer liest die Dateien; Storage Legacy Bucket Reader erlaubt der Kopie, den Bucket selbst zu lesen. Fügen Sie im Panel den gesamten Inhalt von key.json ein. Löschen Sie die Schlüsseldatei anschließend von Ihrem Computer.
Andere S3-kompatible Speicher
Jeder Speicher mit S3-API funktioniert genauso: Erstellen Sie einen Schlüssel, der den Bucket nur auflisten und lesen darf (die meisten Anbieter nennen das einen „Read-only“- oder „eingeschränkten“ Schlüssel), und ermitteln Sie die S3-Adresse der Region des Buckets – zum Beispiel https://s3.eu-central-003.backblazeb2.com. Geben Sie die Adresse ohne den Bucket-Namen ein.
Jetzt alles kopieren
- Die Anwendung → Speicher → der Bucket → Dateien übertragen.
- Wählen Sie Jetzt alles kopieren, den bisherigen Speicher, den Bucket dort, die Region oder S3-Adresse, und fügen Sie den Schlüssel ein.
- Optional: ein Ordner – zum Beispiel nur
photos/kopieren. - Bereits vorhandene Dateien: Standardmäßig bleibt eine gleichnamige Datei im Bucket erhalten, und die aus dem bisherigen Speicher wird übersprungen. Schalten Sie Ersetzen ein, um zu überschreiben.
- Kopie starten und bestätigen.
Die Karte zeigt mit einem Fortschrittsbalken, wie viele Dateien gefunden, kopiert, übersprungen und nicht kopiert wurden; Log anzeigen nennt die übersprungenen und nicht kopierbaren Dateien. Sie können Pausieren, Fortsetzen oder Kopie abbrechen – bereits kopierte Dateien bleiben erhalten. Ist die Kopie fertig, stellen Sie Ihre Anwendung auf den Bucket um (die S3_*-Variablen hat sie bereits).
Dateien behalten ihre Namen (Keys). Wenn Sie die Kopie später erneut ausführen, wird nur kopiert, was fehlt (mit ausgeschaltetem Ersetzen).
Schrittweise umziehen, ohne Ausfallzeit
Sinnvoll, wenn die Anwendung weiterlaufen muss und ständig Dateien hinzukommen:
- Dateien übertragen → Schrittweise umziehen, ohne Ausfallzeit, den bisherigen Speicher, den Bucket und den Schlüssel → Schrittweisen Umzug einschalten.
- Stellen Sie Ihre Anwendung sofort auf diesen Bucket um (seine
S3_*-Variablen) und deployen Sie. - Liest die Anwendung eine Datei, die noch nicht im Bucket liegt, wird sie in diesem Moment aus dem bisherigen Speicher kopiert und ausgeliefert. Neue Uploads landen direkt im Bucket.
- Zum Abschluss: Führen Sie Jetzt alles kopieren für die Dateien aus, die noch niemand gelesen hat (mit ausgeschaltetem Ersetzen, damit die neueren Dateien erhalten bleiben), warten Sie, bis die Kopie fertig ist, und schalten Sie den schrittweisen Umzug dann aus.
Bis Sie ihn ausschalten, muss der bisherige Speicher mit demselben Schlüssel erreichbar bleiben. Dateien, die nie gelesen und nicht kopiert wurden, werden nach dem Ausschalten nicht mehr abgeholt.
Aus einem Ordner auf Ihrem Server
Um Dateien von einem VPS oder einem anderen Server zu übertragen (zum Beispiel storage/app/public einer Laravel-Website), verwenden Sie rclone mit den eigenen Schlüsseln des Buckets. Sie finden sie im Tab Variablen der Anwendung: S3_ENDPOINT, S3_BUCKET, S3_KEY und S3_SECRET (bei einem zweiten Bucket steht sein Name davor: MEDIA_S3_KEY …).
# Install rclone (Linux)
curl https://rclone.org/install.sh | sudo bash
# The bucket's keys as environment variables — they do not end up in a config file
export RCLONE_CONFIG_RIVERVO_TYPE=s3
export RCLONE_CONFIG_RIVERVO_PROVIDER=Other
export RCLONE_CONFIG_RIVERVO_REGION=auto
export RCLONE_CONFIG_RIVERVO_ENDPOINT='value of S3_ENDPOINT'
export RCLONE_CONFIG_RIVERVO_ACCESS_KEY_ID='value of S3_KEY'
export RCLONE_CONFIG_RIVERVO_SECRET_ACCESS_KEY='value of S3_SECRET'
# Copy the folder into the bucket (value of S3_BUCKET), keeping the folder structure
rclone copy /var/www/shop/storage/app/public rivervo:BUCKET/public --progress --transfers 16
# Check that every file arrived
rclone check /var/www/shop/storage/app/public rivervo:BUCKET/public --one-wayrclone copy löscht nie etwas im Bucket und überspringt Dateien, die dort bereits unverändert liegen, sodass Sie es nach einer Unterbrechung erneut ausführen können. Starten Sie eine lange Kopie auf dem Server innerhalb von tmux oder screen – dann läuft sie weiter, auch wenn Ihre SSH-Verbindung abbricht.
Was es kostet
Für den Umzug selbst fallen keine Gebühren an. Dateien im Bucket kosten die üblichen Object-Storage-Preise, bezahlt aus Ihrem Guthaben:
- Speicher: 0,025 $ pro GB im Monat – 50 GB kosten etwa 1,25 $ im Monat;
- Schreibvorgänge: 6 $ pro Million – jede kopierte Datei entspricht etwa einem Schreibvorgang, 100.000 Dateien kosten also etwa 0,60 $ (eine sehr große Datei wird in Teilen hochgeladen und zählt als mehrere Schreibvorgänge);
- Lesevorgänge beim schrittweisen Umzug sind normale Lesevorgänge (0,50 $ pro Million).
Die meisten Cloud-Speicher-Anbieter berechnen ausgehenden Traffic (Egress). Prüfen Sie die Preisliste Ihres bisherigen Anbieters, bevor Sie große Datenmengen übertragen.
Für die Übertragung ist ein positives Guthaben nötig, genau wie für das Hinzufügen eines Buckets. Sie ist im kostenlosen Testzeitraum nicht verfügbar und nicht in einen schreibgeschützten Bucket möglich (über seiner Größengrenze oder über dem, was das Guthaben abdeckt) – das Panel nennt den Grund und bietet, wo es hilft, eine Aufladung an. Wird der Bucket während einer laufenden Kopie schreibgeschützt, pausiert die Kopie und läuft von selbst weiter, sobald wieder geschrieben werden kann.
Grenzen
- Pro Bucket jeweils eine Kopie und ein schrittweiser Umzug gleichzeitig.
- Dateien über 1 TB werden bei der Kopie übersprungen.
- Dateien in Archivklassen, die vor dem Lesen wiederhergestellt werden müssen (S3 Glacier Flexible Retrieval, Glacier Deep Archive), werden übersprungen; stellen Sie sie zuerst wieder her.
- Nur Ihre eigenen Metadaten (
x-amz-meta-*) werden mit einer Datei übertragen; das ETag einer Datei kann vom bisherigen abweichen. - Eine Datei, die bei aktivem schrittweisem Umzug aus dem Bucket gelöscht wird, wird beim nächsten Lesen erneut kopiert.