Transférer des fichiers vers le stockage objet.
Rapatriez dans un bucket des fichiers venant d'Amazon S3, de Google Cloud Storage, de n'importe quel stockage compatible S3 ou d'un dossier de votre serveur : tout copier d'un coup, ou migrer progressivement sans interruption.
Vos fichiers sont déjà stockés ailleurs ? Transférez-les dans un bucket de votre application de l'une des deux manières suivantes. Les deux partent du panel : l'application → Stockage → le bucket → Importer des fichiers.
| Tout copier maintenant | Migrer progressivement, sans interruption | |
|---|---|---|
| Ce qui se passe | tous les fichiers sont copiés en une seule fois | un fichier est copié la première fois que votre application le lit |
| Quand basculer votre application | une fois la copie terminée | tout de suite |
| Suivi | fichiers trouvés, copiés, ignorés, non copiés ; pause, reprise, arrêt | actif jusqu'à ce que vous le désactiviez |
| Ancien stockage | Amazon S3, Google Cloud Storage, compatible S3 | Amazon S3, Google Cloud Storage |
La copie s'exécute de notre côté : votre ordinateur n'a pas besoin de rester allumé. Une fois terminée (ou si elle s'arrête avant la fin), vous recevez un e-mail et un message Telegram.
Le transfert de fichiers est réservé au titulaire du compte et aux Administrateurs de l'application (voir Accès de l'équipe) ; il est aussi disponible via l'API, la CLI et MCP.
Avant de commencer : une clé en lecture seule
Dans votre ancien stockage, créez une clé dédiée à ce transfert, qui peut uniquement lister et lire le bucket concerné. Ne collez jamais vos clés principales. La clé sert uniquement à ce transfert ; nous ne la conservons pas et elle n'est plus jamais affichée. Supprimez-la chez l'ancien fournisseur une fois le transfert terminé.
Amazon S3
Dans IAM, créez un utilisateur (ou un rôle avec une clé d'accès) avec cette politique, en remplaçant my-old-bucket par votre bucket :
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": ["s3:List*", "s3:Get*"],
"Resource": ["arn:aws:s3:::my-old-bucket", "arn:aws:s3:::my-old-bucket/*"]
}
]
}Créez ensuite une clé d'accès pour cet utilisateur. Dans le panel, il vous faut l'ID de la clé d'accès, la clé d'accès secrète, le nom du bucket et sa région (par exemple eu-central-1 ; elle est affichée à côté du bucket dans la console S3).
Google Cloud Storage
Créez un compte de service avec un accès en lecture au bucket et téléchargez sa clé JSON :
gcloud iam service-accounts create rivervo-move --display-name="Move files to Rivervo"
gcloud storage buckets add-iam-policy-binding gs://my-old-bucket \
--member="serviceAccount:rivervo-move@MY-PROJECT.iam.gserviceaccount.com" --role="roles/storage.objectViewer"
gcloud storage buckets add-iam-policy-binding gs://my-old-bucket \
--member="serviceAccount:rivervo-move@MY-PROJECT.iam.gserviceaccount.com" --role="roles/storage.legacyBucketReader"
gcloud iam service-accounts keys create key.json \
--iam-account="rivervo-move@MY-PROJECT.iam.gserviceaccount.com"Storage Object Viewer permet de lire les fichiers ; Storage Legacy Bucket Reader permet à la copie de lire le bucket lui-même. Dans le panel, collez tout le contenu de key.json. Supprimez ensuite le fichier de clé de votre ordinateur.
Autres stockages compatibles S3
Tout stockage doté d'une API S3 fonctionne de la même manière : créez une clé qui peut uniquement lister et lire le bucket (la plupart des fournisseurs parlent de clé « read-only » ou « restricted »), et trouvez l'adresse S3 de la région du bucket, par exemple https://s3.eu-central-003.backblazeb2.com. Saisissez l'adresse sans le nom du bucket.
Tout copier maintenant
- L'application → Stockage → le bucket → Importer des fichiers.
- Choisissez Tout copier maintenant, l'ancien stockage, le bucket concerné, la région ou l'adresse S3, puis collez la clé.
- Facultatif : un dossier, pour ne copier par exemple que
photos/. - Fichiers déjà présents : par défaut, un fichier du même nom déjà présent dans le bucket est conservé et celui de l'ancien stockage est ignoré. Activez Les remplacer pour les écraser.
- Cliquez sur Lancer la copie et confirmez.
La carte indique combien de fichiers ont été trouvés, copiés, ignorés et non copiés, avec une barre de progression ; Afficher le journal liste les fichiers ignorés ou qui n'ont pas pu être copiés. Vous pouvez Mettre en pause, Reprendre ou Arrêter la copie : les fichiers déjà copiés restent en place. Une fois la copie terminée, basculez votre application sur le bucket (elle dispose déjà des variables S3_*).
Les fichiers conservent leurs noms (clés). Relancer la copie plus tard ne copie que ce qui manque (avec Les remplacer désactivé).
Migrer progressivement, sans interruption
Utile quand l'application doit continuer de tourner et que des fichiers sont ajoutés en permanence :
- Importer des fichiers → Migrer progressivement, sans interruption, l'ancien stockage, le bucket et la clé → Activer la migration progressive.
- Basculez tout de suite votre application sur ce bucket (ses variables
S3_*) et déployez. - Quand l'application lit un fichier qui n'est pas encore dans le bucket, celui-ci est copié depuis l'ancien stockage à ce moment-là, puis servi. Les nouveaux envois vont directement dans le bucket.
- Pour terminer : lancez Tout copier maintenant pour les fichiers que personne n'a encore lus (avec Les remplacer désactivé, afin de conserver les fichiers plus récents), attendez la fin, puis Désactivez la migration progressive.
Tant que vous ne l'avez pas désactivée, l'ancien stockage doit rester accessible avec la même clé. Les fichiers jamais lus et non copiés ne sont plus récupérés une fois la migration désactivée.
Depuis un dossier de votre serveur
Pour transférer des fichiers depuis un VPS ou tout autre serveur (par exemple storage/app/public d'un site Laravel), utilisez rclone avec les clés propres au bucket. Vous les trouverez dans l'onglet Variables de l'application : S3_ENDPOINT, S3_BUCKET, S3_KEY et S3_SECRET (pour un deuxième bucket, son nom figure devant : MEDIA_S3_KEY …).
# Install rclone (Linux)
curl https://rclone.org/install.sh | sudo bash
# The bucket's keys as environment variables — they do not end up in a config file
export RCLONE_CONFIG_RIVERVO_TYPE=s3
export RCLONE_CONFIG_RIVERVO_PROVIDER=Other
export RCLONE_CONFIG_RIVERVO_REGION=auto
export RCLONE_CONFIG_RIVERVO_ENDPOINT='value of S3_ENDPOINT'
export RCLONE_CONFIG_RIVERVO_ACCESS_KEY_ID='value of S3_KEY'
export RCLONE_CONFIG_RIVERVO_SECRET_ACCESS_KEY='value of S3_SECRET'
# Copy the folder into the bucket (value of S3_BUCKET), keeping the folder structure
rclone copy /var/www/shop/storage/app/public rivervo:BUCKET/public --progress --transfers 16
# Check that every file arrived
rclone check /var/www/shop/storage/app/public rivervo:BUCKET/public --one-wayrclone copy ne supprime jamais rien dans le bucket et ignore les fichiers déjà présents et inchangés : vous pouvez donc le relancer après une interruption. Pour une longue copie, lancez-le dans tmux ou screen sur le serveur : il continuera même si votre connexion SSH coupe.
Ce que cela coûte
Le transfert lui-même est gratuit. Les fichiers du bucket coûtent les tarifs habituels du stockage objet, réglés sur votre solde :
- stockage : 0,025 $US par Go et par mois ; 50 Go coûtent environ 1,25 $US par mois ;
- écritures : 6 $US par million ; chaque fichier copié représente environ une écriture, donc 100 000 fichiers coûtent environ 0,60 $US (un très gros fichier est envoyé en plusieurs parties et compte pour quelques écritures) ;
- les lectures effectuées pendant la migration progressive sont des lectures ordinaires (0,50 $US par million).
La plupart des fournisseurs de stockage cloud facturent les données sortantes (egress). Consultez la grille tarifaire de votre ancien fournisseur avant de transférer un gros volume de données.
Le transfert de fichiers nécessite un solde positif, comme l'ajout d'un bucket. Il n'est pas disponible pendant l'essai gratuit, ni vers un bucket en lecture seule (au-delà de sa limite de taille, ou au-delà de ce que couvre le solde) : le panel en indique la raison et propose une recharge quand cela résout le problème. Si le bucket passe en lecture seule pendant une copie, celle-ci se met en pause et reprend d'elle-même dès que l'écriture est de nouveau possible.
Limites
- Une copie et une migration progressive à la fois par bucket.
- Les fichiers de plus de 1 To sont ignorés par la copie.
- Les fichiers des classes d'archivage qui doivent être restaurés avant lecture (S3 Glacier Flexible Retrieval, Glacier Deep Archive) sont ignorés ; restaurez-les d'abord.
- Seules vos propres métadonnées (
x-amz-meta-*) suivent un fichier ; l'ETag d'un fichier peut différer de l'ancien. - Un fichier supprimé du bucket pendant que la migration progressive est active est recopié la prochaine fois qu'il est lu.