Tiedostojen siirto objektitallennustilaan.
Tuo tiedostot Amazon S3:sta, Google Cloud Storagesta, mistä tahansa S3-yhteensopivasta tallennustilasta tai palvelimesi kansiosta bucketiin: kopioi kaikki kerralla tai siirrä vähitellen ilman katkoa.
Onko tiedostosi jo muualla? Siirrä ne sovelluksesi bucketiin jommallakummalla kahdesta tavasta. Molemmat aloitetaan paneelista: sovellus → Tallennustila → bucket → Siirrä tiedostoja tänne.
| Kopioi kaikki nyt | Siirrä vähitellen, ilman katkoa | |
|---|---|---|
| Mitä tapahtuu | kaikki tiedostot kopioidaan kerralla | tiedosto kopioidaan, kun sovelluksesi lukee sen ensimmäisen kerran |
| Milloin sovellus vaihdetaan | kun kopiointi on valmis | heti |
| Edistyminen | löydetyt, kopioidut, ohitetut ja kopioimatta jääneet tiedostot; tauko, jatko, lopetus | päällä, kunnes kytket sen pois |
| Vanha tallennustila | Amazon S3, Google Cloud Storage, S3-yhteensopiva | Amazon S3, Google Cloud Storage |
Kopiointi tehdään meidän päässämme – tietokoneesi ei tarvitse olla päällä. Kun se on valmis (tai jos se pysähtyy ennen loppua), saat sähköpostin ja Telegram-viestin.
Tiedostojen siirto on tilin omistajan ja sovelluksen Ylläpitäjien käytettävissä (katso Tiimin käyttöoikeudet) sekä myös API:n, CLI:n ja MCP:n kautta.
Ennen kuin aloitat: avain, joka voi vain lukea
Luo vanhaan tallennustilaasi erillinen avain tätä siirtoa varten, joka voi vain listata ja lukea kyseisen bucketin. Älä koskaan liitä pääavaimiasi. Avainta käytetään vain tähän siirtoon; emme säilytä sitä, eikä sitä näytetä enää uudelleen. Poista se vanhalta palveluntarjoajalta, kun siirto on valmis.
Amazon S3
Luo IAM:ssä käyttäjä (tai rooli, jolla on käyttöavain) tällä käytännöllä – korvaa my-old-bucket omalla bucketillasi:
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": ["s3:List*", "s3:Get*"],
"Resource": ["arn:aws:s3:::my-old-bucket", "arn:aws:s3:::my-old-bucket/*"]
}
]
}Luo sille sitten käyttöavain. Paneelissa tarvitset käyttöavaimen tunnuksen, salaisen käyttöavaimen, bucketin nimen ja sen alueen (esimerkiksi eu-central-1; se näkyy bucketin vieressä S3-konsolissa).
Google Cloud Storage
Luo palvelutili, jolla on lukuoikeus bucketiin, ja lataa sen JSON-avain:
gcloud iam service-accounts create rivervo-move --display-name="Move files to Rivervo"
gcloud storage buckets add-iam-policy-binding gs://my-old-bucket \
--member="serviceAccount:rivervo-move@MY-PROJECT.iam.gserviceaccount.com" --role="roles/storage.objectViewer"
gcloud storage buckets add-iam-policy-binding gs://my-old-bucket \
--member="serviceAccount:rivervo-move@MY-PROJECT.iam.gserviceaccount.com" --role="roles/storage.legacyBucketReader"
gcloud iam service-accounts keys create key.json \
--iam-account="rivervo-move@MY-PROJECT.iam.gserviceaccount.com"Storage Object Viewer lukee tiedostot; Storage Legacy Bucket Reader antaa kopioinnin lukea itse bucketin. Liitä paneeliin key.json-tiedoston koko sisältö. Poista avaintiedosto tietokoneeltasi jälkeenpäin.
Muut S3-yhteensopivat tallennustilat
Mikä tahansa S3-rajapinnalla toimiva tallennustila toimii samoin: luo avain, joka voi vain listata ja lukea bucketin (useimmat palveluntarjoajat kutsuvat sitä ”read-only”- tai ”restricted”-avaimeksi), ja selvitä bucketin alueen S3-osoite – esimerkiksi https://s3.eu-central-003.backblazeb2.com. Syötä osoite ilman bucketin nimeä.
Kopioi kaikki nyt
- Sovellus → Tallennustila → bucket → Siirrä tiedostoja tänne.
- Valitse Kopioi kaikki nyt, vanha tallennustila, siellä oleva bucket, alue tai S3-osoite, ja liitä avain.
- Valinnainen: kansio – kopioi esimerkiksi vain
photos/. - Täällä jo olevat tiedostot: oletuksena bucketissa jo oleva samanniminen tiedosto säilytetään ja vanhan tallennustilan tiedosto ohitetaan. Kytke Korvaa ne päälle, jos haluat korvata.
- Aloita kopiointi ja vahvista.
Kortti näyttää, montako tiedostoa löydettiin, kopioitiin, ohitettiin ja jäi kopioimatta, sekä edistymispalkin; Näytä loki nimeää ohitetut ja kopioimatta jääneet tiedostot. Voit valita Tauko, Jatka tai Lopeta kopiointi – jo kopioidut tiedostot säilyvät. Kun kopiointi on valmis, vaihda sovelluksesi käyttämään bucketia (sillä on jo S3_*-muuttujat).
Tiedostot säilyttävät nimensä (avaimensa). Kun kopiointi ajetaan myöhemmin uudelleen, kopioidaan vain puuttuvat (kun Korvaa ne on pois päältä).
Siirrä vähitellen, ilman katkoa
Hyödyllinen, kun sovelluksen on pysyttävä toiminnassa ja tiedostoja lisätään jatkuvasti:
- Siirrä tiedostoja tänne → Siirrä vähitellen, ilman katkoa, vanha tallennustila, bucket ja avain → Ota vähittäinen siirto käyttöön.
- Vaihda sovelluksesi heti käyttämään tätä bucketia (sen
S3_*-muuttujat) ja julkaise. - Kun sovellus lukee tiedoston, jota ei vielä ole bucketissa, se kopioidaan sillä hetkellä vanhasta tallennustilasta ja tarjoillaan. Uudet lataukset menevät suoraan bucketiin.
- Lopuksi: aja Kopioi kaikki nyt tiedostoille, joita kukaan ei ole vielä lukenut (Korvaa ne pois päältä, jotta uudemmat tiedostot säilyvät), odota, kunnes se on valmis, ja valitse sitten Poista käytöstä vähittäiselle siirrolle.
Kunnes poistat sen käytöstä, vanhan tallennustilan on pysyttävä saatavilla samalla avaimella. Tiedostoja, joita ei koskaan luettu eikä kopioitu, ei enää noudeta sen jälkeen, kun siirto on pois käytöstä.
Palvelimesi kansiosta
Kun siirrät tiedostoja VPS:ltä tai muulta palvelimelta (esimerkiksi Laravel-sivuston storage/app/public), käytä rclonea bucketin omilla avaimilla. Löydät ne sovelluksen Muuttujat-välilehdeltä: S3_ENDPOINT, S3_BUCKET, S3_KEY ja S3_SECRET (toisen bucketin muuttujien edessä on sen nimi: MEDIA_S3_KEY …).
# Asenna rclone (Linux)
curl https://rclone.org/install.sh | sudo bash
# Bucketin avaimet ympäristömuuttujina – ne eivät päädy asetustiedostoon
export RCLONE_CONFIG_RIVERVO_TYPE=s3
export RCLONE_CONFIG_RIVERVO_PROVIDER=Other
export RCLONE_CONFIG_RIVERVO_REGION=auto
export RCLONE_CONFIG_RIVERVO_ENDPOINT='S3_ENDPOINT-muuttujan arvo'
export RCLONE_CONFIG_RIVERVO_ACCESS_KEY_ID='S3_KEY-muuttujan arvo'
export RCLONE_CONFIG_RIVERVO_SECRET_ACCESS_KEY='S3_SECRET-muuttujan arvo'
# Kopioi kansio bucketiin (S3_BUCKET-muuttujan arvo) kansiorakenne säilyttäen
rclone copy /var/www/shop/storage/app/public rivervo:BUCKET/public --progress --transfers 16
# Tarkista, että jokainen tiedosto tuli perille
rclone check /var/www/shop/storage/app/public rivervo:BUCKET/public --one-wayrclone copy ei koskaan poista bucketista mitään ja ohittaa tiedostot, jotka ovat jo siellä muuttumattomina, joten voit ajaa sen uudelleen tauon jälkeen. Aja pitkä kopiointi palvelimella tmux- tai screen-istunnossa – silloin se jatkuu, vaikka SSH-yhteytesi katkeaisi.
Mitä se maksaa
Itse siirrosta ei veloiteta. Bucketissa olevista tiedostoista maksat tavalliset objektitallennustilan hinnat saldostasi:
- tallennus: 0,025 $ / Gt kuukaudessa – 50 Gt maksaa noin 1,25 $ kuukaudessa;
- kirjoitukset: 6,00 $ / miljoona – jokainen kopioitu tiedosto on noin yksi kirjoitus, joten 100 000 tiedostoa maksaa noin 0,60 $ (hyvin suuri tiedosto ladataan osissa ja lasketaan muutamaksi kirjoitukseksi);
- vähittäisen siirron aikana tehdyt lukemiset ovat tavallisia lukemisia (0,50 $ / miljoona).
Useimmat pilvitallennuspalvelut veloittavat niiltä lähtevästä datasta (egress). Tarkista vanhan palveluntarjoajasi hinnasto ennen kuin siirrät paljon dataa.
Tiedostojen siirto edellyttää positiivista saldoa, kuten bucketin lisääminenkin. Se ei ole käytettävissä ilmaisen kokeilun aikana eikä bucketiin, joka on vain luku -tilassa (kokorajan ylittänyt tai enemmän kuin saldo kattaa) – paneeli kertoo syyn ja tarjoaa saldon lisäämistä, kun siitä on apua. Jos bucket siirtyy vain luku -tilaan kopioinnin aikana, kopiointi pysähtyy ja jatkuu itsestään, kun kirjoittaminen on taas mahdollista.
Rajoitukset
- Yksi kopiointi ja yksi vähittäinen siirto kerrallaan bucketia kohden.
- Kopiointi ohittaa yli 1 Tt:n tiedostot.
- Arkistoluokkien tiedostot, jotka on palautettava ennen lukemista (S3 Glacier Flexible Retrieval, Glacier Deep Archive), ohitetaan; palauta ne ensin.
- Tiedoston mukana siirtyvät vain omat metatietosi (
x-amz-meta-*); tiedoston ETag voi poiketa vanhasta. - Bucketista vähittäisen siirron aikana poistettu tiedosto kopioidaan uudelleen, kun se luetaan seuraavan kerran.