Файлдарды объектілік қоймаға көшіру.
Amazon S3, Google Cloud Storage, кез келген S3-үйлесімді қойма немесе сервердегі қалта ішіндегі файлдарды бакетке көшіріңіз: бәрін бірден көшіру немесе жұмысты тоқтатпай біртіндеп көшіру.
Файлдарыңыз басқа жерде сақталып тұр ма? Оларды қолданбаңыздың бакетіне екі тәсілдің бірімен көшіріңіз. Екеуі де панельден басталады: қолданба → Қойма → бакет → Файлдарды көшіріп әкелу.
| Бәрін қазір көшіру | Жұмысты тоқтатпай біртіндеп көшіру | |
|---|---|---|
| Не болады | барлық файл бір рет көшіріледі | файл қолданбаңыз оны алғаш оқығанда көшіріледі |
| Қолданбаны қашан ауыстыру керек | көшіру аяқталғаннан кейін | бірден |
| Барысы | табылған, көшірілген, өткізіп жіберілген, көшірілмеген файлдар; кідірту, жалғастыру, тоқтату | өзіңіз өшіргенше қосулы тұрады |
| Ескі қойма | Amazon S3, Google Cloud Storage, S3-үйлесімді | Amazon S3, Google Cloud Storage |
Көшіру біздің тарапта орындалады — компьютеріңізді қосулы ұстаудың қажеті жоқ. Ол аяқталғанда (немесе соңына жетпей тоқтап қалса) сізге электрондық хат пен Telegram хабарламасы келеді.
Файлдарды көшіру аккаунт иесіне және қолданбаның Әкімшілеріне қолжетімді (Қолданбаға қол жеткізу бөлімін қараңыз), сондай-ақ API, CLI және MCP арқылы да жасауға болады.
Бастамас бұрын: тек оқи алатын кілт
Ескі қоймаңызда осы көшіруге арналған жеке кілт жасаңыз — ол тек бір бакеттің тізімін көріп, оны оқи алатын болсын. Негізгі кілттеріңізді ешқашан енгізбеңіз. Кілт тек осы көшіру үшін пайдаланылады; біз оны сақтамаймыз және ол қайта көрсетілмейді. Көшіру аяқталған соң оны ескі провайдерде жойыңыз.
Amazon S3
IAM-да пайдаланушы (немесе кіру кілті бар рөл) жасап, оған мына саясатты беріңіз — my-old-bucket орнына өз бакетіңіздің атын жазыңыз:
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": ["s3:List*", "s3:Get*"],
"Resource": ["arn:aws:s3:::my-old-bucket", "arn:aws:s3:::my-old-bucket/*"]
}
]
}Содан кейін оған кіру кілтін (access key) жасаңыз. Панельге кіру кілтінің ID-і, құпия кілт, бакет атауы және оның аймағы керек (мысалы, eu-central-1; ол S3 консолінде бакеттің қасында көрсетіледі).
Google Cloud Storage
Бакетті оқуға рұқсаты бар сервистік аккаунт жасап, оның JSON кілтін жүктеп алыңыз:
gcloud iam service-accounts create rivervo-move --display-name="Move files to Rivervo"
gcloud storage buckets add-iam-policy-binding gs://my-old-bucket \
--member="serviceAccount:rivervo-move@MY-PROJECT.iam.gserviceaccount.com" --role="roles/storage.objectViewer"
gcloud storage buckets add-iam-policy-binding gs://my-old-bucket \
--member="serviceAccount:rivervo-move@MY-PROJECT.iam.gserviceaccount.com" --role="roles/storage.legacyBucketReader"
gcloud iam service-accounts keys create key.json \
--iam-account="rivervo-move@MY-PROJECT.iam.gserviceaccount.com"Storage Object Viewer файлдарды оқиды; Storage Legacy Bucket Reader көшіру кезінде бакеттің өзін оқуға мүмкіндік береді. Панельге key.json файлының бүкіл мазмұнын қойыңыз. Кейін кілт файлын компьютеріңізден жойыңыз.
Басқа S3-үйлесімді қоймалар
S3 API бар кез келген қойма дәл солай жұмыс істейді: бакеттің тізімін көріп, оны тек оқи алатын кілт жасаңыз (провайдерлердің көбі оны «read-only» немесе «restricted» кілт деп атайды) және бакет аймағының S3 мекенжайын табыңыз — мысалы, https://s3.eu-central-003.backblazeb2.com. Мекенжайды бакет атауынсыз енгізіңіз.
Бәрін қазір көшіру
- Қолданба → Қойма → бакет → Файлдарды көшіріп әкелу.
- Бәрін қазір көшіру нұсқасын, ескі қойманы, ондағы бакетті, аймақты немесе S3 мекенжайын таңдап, кілтті қойыңыз.
- Қаласаңыз: қалта — мысалы, тек
photos/қалтасын көшіру. - Мұнда бұрыннан бар файлдар: әдепкі бойынша бакетте аттас файл бар болса, ол сақталады, ал ескі қоймадағысы өткізіп жіберіледі. Үстінен жазу үшін Оларды ауыстыру параметрін қосыңыз.
- Көшіруді бастау батырмасын басып, растаңыз.
Карточкада қанша файл табылғаны, көшірілгені, өткізіп жіберілгені және көшірілмегені прогресс жолағымен көрсетіледі; Логты көрсету өткізіп жіберілген немесе көшірілмеген файлдардың атын береді. Кідірту, Жалғастыру немесе Көшіруді тоқтату мүмкін — көшіріліп қойған файлдар орнында қалады. Көшіру аяқталған соң қолданбаңызды бакетке ауыстырыңыз (оның S3_* айнымалылары бұрыннан бар).
Файлдардың аттары (кілттері) өзгермейді. Кейін көшіруді қайта іске қоссаңыз, тек жетіспейтіндері көшіріледі (Оларды ауыстыру өшірулі болса).
Жұмысты тоқтатпай біртіндеп көшіру
Қолданба жұмысын тоқтатпауы керек және файлдар үнемі қосылып жатқанда ыңғайлы:
- Файлдарды көшіріп әкелу → Жұмысты тоқтатпай біртіндеп көшіру, ескі қойма, бакет және кілт → Біртіндеп көшіруді қосу.
- Қолданбаңызды бірден осы бакетке ауыстырыңыз (оның
S3_*айнымалылары) және жариялаңыз. - Қолданба бакетте әлі жоқ файлды оқығанда, ол сол сәтте ескі қоймадан көшіріліп, беріледі. Жаңадан жүктелген файлдар бірден бакетке түседі.
- Аяқтау үшін: ешкім әлі оқымаған файлдарға Бәрін қазір көшіру іске қосыңыз (Оларды ауыстыру өшірулі болсын — сонда жаңарақ файлдар сақталады), аяқталуын күтіңіз, содан кейін біртіндеп көшіруді Өшіріңіз.
Оны өшірмейінше ескі қойма сол кілтпен қолжетімді болып тұруы керек. Ешқашан оқылмаған және көшірілмеген файлдар өшірілгеннен кейін бұдан былай алынбайды.
Сервердегі қалтадан
VPS-тен немесе кез келген басқа серверден файлдарды көшіру үшін (мысалы, Laravel сайтының storage/app/public қалтасы) бакеттің өз кілттерімен rclone пайдаланыңыз. Оларды қолданбаның Айнымалылар қойындысынан табасыз: S3_ENDPOINT, S3_BUCKET, S3_KEY және S3_SECRET (екінші бакетте алдында оның атауы тұрады: MEDIA_S3_KEY …).
# Install rclone (Linux)
curl https://rclone.org/install.sh | sudo bash
# The bucket's keys as environment variables — they do not end up in a config file
export RCLONE_CONFIG_RIVERVO_TYPE=s3
export RCLONE_CONFIG_RIVERVO_PROVIDER=Other
export RCLONE_CONFIG_RIVERVO_REGION=auto
export RCLONE_CONFIG_RIVERVO_ENDPOINT='value of S3_ENDPOINT'
export RCLONE_CONFIG_RIVERVO_ACCESS_KEY_ID='value of S3_KEY'
export RCLONE_CONFIG_RIVERVO_SECRET_ACCESS_KEY='value of S3_SECRET'
# Copy the folder into the bucket (value of S3_BUCKET), keeping the folder structure
rclone copy /var/www/shop/storage/app/public rivervo:BUCKET/public --progress --transfers 16
# Check that every file arrived
rclone check /var/www/shop/storage/app/public rivervo:BUCKET/public --one-wayrclone copy бакеттегі ештеңені жоймайды және өзгермей тұрған файлдарды өткізіп жібереді, сондықтан үзілістен кейін оны қайта іске қосуға болады. Ұзақ көшіру үшін оны серверде tmux немесе screen ішінде іске қосыңыз — сонда SSH байланысы үзілсе де, жұмыс жалғаса береді.
Құны қанша
Көшірудің өзі тегін. Бакеттегі файлдар әдеттегі объектілік қойма бағаларымен есептеліп, балансыңыздан төленеді:
- сақтау: айына 1 GB үшін 0,025 $ — 50 GB айына шамамен 1,25 $ тұрады;
- жазу: 1 миллион үшін 6 $ — әр көшірілген файл шамамен бір жазу, сондықтан 100 000 файл шамамен 0,60 $ тұрады (өте үлкен файл бөліктермен жүктеледі және бірнеше жазу болып есептеледі);
- біртіндеп көшіру кезіндегі оқулар — әдеттегі оқулар (1 миллион үшін 0,50 $).
Бұлтты қойма провайдерлерінің көбі олардан шығатын деректер үшін ақы алады (egress). Көп деректі көшірмес бұрын ескі провайдеріңіздің баға тізімін тексеріңіз.
Файлдарды көшіру үшін бакет қосқандағыдай оң баланс қажет. Бұл тегін сынақ кезеңінде қолжетімсіз, сондай-ақ тек оқуға арналған бакетке (көлем лимитінен асқан немесе баланс жабатын көлемнен асып кеткен) көшіруге болмайды — панель себебін айтып, көмектесетін жағдайда балансты толтыруды ұсынады. Көшіру жүріп жатқанда бакет тек оқуға арналған күйге өтсе, көшіру кідіреді де, жазу қайта мүмкін болғанда өзі жалғасады.
Шектеулер
- Бір бакетке бір мезгілде бір көшіру және бір біртіндеп көшіру.
- 1 TB-тан үлкен файлдарды көшіру өткізіп жібереді.
- Оқымас бұрын қалпына келтіруді қажет ететін архивтік кластардағы файлдар (S3 Glacier Flexible Retrieval, Glacier Deep Archive) өткізіп жіберіледі; алдымен оларды қалпына келтіріңіз.
- Файлмен бірге тек өз метадеректеріңіз (
x-amz-meta-*) көшіріледі; файлдың ETag мәні ескісінен өзгеше болуы мүмкін. - Біртіндеп көшіру қосулы кезде бакеттен жойылған файл келесі жолы оқылғанда қайта көшіріледі.