फ़ाइलों को ऑब्जेक्ट स्टोरेज में ले जाएँ।
Amazon S3, Google Cloud Storage, किसी भी S3-कम्पैटिबल स्टोरेज या अपने सर्वर के फ़ोल्डर से फ़ाइलें बकेट में लाएँ: सब कुछ एक साथ कॉपी करें, या बिना डाउनटाइम के धीरे-धीरे ले जाएँ।
क्या आपकी फ़ाइलें पहले से कहीं और रखी हैं? उन्हें दो में से किसी एक तरीके से अपने ऐप्लिकेशन के बकेट में ले जाएँ। दोनों पैनल से शुरू होते हैं: ऐप्लिकेशन → स्टोरेज → बकेट → फ़ाइलें यहाँ लाएँ।
| अभी सब कुछ कॉपी करें | धीरे-धीरे, बिना डाउनटाइम के ले जाएँ | |
|---|---|---|
| क्या होता है | हर फ़ाइल एक ही बार में कॉपी होती है | फ़ाइल तब कॉपी होती है जब आपका ऐप्लिकेशन उसे पहली बार पढ़ता है |
| ऐप्लिकेशन कब बदलें | कॉपी पूरी होने के बाद | तुरंत |
| प्रगति | मिली, कॉपी हुई, छोड़ी गई, कॉपी नहीं हुई फ़ाइलें; रोकें, फिर शुरू करें, बंद करें | आपके बंद करने तक चालू |
| पुराना स्टोरेज | Amazon S3, Google Cloud Storage, S3-कम्पैटिबल | Amazon S3, Google Cloud Storage |
कॉपी हमारी तरफ़ चलती है — आपके कंप्यूटर को चालू रहने की ज़रूरत नहीं। जब यह पूरी होती है (या अगर बीच में रुक जाती है) तो आपको ईमेल और Telegram संदेश मिलता है।
फ़ाइलें ले जाना अकाउंट के मालिक और ऐप्लिकेशन के एडमिनिस्ट्रेटर के लिए उपलब्ध है (देखें टीम एक्सेस), और API, CLI और MCP से भी।
शुरू करने से पहले: सिर्फ़ पढ़ने वाली की
अपने पुराने स्टोरेज में इस ट्रांसफ़र के लिए अलग की बनाएँ, जो सिर्फ़ उसी एक बकेट की सूची देख और उसे पढ़ सके। अपनी मुख्य की कभी पेस्ट न करें। की सिर्फ़ इसी ट्रांसफ़र के लिए इस्तेमाल होती है; हम इसे नहीं रखते, और यह फिर कभी नहीं दिखती। ट्रांसफ़र पूरा होने के बाद इसे पुराने प्रोवाइडर पर डिलीट कर दें।
Amazon S3
IAM में इस पॉलिसी के साथ एक यूज़र (या एक्सेस की वाला रोल) बनाएँ — my-old-bucket की जगह अपना बकेट लिखें:
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": ["s3:List*", "s3:Get*"],
"Resource": ["arn:aws:s3:::my-old-bucket", "arn:aws:s3:::my-old-bucket/*"]
}
]
}फिर इसके लिए एक्सेस की बनाएँ। पैनल में आपको एक्सेस की ID, सीक्रेट एक्सेस की, बकेट का नाम और उसका रीजन चाहिए (जैसे eu-central-1; यह S3 कंसोल में बकेट के पास दिखता है)।
Google Cloud Storage
बकेट पढ़ने के एक्सेस वाला सर्विस अकाउंट बनाएँ और उसकी JSON की डाउनलोड करें:
gcloud iam service-accounts create rivervo-move --display-name="Move files to Rivervo"
gcloud storage buckets add-iam-policy-binding gs://my-old-bucket \
--member="serviceAccount:rivervo-move@MY-PROJECT.iam.gserviceaccount.com" --role="roles/storage.objectViewer"
gcloud storage buckets add-iam-policy-binding gs://my-old-bucket \
--member="serviceAccount:rivervo-move@MY-PROJECT.iam.gserviceaccount.com" --role="roles/storage.legacyBucketReader"
gcloud iam service-accounts keys create key.json \
--iam-account="rivervo-move@MY-PROJECT.iam.gserviceaccount.com"Storage Object Viewer फ़ाइलें पढ़ता है; Storage Legacy Bucket Reader कॉपी को खुद बकेट पढ़ने देता है। पैनल में key.json का पूरा कंटेंट पेस्ट करें। इसके बाद की फ़ाइल अपने कंप्यूटर से डिलीट कर दें।
दूसरा S3-कम्पैटिबल स्टोरेज
S3 API वाला कोई भी स्टोरेज इसी तरह काम करता है: ऐसी की बनाएँ जो सिर्फ़ बकेट की सूची देख और उसे पढ़ सके (ज़्यादातर प्रोवाइडर इसे «read-only» या «restricted» की कहते हैं), और बकेट के रीजन का S3 पता ढूँढें — जैसे https://s3.eu-central-003.backblazeb2.com। पता बकेट के नाम के बिना डालें।
अभी सब कुछ कॉपी करें
- ऐप्लिकेशन → स्टोरेज → बकेट → फ़ाइलें यहाँ लाएँ।
- अभी सब कुछ कॉपी करें, पुराना स्टोरेज, वहाँ का बकेट, रीजन या S3 पता चुनें, और की पेस्ट करें।
- वैकल्पिक: एक फ़ोल्डर — जैसे सिर्फ़
photos/कॉपी करें। - जो फ़ाइलें पहले से यहाँ हैं: डिफ़ॉल्ट रूप से बकेट में पहले से मौजूद उसी नाम की फ़ाइल रखी जाती है और पुराने स्टोरेज वाली छोड़ दी जाती है। ओवरराइट करने के लिए उन्हें बदलें चालू करें।
- कॉपी शुरू करें और पुष्टि करें।
कार्ड दिखाता है कि कितनी फ़ाइलें मिलीं, कॉपी हुईं, छोड़ी गईं और कॉपी नहीं हुईं, प्रोग्रेस बार के साथ; लॉग दिखाएँ उन फ़ाइलों के नाम बताता है जो छोड़ी गईं या कॉपी नहीं हो सकीं। आप रोकें, फिर शुरू करें या कॉपी बंद करें कर सकते हैं — जो फ़ाइलें कॉपी हो चुकी हैं, वे बनी रहती हैं। कॉपी पूरी होने पर अपने ऐप्लिकेशन को बकेट पर स्विच करें (उसके पास S3_* वेरिएबल पहले से हैं)।
फ़ाइलों के नाम (की) वही रहते हैं। बाद में कॉपी फिर से चलाने पर सिर्फ़ वही कॉपी होता है जो नहीं है (उन्हें बदलें बंद होने पर)।
धीरे-धीरे, बिना डाउनटाइम के ले जाएँ
तब काम का है जब ऐप्लिकेशन को काम करते रहना है और फ़ाइलें लगातार जुड़ रही हैं:
- फ़ाइलें यहाँ लाएँ → धीरे-धीरे, बिना डाउनटाइम के ले जाएँ, पुराना स्टोरेज, बकेट और की → धीरे-धीरे ट्रांसफ़र चालू करें।
- अपने ऐप्लिकेशन को तुरंत इस बकेट पर स्विच करें (इसके
S3_*वेरिएबल) और डिप्लॉय करें। - जब ऐप्लिकेशन ऐसी फ़ाइल पढ़ता है जो अभी बकेट में नहीं है, तो वह उसी समय पुराने स्टोरेज से कॉपी होकर दी जाती है। नए अपलोड सीधे बकेट में जाते हैं।
- पूरा करने के लिए: उन फ़ाइलों के लिए अभी सब कुछ कॉपी करें चलाएँ जिन्हें अब तक किसी ने नहीं पढ़ा (उन्हें बदलें बंद रखकर, ताकि नई फ़ाइलें बनी रहें), इसके पूरा होने का इंतज़ार करें, फिर धीरे-धीरे ट्रांसफ़र को बंद करें।
जब तक आप इसे बंद नहीं करते, पुराना स्टोरेज उसी की के साथ उपलब्ध रहना चाहिए। जो फ़ाइलें कभी पढ़ी नहीं गईं और कॉपी नहीं हुईं, वे इसके बंद होने के बाद नहीं लाई जातीं।
अपने सर्वर के फ़ोल्डर से
VPS या किसी दूसरे सर्वर से फ़ाइलें ले जाने के लिए (जैसे Laravel साइट का storage/app/public), बकेट की अपनी की के साथ rclone इस्तेमाल करें। ये ऐप्लिकेशन के वेरिएबल टैब पर मिलती हैं: S3_ENDPOINT, S3_BUCKET, S3_KEY और S3_SECRET (दूसरे बकेट के नाम के आगे उसका नाम होता है: MEDIA_S3_KEY …)।
# rclone इंस्टॉल करें (Linux)
curl https://rclone.org/install.sh | sudo bash
# बकेट की की एनवायरनमेंट वेरिएबल के रूप में — ये किसी कॉन्फ़िग फ़ाइल में नहीं जातीं
export RCLONE_CONFIG_RIVERVO_TYPE=s3
export RCLONE_CONFIG_RIVERVO_PROVIDER=Other
export RCLONE_CONFIG_RIVERVO_REGION=auto
export RCLONE_CONFIG_RIVERVO_ENDPOINT='S3_ENDPOINT की वैल्यू'
export RCLONE_CONFIG_RIVERVO_ACCESS_KEY_ID='S3_KEY की वैल्यू'
export RCLONE_CONFIG_RIVERVO_SECRET_ACCESS_KEY='S3_SECRET की वैल्यू'
# फ़ोल्डर को बकेट (S3_BUCKET की वैल्यू) में कॉपी करें, फ़ोल्डर स्ट्रक्चर बनाए रखते हुए
rclone copy /var/www/shop/storage/app/public rivervo:BUCKET/public --progress --transfers 16
# जाँचें कि हर फ़ाइल पहुँच गई
rclone check /var/www/shop/storage/app/public rivervo:BUCKET/public --one-wayrclone copy बकेट में कभी कुछ डिलीट नहीं करता और जो फ़ाइलें बिना बदलाव के पहले से हैं उन्हें छोड़ देता है, इसलिए ब्रेक के बाद आप इसे फिर से चला सकते हैं। लंबी कॉपी के लिए इसे सर्वर पर tmux या screen के अंदर चलाएँ — तब SSH कनेक्शन टूटने पर भी यह चलता रहता है।
इसकी कीमत
खुद ट्रांसफ़र का कोई शुल्क नहीं है। बकेट में रखी फ़ाइलों पर सामान्य ऑब्जेक्ट स्टोरेज की कीमतें लगती हैं, जो आपके बैलेंस से कटती हैं:
- स्टोरेज: $0.025 प्रति GB प्रति माह — 50 GB का खर्च लगभग $1.25 प्रति माह;
- राइट: $6 प्रति 10 लाख — हर कॉपी हुई फ़ाइल लगभग एक राइट है, इसलिए 1,00,000 फ़ाइलों का खर्च लगभग $0.60 (बहुत बड़ी फ़ाइल हिस्सों में अपलोड होती है और कुछ राइट गिनी जाती है);
- धीरे-धीरे ट्रांसफ़र के दौरान हुए रीड सामान्य रीड हैं ($0.50 प्रति 10 लाख)।
ज़्यादातर क्लाउड स्टोरेज प्रोवाइडर उनके यहाँ से बाहर जाने वाले डेटा का पैसा लेते हैं (egress)। बहुत सारा डेटा ले जाने से पहले अपने पुराने प्रोवाइडर की कीमतें देख लें।
फ़ाइलें ले जाने के लिए पॉज़िटिव बैलेंस चाहिए, ठीक बकेट जोड़ने की तरह। यह फ़्री ट्रायल के दौरान उपलब्ध नहीं है और न ही ऐसे बकेट में जो सिर्फ़ पढ़ने लायक है (साइज़ सीमा से ऊपर, या बैलेंस जितना चुका सकता है उससे ज़्यादा) — पैनल कारण बताता है और जहाँ मदद मिले वहाँ टॉप अप का सुझाव देता है। अगर कॉपी के दौरान बकेट सिर्फ़ पढ़ने लायक हो जाता है, तो कॉपी रुक जाती है और राइट फिर से संभव होते ही अपने आप आगे बढ़ती है।
सीमाएँ
- हर बकेट पर एक समय में एक कॉपी और एक धीरे-धीरे ट्रांसफ़र।
- 1 TB से बड़ी फ़ाइलें कॉपी में छोड़ दी जाती हैं।
- आर्काइव क्लास की फ़ाइलें, जिन्हें पढ़ने से पहले रीस्टोर करना पड़ता है (S3 Glacier Flexible Retrieval, Glacier Deep Archive), छोड़ दी जाती हैं; पहले उन्हें रीस्टोर करें।
- फ़ाइल के साथ सिर्फ़ आपका अपना मेटाडेटा (
x-amz-meta-*) जाता है; फ़ाइल का ETag पुराने से अलग हो सकता है। - धीरे-धीरे ट्रांसफ़र चालू रहते हुए बकेट से डिलीट की गई फ़ाइल अगली बार पढ़े जाने पर फिर से कॉपी हो जाती है।