დაწყება

ფაილების გადმოტანა ობიექტურ საცავში.

გადმოიტანეთ ფაილები Amazon S3-იდან, Google Cloud Storage-იდან, ნებისმიერი S3-თავსებადი საცავიდან ან თქვენი სერვერის საქაღალდიდან ბაკეტში: დააკოპირეთ ყველაფერი ერთბაშად ან გადმოიტანეთ თანდათან, შეფერხების გარეშე.

5 წთ კითხვა

ფაილებს უკვე სხვაგან ინახავთ? გადმოიტანეთ ისინი თქვენი აპლიკაციის ბაკეტში ორიდან ერთ-ერთი გზით. ორივე პანელიდან იწყება: აპლიკაცია → საცავი → ბაკეტი → ფაილების გადმოტანა.

ყველაფრის ახლავე კოპირებათანდათანობითი გადმოტანა, შეფერხების გარეშე
რა ხდებაყველა ფაილი ერთბაშად კოპირდებაფაილი მაშინ კოპირდება, როცა აპლიკაცია მას პირველად წაიკითხავს
როდის გადართოთ აპლიკაციაკოპირების დასრულების შემდეგმაშინვე
პროგრესინაპოვნი, დაკოპირებული, გამოტოვებული, ვერ დაკოპირებული ფაილები; პაუზა, გაგრძელება, შეწყვეტაჩართულია, სანამ არ გამორთავთ
ძველი საცავიAmazon S3, Google Cloud Storage, S3-თავსებადიAmazon S3, Google Cloud Storage

კოპირება ჩვენს მხარეს მიმდინარეობს — თქვენი კომპიუტერის ჩართული დატოვება საჭირო არ არის. დასრულებისას (ან თუ ის ბოლომდე შეჩერდა) მიიღებთ ელფოსტას და შეტყობინებას Telegram-ში.

ფაილების გადმოტანა შეუძლიათ ანგარიშის მფლობელს და აპლიკაციის ადმინისტრატორებს (იხილეთ გუნდის წვდომა), ასევე შესაძლებელია API-ით, CLI-ითა და MCP-ით.

დაწყებამდე: გასაღები, რომელსაც მხოლოდ წაკითხვა შეუძლია

ძველ საცავში შექმენით ცალკე გასაღები ამ გადმოტანისთვის, რომელსაც მხოლოდ ერთი ბაკეტის სიის ნახვა და წაკითხვა შეუძლია. არასოდეს ჩასვათ თქვენი მთავარი გასაღებები. გასაღები მხოლოდ ამ გადმოტანისთვის გამოიყენება; ჩვენ მას არ ვინახავთ და ის აღარასოდეს გამოჩნდება. გადმოტანის დასრულების შემდეგ წაშალეთ ის ძველ პროვაიდერთან.

Amazon S3

IAM-ში შექმენით მომხმარებელი (ან როლი წვდომის გასაღებით) ამ პოლიტიკით — my-old-bucket შეცვალეთ თქვენი ბაკეტით:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": ["s3:List*", "s3:Get*"],
      "Resource": ["arn:aws:s3:::my-old-bucket", "arn:aws:s3:::my-old-bucket/*"]
    }
  ]
}

შემდეგ შექმენით მისთვის წვდომის გასაღები (access key). პანელში დაგჭირდებათ access key ID, secret access key, ბაკეტის სახელი და მისი რეგიონი (მაგალითად eu-central-1; ის S3 კონსოლში ბაკეტის გვერდით ჩანს).

Google Cloud Storage

შექმენით სერვისული ანგარიში ბაკეტის წაკითხვის უფლებით და ჩამოტვირთეთ მისი JSON გასაღები:

gcloud iam service-accounts create rivervo-move --display-name="Move files to Rivervo"
gcloud storage buckets add-iam-policy-binding gs://my-old-bucket \
  --member="serviceAccount:rivervo-move@MY-PROJECT.iam.gserviceaccount.com" --role="roles/storage.objectViewer"
gcloud storage buckets add-iam-policy-binding gs://my-old-bucket \
  --member="serviceAccount:rivervo-move@MY-PROJECT.iam.gserviceaccount.com" --role="roles/storage.legacyBucketReader"
gcloud iam service-accounts keys create key.json \
  --iam-account="rivervo-move@MY-PROJECT.iam.gserviceaccount.com"

Storage Object Viewer ფაილებს კითხულობს; Storage Legacy Bucket Reader კოპირებას თავად ბაკეტის წაკითხვის საშუალებას აძლევს. პანელში ჩასვით key.json-ის მთელი შიგთავსი. ამის შემდეგ გასაღების ფაილი თქვენი კომპიუტერიდან წაშალეთ.

სხვა S3-თავსებადი საცავი

ნებისმიერი საცავი S3 API-ით ასევე მუშაობს: შექმენით გასაღები, რომელსაც მხოლოდ ბაკეტის სიის ნახვა და წაკითხვა შეუძლია (პროვაიდერების უმეტესობა მას «read-only» ან «restricted» გასაღებს უწოდებს), და იპოვეთ ბაკეტის რეგიონის S3 მისამართი — მაგალითად https://s3.eu-central-003.backblazeb2.com. მისამართი ბაკეტის სახელის გარეშე შეიყვანეთ.

ყველაფრის ახლავე კოპირება

  1. აპლიკაცია → საცავი → ბაკეტი → ფაილების გადმოტანა.
  2. აირჩიეთ ყველაფრის ახლავე კოპირება, ძველი საცავი, იქ არსებული ბაკეტი, რეგიონი ან S3 მისამართი და ჩასვით გასაღები.
  3. არასავალდებულო: საქაღალდე — მაგალითად, დააკოპირეთ მხოლოდ photos/.
  4. ფაილები, რომლებიც უკვე აქ არის: ნაგულისხმევად ბაკეტში უკვე არსებული იმავე სახელის ფაილი რჩება, ძველი საცავიდან მოსული კი გამოიტოვება. გადასაწერად ჩართეთ ჩანაცვლება.
  5. კოპირების დაწყება და დაადასტურეთ.

ბარათი აჩვენებს, რამდენი ფაილი მოიძებნა, დაკოპირდა, გამოიტოვა და ვერ დაკოპირდა, პროგრესის ზოლით; ლოგის ჩვენება ასახელებს ფაილებს, რომლებიც გამოიტოვა ან ვერ დაკოპირდა. შეგიძლიათ დააჭიროთ პაუზა, გაგრძელება ან კოპირების შეწყვეტა — უკვე დაკოპირებული ფაილები რჩება. კოპირების დასრულების შემდეგ გადართეთ აპლიკაცია ბაკეტზე (მას უკვე აქვს S3_* ცვლადები).

ფაილები სახელებს (გასაღებებს) ინარჩუნებენ. კოპირების მოგვიანებით ხელახლა გაშვება მხოლოდ იმას აკოპირებს, რაც აკლია (როცა ჩანაცვლება გამორთულია).

თანდათანობითი გადმოტანა, შეფერხების გარეშე

სასარგებლოა, როცა აპლიკაციამ მუშაობა უნდა გააგრძელოს და ფაილები მუდმივად ემატება:

  1. ფაილების გადმოტანა → თანდათანობითი გადმოტანა, შეფერხების გარეშე, ძველი საცავი, ბაკეტი და გასაღები → თანდათანობითი გადმოტანის ჩართვა.
  2. მაშინვე გადართეთ აპლიკაცია ამ ბაკეტზე (მისი S3_* ცვლადებით) და განათავსეთ.
  3. როცა აპლიკაცია კითხულობს ფაილს, რომელიც ბაკეტში ჯერ არ არის, ის იმ მომენტში ძველი საცავიდან კოპირდება და მიეწოდება. ახალი ატვირთვები პირდაპირ ბაკეტში ხვდება.
  4. დასასრულებლად: გაუშვით ყველაფრის ახლავე კოპირება იმ ფაილებისთვის, რომლებიც ჯერ არავის წაუკითხავს (ჩანაცვლება გამორთული, რომ ახალი ფაილები შენარჩუნდეს), დაელოდეთ დასრულებას, შემდეგ კი თანდათანობითი გადმოტანა გამორთეთ.

სანამ მას არ გამორთავთ, ძველი საცავი იმავე გასაღებით ხელმისაწვდომი უნდა დარჩეს. ფაილები, რომლებიც არასოდეს წაკითხულა და არ დაკოპირებულა, გამორთვის შემდეგ აღარ გადმოიტანება.

თქვენი სერვერის საქაღალდიდან

ფაილების VPS-იდან ან ნებისმიერი სხვა სერვერიდან გადმოსატანად (მაგალითად, Laravel-ის საიტის storage/app/public) გამოიყენეთ rclone ბაკეტის საკუთარი გასაღებებით. ისინი აპლიკაციის ცვლადების ჩანართზეა: S3_ENDPOINT, S3_BUCKET, S3_KEY და S3_SECRET (მეორე ბაკეტის ცვლადებს წინ მისი სახელი აქვს: MEDIA_S3_KEY …).

# Install rclone (Linux)
curl https://rclone.org/install.sh | sudo bash
 
# The bucket's keys as environment variables — they do not end up in a config file
export RCLONE_CONFIG_RIVERVO_TYPE=s3
export RCLONE_CONFIG_RIVERVO_PROVIDER=Other
export RCLONE_CONFIG_RIVERVO_REGION=auto
export RCLONE_CONFIG_RIVERVO_ENDPOINT='value of S3_ENDPOINT'
export RCLONE_CONFIG_RIVERVO_ACCESS_KEY_ID='value of S3_KEY'
export RCLONE_CONFIG_RIVERVO_SECRET_ACCESS_KEY='value of S3_SECRET'
 
# Copy the folder into the bucket (value of S3_BUCKET), keeping the folder structure
rclone copy /var/www/shop/storage/app/public rivervo:BUCKET/public --progress --transfers 16
 
# Check that every file arrived
rclone check /var/www/shop/storage/app/public rivervo:BUCKET/public --one-way

rclone copy ბაკეტში არასოდეს არაფერს შლის და უცვლელად არსებულ ფაილებს ტოვებს, ამიტომ შესვენების შემდეგ მისი ხელახლა გაშვება შეგიძლიათ. ხანგრძლივი კოპირებისთვის გაუშვით ის სერვერზე tmux-ში ან screen-ში — მაშინ ის გააგრძელებს მუშაობას, თუ SSH კავშირი გაწყდება.

რა ღირს

თავად გადმოტანა უფასოა. ბაკეტში არსებული ფაილები ობიექტური საცავის ჩვეული ფასებით ითვლება და ბალანსიდან გადაიხდება:

  • შენახვა: 0,025 US$ GB-ზე თვეში — 50 GB თვეში დაახლოებით 1,25 US$ ღირს;
  • ჩაწერა: 6 US$ მილიონზე — ყოველი დაკოპირებული ფაილი დაახლოებით ერთი ჩაწერაა, ამიტომ 100 000 ფაილი დაახლოებით 0,60 US$ ღირს (ძალიან დიდი ფაილი ნაწილებად იტვირთება და რამდენიმე ჩაწერად ითვლება);
  • თანდათანობითი გადმოტანისას შესრულებული წაკითხვები ჩვეულებრივი წაკითხვებია (0,50 US$ მილიონზე).

ღრუბლოვანი საცავის პროვაიდერების უმეტესობა საფასურს იღებს მათგან გამავალ მონაცემებზე (egress). დიდი მოცულობის გადმოტანამდე შეამოწმეთ ძველი პროვაიდერის ფასები.

ფაილების გადმოტანას დადებითი ბალანსი სჭირდება, ისევე როგორც ბაკეტის დამატებას. ის ხელმისაწვდომი არ არის უფასო საცდელ პერიოდში და არც ისეთ ბაკეტში, რომელიც მხოლოდ წაკითხვის რეჟიმშია (ზომის ლიმიტს გადააჭარბა ან იმას, რისი გადახდაც ბალანსს შეუძლია) — პანელი მიზეზს გეტყვით და, სადაც ეს დაგეხმარებათ, ბალანსის შევსებას შემოგთავაზებთ. თუ კოპირების დროს ბაკეტი მხოლოდ წაკითხვის რეჟიმზე გადავიდა, კოპირება პაუზდება და თავისით გაგრძელდება, როგორც კი ჩაწერა ისევ შესაძლებელი გახდება.

შეზღუდვები

  • ერთ ბაკეტზე ერთდროულად ერთი კოპირება და ერთი თანდათანობითი გადმოტანა.
  • 1 TB-ზე დიდ ფაილებს კოპირება გამოტოვებს.
  • საარქივო კლასების ფაილები, რომლებიც წაკითხვამდე აღდგენას საჭიროებს (S3 Glacier Flexible Retrieval, Glacier Deep Archive), გამოიტოვება; ჯერ აღადგინეთ ისინი.
  • ფაილთან ერთად მხოლოდ თქვენი საკუთარი მეტამონაცემები (x-amz-meta-*) გადმოდის; ფაილის ETag შეიძლება ძველისგან განსხვავდებოდეს.
  • ფაილი, რომელიც ბაკეტიდან თანდათანობითი გადმოტანის ჩართულობისას წაიშალა, მომდევნო წაკითხვისას ხელახლა დაკოპირდება.

ჯერ კიდევ გაქვთ კითხვები?

მოგვწერეთ ჩატში — AI მაშინვე გპასუხობთ, საჭიროებისას კი ინჟინერი უერთდება, დღე-ღამის ნებისმიერ დროს.

მხარდაჭერასთან დაკავშირება