Tại sao việc di chuyển một số tệp trong một thư mục mất nhiều thời gian hơn là di chuyển toàn bộ thư mục?

Tôi có hàng triệu hình ảnh trên máy chủ đám mây ubfox của mình. Khi tôi di chuyển một thư mục hoàn chỉnh chứa 12 triệu hình ảnh bằng mvlệnh, nó sẽ xảy ra gần như ngay lập tức. Tuy nhiên, khi tôi mvchỉ hình ảnh (không phải thư mục) thì phải mất một thời gian. Có cách nào để di chuyển tất cả các hình ảnh nhanh như thư mục không?

Đây là những gì đang xảy ra:

1. thư mục src có 12 triệu hình ảnh và tôi chuyển nó sang thư mục dst bằng

   $ mv  src ../dst
   

   Xảy ra ngay lập tức

2. Trong thư mục src tôi làm điều này để di chuyển:

   find -maxdepth 1 -name '*.jpg' -exec mv -t ../../dst/ {} +
   

   Điều này cần một chút thời gian.

Có cách nào để tăng tốc quá trình thứ hai không?

TL; DR : Không

Đối với số lượng tệp nhỏ hơn, bạn sẽ không cần findnhưng ngay cả trong trường hợp đơn giản và nhỏ hơn này, nếu bạn chỉ

mv *.jpg ../../dst/

sẽ mất nhiều thời gian hơn là di chuyển toàn bộ thư mục cùng một lúc.

Tại sao? Vấn đề là phải hiểu những gì mv.

Nói ngắn gọn, mvdi chuyển một số (xác định một thư mục hoặc một tệp) từ một nút (thư mục chứa nó) sang một số khác và các chỉ số này được cập nhật trong nhật ký của hệ thống tệp hoặc trong FAT (nếu hệ thống tệp được thực hiện theo cách như vậy).

Nếu nguồn và đích nằm trên cùng một hệ thống tệp, không có chuyển động dữ liệu thực tế, nó chỉ thay đổi vị trí, điểm mà chúng được gắn vào.

Vì vậy, khi bạn mv một thư mục, bạn đang thực hiện thao tác này một lần .

Nhưng khi bạn di chuyển 1 triệu tệp, bạn đang thực hiện thao tác này 1 triệu lần .

Để cho bạn một ví dụ thực tế, bạn có một cây có nhiều nhánh. Đặc biệt, có một nút mà 1 triệu chi nhánh được đính kèm.
Để cắt các nhánh này và di chuyển chúng đến một nơi khác, bạn có thể cắt từng nhánh trong số chúng, để bạn thực hiện 1 triệu lần cắt hoặc bạn cắt ngay trước nút, do đó chỉ thực hiện một lần cắt (đây là sự khác biệt giữa việc di chuyển tệp và cac thu mục).

Nó vẫn sẽ chậm bởi vì, như đã lưu ý, hệ thống tệp phải đặt lại từng tên tệp vào vị trí mới.

Tuy nhiên, bạn có thể tăng tốc nó từ những gì bạn có bây giờ.

Lệnh find của bạn chạy exec một lần cho mỗi tệp. Vì vậy, nó khởi chạy mvlệnh 12 triệu lần cho 12 triệu tệp. Điều này có thể được cải thiện theo hai cách.

• Thêm một điểm cộng vào cuối:
  find -maxdepth 1 -name '*.jpg' -exec mv -t ../../dst/ +
  Kiểm tra trang man để đảm bảo nó được hỗ trợ trong phiên bản của bạn find. Hiệu quả sẽ là chạy một loạt các mvlệnh với càng nhiều tên tệp sẽ phù hợp với từng dòng lệnh.

• Sử dụng findvà xargscùng nhau.
  find -maxdepth 1 -name '*.jpg' -print0 | xargs -0 mv -t ../../dst/
  Các -print0sẽ sử dụng NUL, aka zero byte để tách các tên tập tin. Điều này cộng với xargs -0sửa chữa bất kỳ vấn đề xargsnào khác có không gian trong tên tệp. Các xargslệnh sẽ đọc danh sách các tên tập tin từ findlệnh và chạy mvlệnh trên nhiều tên tập tin như sẽ phù hợp.

Sự nhầm lẫn của bạn xuất phát từ sự trừu tượng của hệ thống tệp khiến bạn tin rằng một thư mục chứa các tệp và các thư mục khác theo kiểu giống như cây. Điều này không thực sự đúng: tất cả các tệp và thư mục trong một hệ thống tệp được đặt ở cùng cấp độ và được xác định bằng một số loại, tùy thuộc vào việc thực hiện. Thư mục chỉ là các tệp đặc biệt chứa danh sách các tệp khác.

Khi bạn "di chuyển" các tệp trong một hệ thống tệp, các tệp thực tế sẽ không đi bất cứ đâu. Thay vào đó, danh sách bên trong các thư mục được cập nhật để phản ánh sự thay đổi.

mv src ../dstdi chuyển một mục nhập danh sách từ thư mục này .sang thư mục khác ../dst, vì vậy nó rất nhanh.

find -maxdepth 1 -name '*.jpg' -exec mv -t ../../dst/phải di chuyển hàng triệu mục, vì vậy nó chậm hơn. Nó có khả năng được tăng tốc nếu bạn mvchỉ gọi một lần và không một lần cho mỗi tệp và mvchính lệnh có thể được tối ưu hóa để di chuyển một số mục trong thư mục trong một bước, nhưng không có cách nào để thực hiện nhanh như khi bạn di chuyển một thư mục .

Một câu trả lời đơn giản

di chuyển một tập tin được thực hiện là 3 bước:

• thêm () một liên kết đến tệp vào danh sách inode của thư mục đích
• kiểm tra xem liên kết đã được thêm thành công chưa
• xóa () liên kết khỏi danh sách các nút của thư mục nguồn nếu kiểm tra ở trên thành công.

quá trình này là giống nhau cho một tập tin hoặc một thư mục.
và rõ ràng làm điều này cho 1 tệp nhanh hơn 100 so với làm 100 tệp.

man link là add ()
man unlinklà remove ()
mvchỉ sử dụng hai lệnh trên và thêm kiểm tra ở giữa để tránh mất dữ liệu.