Cách nhanh nhất để di chuyển một triệu hình ảnh từ thư mục này sang thư mục khác trong Linux là gì?

Tôi có một triệu hình ảnh chiếm 30 GB dung lượng đĩa cần được chuyển từ thư mục cục bộ này sang thư mục cục bộ khác.

Điều gì sẽ là cách hiệu quả nhất để làm điều này? Sử dụng mv? Sử dụng cp? Sử dụng rsync? Thứ gì khác?

Tôi cần phải thực hiện những điều này:

/path/to/old-img-dir/*
                     00000000.jpg
                     --------.jpg  ## nearly 1M of them! ##
                     ZZZZZZZZ.jpg

và di chuyển chúng đến đây:

/path/to/new/img/dir/

rsync sẽ là một lựa chọn kém bởi vì nó thực hiện rất nhiều công việc của máy khách / máy chủ, chiếm các hệ thống từ xa cũng như cục bộ.

mvcó lẽ là sự lựa chọn tốt nhất Nếu có thể, bạn nên thử mv directory_old directory_newchứ không phải mv directory_old/* directory_new/. Bằng cách này, bạn di chuyển một thứ thay vì một triệu thứ.

find src_image_dir/ -type f -name '*.jpg' -print0 | xargs -0r mv -t dst_image_dir/ 

• Điều này sẽ không tràn mở rộng đối số.
• Bạn có thể chỉ định phần mở rộng tập tin, nếu bạn muốn. (-Tên ...)
• find -print0với xargs -0cho phép bạn sử dụng khoảng trắng trong tên.
• xargs -rsẽ không chạy mvtrừ khi có gì đó để di chuyển. ( mvsẽ khiếu nại nếu không có tệp nguồn nào được đưa ra).
• Cú pháp mv -tcho phép bạn chỉ định đích đầu tiên và sau đó là các tệp nguồn, cần thiết bởi xargs.
• Di chuyển toàn bộ thư mục tất nhiên là nhanh hơn nhiều, vì nó diễn ra trong thời gian không đổi bất kể số lượng tệp có trong đó, nhưng:
  • thư mục nguồn sẽ biến mất trong một phần nhỏ thời gian và nó có thể tạo ra vấn đề cho bạn;
  • nếu quá trình đang sử dụng thư mục hiện tại làm thư mục đầu ra (ngược lại luôn luôn đề cập đến một đường dẫn đầy đủ từ một vị trí không di chuyển), bạn sẽ phải khởi chạy lại nó. (giống như bạn làm với vòng quay log ).

Nhân tiện, tôi sẽ tự hỏi mình có thực sự phải di chuyển một lượng lớn tệp như vậy cùng một lúc không. Xử lý hàng loạt được đánh giá cao. Tôi cố gắng không tích lũy khối lượng công việc khổng lồ nếu tôi có thể xử lý mọi thứ tại thời điểm chúng được tạo ra.

Nếu hai thư mục nằm trên cùng một hệ thống tập tin, hãy sử dụng mvtrên TRỰC TIẾP chứ không phải nội dung của thư mục.

Nếu chúng nằm trên hai hệ thống tệp khác nhau, hãy sử dụng rsync:

rsync -av /source/directory/ /destination

Chú ý dấu vết /trên nguồn. Điều này có nghĩa là nó sẽ sao chép NỘI DUNG của thư mục chứ không phải chính thư mục đó. Nếu bạn rời /khỏi, nó vẫn sẽ sao chép các tập tin nhưng chúng sẽ nằm trong một thư mục có tên /destination/directory. Với /, các tệp sẽ nằm trong/destination

rsyncsẽ duy trì quyền sở hữu tệp nếu bạn chạy nó dưới quyền root hoặc nếu các tệp thuộc sở hữu của bạn. Nó cũng sẽ duy trì các mtimetập tin cá nhân.

tar cf - dir1 | (cd dir2; tar xf -)

tar cf - dir1 | ssh remote_host "( cd /path/to/dir2; tar xf - )"

Khi bạn sử dụng 'cp', mỗi tệp sẽ thực hiện mở-đọc-đóng-mở-ghi-đóng. Tar sử dụng các quy trình khác nhau để đọc và viết cũng như nhiều bước để hoạt động trên nhiều tệp cùng một lúc. Ngay cả trên một hộp CPU, các ứng dụng đa luồng cũng nhanh hơn.

Vì cả thư mục_old và thư mục_new đều nằm trên cùng một hệ thống tệp, bạn có thể sử dụng cp -lthay vì mvdưới dạng tùy chọn. cp -lsẽ tạo ra một liên kết cứng đến các tập tin gốc. Khi bạn hoàn thành với 'di chuyển' và bạn hài lòng với kết quả thì bạn có thể xóa các tệp này khỏi thư mục_old. về tốc độ, nó sẽ giống như 'mv' khi bạn lần đầu tiên tạo các liên kết và sau đó bạn xóa các liên kết ban đầu. Nhưng phương pháp này cho phép bạn bắt đầu lại từ đầu nếu điều này có ý nghĩa

Nó phụ thuộc (tm). Nếu hệ thống tập tin của bạn là copy-on-write, thì sao chép ( cphoặc rsync, chẳng hạn) sẽ tương đương với một động thái. Nhưng đối với hầu hết các trường hợp phổ biến, move ( mv) sẽ là nhanh nhất, vì nó có thể chỉ cần chuyển xung quanh các phần dữ liệu mô tả nơi đặt tệp (lưu ý: điều này được đơn giản hóa quá mức).

Vì vậy, trên cài đặt Linux trung bình của bạn, tôi sẽ đi mv.

EDIT: @ Frédéric Hamidi có một điểm tốt trong các nhận xét: Điều này chỉ hợp lệ nếu cả hai đều trên cùng một hệ thống tệp và đĩa. Nếu không, dữ liệu sẽ được sao chép.

Để sao chép ít nhất ~ 10k tệp (không có thư mục), cp đã khiếu nại:

không thể thực thi / bin / cp: Danh sách đối số quá dài

Tùy chọn tốt nhất là Rsync:

mục tiêu nguồn rsync

Và nó đã được thực hiện rất nhanh!

Nếu bạn có không gian trống, hãy lưu trữ chúng vào một tệp .tar (không nén được nhanh hơn) và sau đó di chuyển tệp đó qua và hủy lưu trữ tệp đó.

Bản chất của điểm đến sẽ xác định cách hiệu quả nhất để thực hiện nhiệm vụ này. Giả sử bạn đang ở trên một hệ thống cục bộ, bạn PWDđang /ở ngay bây giờ. và /achứa hàng triệu hình ảnh. Nhiệm vụ của chúng tôi là di chuyển tất cả các hình ảnh sang /b, trong khi duy trì tất cả cấu trúc thư mục con. Cũng giả sử /avà /blà điểm gắn kết cho hai phân vùng khác nhau, mỗi phân vùng trên một đĩa được kết nối cục bộ. Chúng tôi muốn thực hiện nhiệm vụ này với một tarpipe. Điều này có thể mất một thời gian, do đó hãy chắc chắn rằng bạn đang sử dụng screen, tmuxhoặc bạn thực hiện điều này như một quá trình nền.

tar -C /a -cf . | tar -C /b -xf -

Điều đó sẽ sao chép tất cả các file và thư mục trong /ađể /b, vì vậy bây giờ bạn sẽ cần phải dọn dẹp /amột khi bạn xác nhận nó hoàn thành mà không có lỗi.