Tôi biết 4 giải pháp dòng lệnh cho linux. Cái ưa thích của tôi là cái cuối cùng được liệt kê ở đây rdfind, bởi vì tất cả các tùy chọn có sẵn.
fdupes
- Điều này dường như là một đề nghị nhất / nổi tiếng nhất.
- Đây là cách đơn giản nhất để sử dụng, nhưng hành động duy nhất của nó là xóa các bản sao.
- Để đảm bảo các bản sao thực sự là các bản sao (trong khi không chạy mãi mãi), việc so sánh giữa các tệp được thực hiện trước tiên bằng kích thước tệp, sau đó băm md5, sau đó so sánh theo byte.
Đầu ra mẫu (với các tùy chọn "hiển thị kích thước", "đệ quy"):
$ fdupes -Sr .
17 bytes each:
./Dir1/Some File
./Dir2/SomeFile
liên kết cứng
- Được thiết kế để, như tên cho thấy, thay thế các tập tin tìm thấy bằng các liên kết cứng.
- Có một
--dry-runlựa chọn.
- Không cho biết cách so sánh nội dung, nhưng không giống như tất cả các tùy chọn khác, có tính đến chế độ tệp tài khoản, chủ sở hữu và thời gian sửa đổi.
Đầu ra mẫu (lưu ý cách hai tệp của tôi có thời gian sửa đổi hơi khác nhau, vì vậy trong lần chạy thứ hai, tôi bảo nó bỏ qua điều đó):
$ stat Dir*/* | grep Modify
Modify: 2015-09-06 23:51:38.784637949 -0500
Modify: 2015-09-06 23:51:47.488638188 -0500
$ hardlink --dry-run -v .
Mode: dry-run
Files: 5
Linked: 0 files
Compared: 0 files
Saved: 0 bytes
Duration: 0.00 seconds
$ hardlink --dry-run -v -t .
[DryRun] Linking ./Dir2/SomeFile to ./Dir1/Some File (-17 bytes)
Mode: dry-run
Files: 5
Linked: 1 files
Compared: 1 files
Saved: 17 bytes
Duration: 0.00 seconds
duff
- Được thực hiện để tìm các tệp mà người dùng sau đó hành động; không có hành động có sẵn.
- Việc so sánh được thực hiện theo kích thước tệp, sau đó băm sha1.
- Hash có thể được thay đổi thành sha256, sha384 hoặc sha512.
- Hash có thể bị vô hiệu hóa để thực hiện so sánh theo từng byte
Đầu ra mẫu (với tùy chọn "đệ quy"):
$ duff -r .
2 files in cluster 1 (17 bytes, digest 34e744e5268c613316756c679143890df3675cbb)
./Dir2/SomeFile
./Dir1/Some File
báo cáo lại
- Các tùy chọn có một cú pháp bất thường (có nghĩa là bắt chước
find?).
- Một số tùy chọn cho các hành động để thực hiện các tệp trùng lặp (xóa, tạo liên kết tượng trưng, tạo liên kết cứng).
- Có chế độ chạy khô.
- Việc so sánh được thực hiện theo kích thước tệp, sau đó là byte đầu tiên, sau đó là byte cuối cùng, sau đó là md5 (mặc định) hoặc sha1.
- Xếp hạng các tập tin được tìm thấy làm cho nó có thể dự đoán được tập tin nào được coi là bản gốc.
Đầu ra mẫu:
$ rdfind -dryrun true -makehardlinks true .
(DRYRUN MODE) Now scanning ".", found 5 files.
(DRYRUN MODE) Now have 5 files in total.
(DRYRUN MODE) Removed 0 files due to nonunique device and inode.
(DRYRUN MODE) Now removing files with zero size from list...removed 0 files
(DRYRUN MODE) Total size is 13341 bytes or 13 kib
(DRYRUN MODE) Now sorting on size:removed 3 files due to unique sizes from list.2 files left.
(DRYRUN MODE) Now eliminating candidates based on first bytes:removed 0 files from list.2 files left.
(DRYRUN MODE) Now eliminating candidates based on last bytes:removed 0 files from list.2 files left.
(DRYRUN MODE) Now eliminating candidates based on md5 checksum:removed 0 files from list.2 files left.
(DRYRUN MODE) It seems like you have 2 files that are not unique
(DRYRUN MODE) Totally, 17 b can be reduced.
(DRYRUN MODE) Now making results file results.txt
(DRYRUN MODE) Now making hard links.
hardlink ./Dir1/Some File to ./Dir2/SomeFile
Making 1 links.
$ cat results.txt
# Automatically generated
# duptype id depth size device inode priority name
DUPTYPE_FIRST_OCCURRENCE 1 1 17 2055 24916405 1 ./Dir2/SomeFile
DUPTYPE_WITHIN_SAME_TREE -1 1 17 2055 24916406 1 ./Dir1/Some File
# end of file
