Tìm kiếm và xóa các tệp trùng lặp với các tên khác nhau

Tôi có một bộ sưu tập nhạc lớn được lưu trữ trên ổ cứng của mình; và duyệt qua nó, tôi thấy rằng tôi có rất nhiều tệp trùng lặp trong một số thư mục album. Thông thường các bản sao tồn tại cùng với bản gốc trong cùng thư mục.

Thông thường định dạng là filename.mp3 và tệp trùng lặp là tên tệp 1.mp3 . Đôi khi có thể có nhiều hơn một tệp trùng lặp và tôi không biết liệu có các tệp trùng lặp trên các thư mục không (ví dụ: trùng lặp các thư mục album).

Có cách nào tôi có thể quét các tệp trùng lặp này không (ví dụ bằng cách so sánh kích thước tệp hoặc so sánh toàn bộ tệp để kiểm tra xem chúng có giống nhau không), xem lại kết quả và sau đó xóa các bản sao? Những cái có tên dài hơn hoặc những cái có ngày sửa đổi / tạo gần đây thường sẽ là mục tiêu xóa.

Có một chương trình ngoài đó có thể làm điều này trên Linux không?

Có một chương trình như vậy, và nó được gọi là rdfind:

SYNOPSIS
   rdfind [ options ] directory1 | file1 [ directory2 | file2 ] ...

DESCRIPTION
   rdfind  finds duplicate files across and/or within several directories.
   It calculates checksum only if necessary.  rdfind  runs  in  O(Nlog(N))
   time with N being the number of files.

   If  two  (or  more) equal files are found, the program decides which of
   them is the original and the rest are considered  duplicates.  This  is
   done  by  ranking  the  files  to each other and deciding which has the
   highest rank. See section RANKING for details.

Nó có thể xóa các bản sao hoặc thay thế chúng bằng các liên kết tượng trưng hoặc cứng.

Hừm. Tôi chỉ phát triển một lớp lót để liệt kê tất cả các bản sao, cho một câu hỏi hóa ra là bản sao này. Làm thế nào meta. Chà, xấu hổ khi lãng phí nó, vì vậy tôi sẽ đăng nó, mặc dù rdfindnghe có vẻ là một giải pháp tốt hơn.

Điều này ít nhất có lợi thế là cách Unix "thực sự" để làm điều đó;)

find -name '*.mp3' -print0 | xargs -0 md5sum | sort | uniq -Dw 32

Phá vỡ đường ống xuống:

find -name '*.mp3' -print0 tìm thấy tất cả các tệp mp3 trong cây con bắt đầu từ thư mục hiện tại, in các tên được phân tách bằng NUL.

xargs -0 md5sum đọc danh sách được phân tách bằng NUL và tính toán tổng kiểm tra trên mỗi tệp.

Bạn biết những gì sortkhông.

uniq -Dw 32 so sánh 32 ký tự đầu tiên của các dòng được sắp xếp và chỉ in những ký tự có cùng hàm băm.

Vì vậy, bạn kết thúc với một danh sách tất cả các bản sao. Sau đó, bạn có thể thu nhỏ thủ công xuống những cái bạn muốn xóa, xóa băm và đưa danh sách vào rm.

Tôi rất vui vì bạn đã hoàn thành công việc rdfind.

Lần sau bạn cũng có thể xem xét rmlint. Nó cực kỳ nhanh và cung cấp một vài tùy chọn khác nhau để giúp xác định tệp nào là bản gốc trong mỗi bộ trùng lặp.

Tôi đang nghĩ đến việc sử dụng Perl:

#!/usr/bin/perl
use strict;
use warnings;

use File::Find;
use Digest::SHA qw ( sha1_hex );

my %seen;

sub find_dupes {
    next if -d;
    local $/;
    open( my $input, "<", $File::Find::name ) or warn $!;
    my $sha1sum = sha1_hex(<$input>);
    close($input);
    if ( $seen{$sha1sum} ) {
        print "$File::Find::name is probably a dupe of $seen{$sha1sum} - both have $sha1sum\n";
    }
    $seen{$sha1sum} = $File::Find::name;
}

find( \&find_dupes, "/path/to/search", "/another/path/to/search" );