Câu hỏi được gắn thẻ «deduplication»

Tôi đang tìm kiếm một cách dễ dàng (một lệnh hoặc một loạt các lệnh, có thể liên quan find) để tìm các tệp trùng lặp trong hai thư mục và thay thế các tệp trong một thư mục bằng các liên kết cứng của các tệp trong thư mục …

136 files  hard-link  deduplication  duplicate-files 

Tôi không có kinh nghiệm với btrfs, nhưng nó được quảng cáo là có thể sao chép lại các tập tin. Trong ứng dụng của tôi, tôi cần sao chép toàn bộ cây thư mục. Từ những gì tôi học được, btrfs chỉ sao chép lại trong một số bài …

14 cp  file-copy  btrfs  deduplication 

Tìm kiếm các công cụ chống trùng lặp trên Linux có rất nhiều, xem ví dụ trang wiki này . Tất cả các tập lệnh đều chỉ phát hiện, in tên tệp trùng lặp hoặc xóa các tệp trùng lặp bằng cách liên kết chúng với một bản sao duy …

9 btrfs  deduplication 

Tôi có ~ 30k tập tin. Mỗi tệp chứa ~ 100k dòng. Một dòng không chứa khoảng trắng. Các dòng trong một tệp riêng lẻ được sắp xếp và sao chép miễn phí. Mục tiêu của tôi: Tôi muốn tìm tất cả các dòng trùng lặp trên hai hoặc nhiều …

9 shell-script  text-processing  performance  large-files  deduplication 

Làm cách nào để tạo một tệp tar, vì vậy nội dung của các tệp tarred được căn chỉnh khối như trong các tệp gốc, do đó, người ta có thể hưởng lợi từ việc sao chép cấp khối ( https://unix.stackexchange.com/a/208847/9689 ) ? . PS Tôi có nghĩa là "tar …

8 btrfs  archive  deduplication 

Câu hỏi / câu trả lời này có một số giải pháp tốt để xóa các dòng giống hệt nhau trong một tệp, nhưng sẽ không hoạt động trong trường hợp của tôi vì các dòng trùng lặp khác có dấu thời gian. Có thể nói awk bỏ qua 26 …

8 text-processing  awk  duplicate  deduplication 

Các giải pháp có sẵn cho cấp độ khối hoặc trùng lặp chi tiết hơn là gì? Có những cái dựa trên tập tin - với phương pháp "Sao chép khi ghi". Tôi đang tìm kiếm "sao chép khi ghi" ở cấp độ khối, vì vậy tôi có thể định …

8 filesystems  deduplication 

Tôi đã sao chép hệ thống tệp Btrfs của mình với bedup, vì vậy bây giờ tất cả các tệp trùng lặp (trên một kích thước nhất định) là bản sao "phản xạ". Có cách nào để xem, được cung cấp một tên tệp, những tập tin khác là cùng …

7 btrfs  deduplication