Tìm tập tin thưa thớt?

Có cách nào đơn giản để tìm tất cả các tệp thưa thớt trên hệ thống của tôi hoặc trong một cây thư mục cụ thể không?

Nếu nó có liên quan, tôi đang sử dụng zshtrên Ubuntu 12.04, mặc dù câu trả lời Unix-y chung hơn cho bash / sh, chẳng hạn, sẽ ổn.

Chỉnh sửa : để làm rõ, tôi đang tìm kiếm các tệp thưa thớt, không kiểm tra trạng thái thưa thớt của một tệp.

Trên các hệ thống (và hệ thống tệp) hỗ trợ SEEK_HOLE lseekcờ (như Ubuntu 12.04 của bạn trên ext4) và giả sử giá trị SEEK_HOLElà 4 như trên Linux:

if perl -le 'seek STDIN,0,4;$p=tell STDIN;
   seek STDIN,0,2; exit 1 if $p == tell STDIN'< the-file; then
  echo the-file is sparse
else
  echo the-file is not sparse
fi

Cú pháp shell đó là POSIX. Các công cụ không di động trong đó là perlvà đó SEEK_HOLE.

lseek(SEEK_HOLE)tìm kiếm điểm bắt đầu của lỗ đầu tiên trong tệp hoặc cuối tệp nếu không tìm thấy lỗ. Ở trên chúng ta biết tệp không thưa thớt khi lseek(SEEK_HOLE)đưa chúng ta đến cuối tệp (đến cùng một nơi với lseek(SEEK_END)).

Nếu bạn muốn liệt kê các tập tin thưa thớt:

find . -type f ! -size 0 -exec perl -le 'for(@ARGV){open(A,"<",$_)or
  next;seek A,0,4;$p=tell A;seek A,0,2;print if$p!=tell A;close A}' {} +

GNU find(kể từ phiên bản 4.3.3) -printf %Sphải báo cáo độ thưa của tệp. Nó có cách tiếp cận giống như câu trả lời của frostschutz ở chỗ nó lấy tỷ lệ sử dụng đĩa so với kích thước tệp, do đó không được đảm bảo báo cáo tất cả các tệp thưa thớt (như khi nén ở cấp hệ thống tệp hoặc nơi không gian được lưu bởi các lỗ không bù cho chi phí cơ sở hạ tầng hệ thống tập tin hoặc các thuộc tính mở rộng lớn), nhưng sẽ hoạt động trên các hệ thống không có SEEK_HOLEhoặc hệ thống tệp SEEK_HOLEkhông được triển khai. Ở đây có các công cụ GNU:

find . -type f ! -size 0 -printf '%S:%p\0' |
  awk -v RS='\0' -F : '$1 < 1 {sub(/^[^:]*:/, ""); print}'

_{(lưu ý rằng phiên bản trước của câu trả lời này không hoạt động chính xác khi findthể hiện độ thưa như ví dụ 3.2e-05. Cảm ơn câu trả lời của @ flashydave đã khiến tôi chú ý)}

Một tệp thường thưa thớt khi số khối được phân bổ nhỏ hơn kích thước tệp (ở đây sử dụng GNU statnhư tìm thấy trên Ubuntu, nhưng hãy cẩn thận với các hệ thống khác có thể có các triển khai không tương thích stat).

if [ "$((`stat -c '%b*%B-%s' -- "$file"`))" -lt 0 ]
then
    echo "$file" is sparse
else
    echo "$file" is not sparse
fi

Biến thể với find: (bị đánh cắp từ Stephane)

find . -type f ! -size 0 -exec bash -c '
    for f do
        [ "$((`stat -c "%b*%B-%s" -- "$f"`))" -lt 0 ] && printf "%s\n" "$f";
    done' {} +

Thay vào đó, bạn thường đặt tập lệnh này vào tập lệnh shell, sau đó thực thi tập lệnh shell.

find . -type f ! -size 0 -exec ./sparsetest.sh {} +

Câu trả lời của Stephane Chazelas ở trên không tính đến thực tế là một số tệp thưa thớt với tham số find% S báo cáo tỷ lệ dưới dạng số dấu phẩy động như

9.31323e-09:./somedir/sparsefile.bin

Chúng có thể được tìm thấy ngoài

find . -type f ! -size 0 -printf '%S:%p\0' |
   sed -zn '/^\(0[^:]*:\)\|\([0-9.]\+e-.*:\)/p' |
   tr '\0' '\n'

Một đoạn script ngắn tôi đã viết trong khi cố gắng tìm ra vị trí của các lỗ hổng trong tệp:

#!/usr/bin/python3
import os
import sys
import errno

def report(fname):
    fd = os.open(fname, os.O_RDONLY)
    len = os.lseek(fd, 0, os.SEEK_END)
    offset = 0
    while offset < len:
        start = os.lseek(fd, offset, os.SEEK_HOLE)
        if start == len:
            break
        try:
            offset = os.lseek(fd, start, os.SEEK_DATA)
        except OSError as e:
            if e.errno == errno.ENXIO:
                offset = len
            else:
                raise
        print(f'found hole between 0x{start:08X} and 0x{offset:08X} ({offset - start} bytes)')

if __name__ == '__main__':
    for name in sys.argv[1:]:
        report(name)

Điều này in những thứ như:

$ echo -n 'a' >zeros; truncate -s $((4096*4)) zeros; test/report-holes.py zeros
found hole between 0x00001000 and 0x00004000 (12288 bytes)