Là các tập tin ngắn hạn được tuôn ra đĩa?

Chương trình của tôi tạo ra nhiều tập tin nhỏ ngắn. Chúng thường bị xóa trong vòng một giây sau khi tạo. Các tập tin nằm trong một hệ thống tập tin ext4 được hỗ trợ bởi một đĩa cứng thực sự. Tôi biết rằng Linux định kỳ xả ( pdflush) các trang bẩn vào đĩa. Vì các tệp của tôi tồn tại trong thời gian ngắn, nên nhiều khả năng chúng không được lưu trong bộ nhớ cache pdflush. Câu hỏi của tôi là, chương trình của tôi gây ra rất nhiều đĩa ghi? Mối quan tâm của tôi là cuộc sống đĩa cứng của tôi.

Vì các tệp nhỏ, nên giả sử tổng kích thước của chúng nhỏ hơn dirty_bytesvà dirty_background_bytes.

Ext4 có tạp chí mặc định được bật, tức là tạp chí siêu dữ liệu. Tôi cũng muốn biết liệu siêu dữ liệu hoặc dữ liệu được ghi vào đĩa.

Một thử nghiệm đơn giản sử dụng ext4:

Tạo hình ảnh 100 MB ...

# dd if=/dev/zero of=image bs=1M count=100
100+0 records in
100+0 records out
104857600 bytes (105 MB) copied, 0.0533049 s, 2.0 GB/s

Biến nó thành một thiết bị lặp ...

# losetup -f --show image
/dev/loop0

Tạo hệ thống tập tin và gắn kết ...

# mkfs.ext4 /dev/loop0
# mount /dev/loop0 /mnt/tmp

Thực hiện một số loại chạy với các tập tin sống ngắn. (Thay đổi điều này thành bất kỳ phương pháp nào bạn thích.)

for ((x=0; x<1000; x++))
do
    (echo short-lived-content-$x > /mnt/tmp/short-lived-file-$x
     sleep 1
     rm /mnt/tmp/short-lived-file-$x ) &
done

Umount, đồng bộ hóa, unloop.

# umount /mnt/tmp
# sync
# losetup -d /dev/loop0

Kiểm tra nội dung hình ảnh.

# strings image | grep short-lived-file | tail -n 3
short-lived-file-266
short-lived-file-895
short-lived-file-909
# strings image | grep short-lived-content | tail -n 3

Trong trường hợp của tôi, nó liệt kê tất cả các tên tệp, nhưng không có nội dung tệp nào. Vì vậy, chỉ có nội dung không được viết.

Trừ khi bạn đang nói về một ổ đĩa trạng thái rắn, một số lượng lớn đĩa ghi sẽ không phải là yếu tố chi phối trong tuổi thọ ổ đĩa.

Nếu bạn thực sự muốn tránh việc ghi đĩa, hãy nhìn vào tmpfs ,

Theo nguyên tắc chung, không, chúng sẽ không được viết. Điều này là do bộ đệm xóa các trang bẩn khi một trong hai điều kiện được đáp ứng:

1. Dữ liệu bị già đi sau /proc/sys/vm/dirty_writeback_centisecsđó, mặc định là 5 giây.

2. Có quá ít bộ nhớ để bộ nhớ cache chứa dữ liệu, nhiều hơn dirty_ratiocác trang bẩn trong bộ đệm (mặc định là 20%).

Vì vậy, trên một hệ thống có nhiều bộ nhớ trống và ít lưu lượng ghi ngoài các tệp nhỏ của bạn bị xóa trong vòng chưa đầy 5 giây, dữ liệu sẽ không bị xóa.

Việc các tệp có thời gian sử dụng ngắn có được ghi vào đĩa hay không không chỉ phụ thuộc vào hành vi mặc định của bộ đệm của tệp kernel mà còn phụ thuộc vào chi tiết thực hiện trình điều khiển hệ thống tệp và các tùy chọn gắn kết của hệ thống tệp đã nói. Có thể cấu hình hệ thống theo cách mà mọi thứ sẽ luôn được ghi ngay vào đĩa (về cơ bản, hoạt động giống như DOS).

Một hệ thống tệp, nổi bật với hành vi mà bạn quan tâm (nên được gọi là "phân bổ chậm") là XFS. Với nó, bạn có thể chắc chắn ít nhiều (không có tùy chọn cấu hình hài hước nào ở nơi khác) rằng các khối thuộc về các tệp vừa bị xóa sẽ được sử dụng lại trong bộ nhớ, mà không cần truy cập đĩa trung gian. XFS có thể vẫn muốn cập nhật nhật ký siêu dữ liệu của mình (sẽ được ghi vào đĩa khá thường xuyên, tuy nhiên, do tạp chí của XFS chỉ là siêu dữ liệu, nó đủ nhỏ để đặt trên một số thiết bị nhanh khác, chẳng hạn như RAM được hỗ trợ bằng pin trên nhiều bộ điều khiển RAID).

Do hành vi này, không có gì lạ khi tìm thấy các tệp hoàn toàn bị loại trừ, nhưng các tệp tìm kiếm hợp pháp (kích thước và siêu dữ liệu khác vẫn còn nguyên vẹn) trên hệ thống tệp XFS sau khi bị gián đoạn nguồn đột ngột. Đó là một chi phí hỗ trợ các hoạt động tập tin "bán tạm thời" nhanh chóng.

Một số lý thuyết

Nói chung, một cuộc gọi hệ thống truy cập vào một hệ thống tệp kết thúc, khá nhanh chóng, trong phương thức xác định trình điều khiển hệ thống tệp (được đính kèm với "struct inode_operations" và "struct file_operations" khi trình điều khiển VFS được đăng ký). Điều gì xảy ra sau đó chỉ còn lại tùy theo việc thực hiện hệ thống tệp. Thông thường, một cái gì đó tương tự như cách tiếp cận sau đây được sử dụng (ví dụ đơn giản này là từ trình điều khiển linux linux):

if (IS_DIRSYNC(dir))
    (void)fat_sync_inode(dir);
else
    mark_inode_dirty(dir);

Nếu hệ thống tệp được gắn ở chế độ "đồng bộ hóa", tất cả các thay đổi sẽ chuyển sang đĩa ngay lập tức (thông qua fat_sync_inode () trong trường hợp này). Mặt khác, khối được đánh dấu là "bẩn" và nằm trong bộ nhớ cache cho đến khi có cơ hội hợp lý.

Do đó, không thể dự đoán hành vi hệ thống đối với các tệp tạm thời mà không xem xét các tùy chọn gắn kết hệ thống tệp và kiểm tra mã nguồn thực hiện của nó (tất nhiên, điều này chủ yếu áp dụng cho tất cả các loại hệ thống tệp kỳ lạ chủ yếu được tìm thấy trong không gian nhúng) .