Tôi có một máy tính xách tay Debian (Buster) với RAM 8 GB và trao đổi 16 GB. Tôi đang chạy một nhiệm vụ rất dài. Điều này có nghĩa là máy tính xách tay của tôi đã bị bỏ lại trong sáu ngày qua trong khi nó lướt qua.

Trong khi làm điều này, tôi định kỳ cần sử dụng máy tính xách tay của tôi như một máy tính xách tay. Đây không phải là một vấn đề; tác vụ chạy dài bị ràng buộc I / O, hoạt động thông qua các thứ trên đĩa cứng USB và không tốn nhiều RAM (<200 MB) hoặc CPU (<4%).

Vấn đề là khi tôi trở lại máy tính xách tay của mình sau vài giờ, nó sẽ rất chậm chạp và có thể mất 30 phút để trở lại bình thường. Điều này tệ đến mức các trình giám sát sự cố đánh dấu các ứng dụng tương ứng của chúng bị đóng băng (đặc biệt là các cửa sổ trình duyệt) và mọi thứ bắt đầu không chính xác.

Nhìn vào màn hình hệ thống, 2,5 GB được sử dụng khoảng một nửa được chuyển sang trao đổi. Tôi đã xác nhận đây là sự cố bằng cách xóa không gian hoán đổi ( swapoff /dev/sda8). Nếu tôi để nó mà không có không gian hoán đổi, nó sẽ hoạt động trở lại gần như ngay lập tức ngay cả sau 24 giờ. Với trao đổi, thực tế nó là một viên gạch trong năm phút đầu tiên chỉ còn lại sáu giờ. Tôi đã xác nhận rằng mức sử dụng bộ nhớ không bao giờ vượt quá 3 GB ngay cả khi tôi đi vắng.

Tôi đã cố gắng giảm swappiness ( xem thêm: Wikipedia ) để giá trị của 10và 0, nhưng vấn đề vẫn còn tồn tại. Có vẻ như sau một ngày không hoạt động, hạt nhân tin rằng toàn bộ GUI không còn cần thiết nữa và xóa sạch nó khỏi RAM (hoán đổi nó sang đĩa). Nhiệm vụ chạy dài là đọc qua một cây tệp lớn và đọc mọi tệp. Vì vậy, nó có thể là kernel bị nhầm lẫn khi nghĩ rằng bộ nhớ đệm sẽ giúp. Nhưng trong một lần quét USB HD 2 TB với ~ 1 tỷ tên tệp, RAM GB thêm sẽ không giúp hiệu năng nhiều. Đây là một máy tính xách tay giá rẻ với ổ cứng chậm chạp. Nó chỉ đơn giản là không thể tải dữ liệu trở lại vào RAM đủ nhanh.

Làm thế nào tôi có thể bảo Linux chỉ sử dụng không gian hoán đổi trong trường hợp khẩn cấp? Tôi không muốn chạy mà không trao đổi. Nếu có điều gì đó bất ngờ xảy ra và HĐH đột nhiên cần thêm vài GB thì tôi không muốn các tác vụ bị giết và muốn bắt đầu sử dụng trao đổi. Nhưng hiện tại, nếu tôi bật tính năng trao đổi, máy tính xách tay của tôi không thể được sử dụng khi tôi cần.

Định nghĩa chính xác của "trường hợp khẩn cấp" có thể là vấn đề cần tranh luận. Nhưng để làm rõ ý tôi muốn nói: Trường hợp khẩn cấp sẽ là nơi hệ thống bị bỏ lại mà không có lựa chọn nào khác ngoài việc hoán đổi hoặc tiêu diệt các quá trình.

Trường hợp khẩn cấp là gì? - Bạn có thực sự phải hỏi không? ... Tôi hy vọng bạn không bao giờ thấy mình trong một tòa nhà đang cháy!

Tôi không thể định nghĩa mọi thứ có thể tạo thành trường hợp khẩn cấp trong câu hỏi này. Nhưng ví dụ, trường hợp khẩn cấp có thể là khi hạt nhân bị đẩy vào bộ nhớ đến mức nó đã bắt đầu giết các quá trình với OOM Killer . Trường hợp khẩn cấp KHÔNG phải là khi kernel nghĩ rằng nó có thể cải thiện hiệu suất bằng cách sử dụng trao đổi.

Chỉnh sửa cuối cùng: Tôi đã chấp nhận một câu trả lời thực hiện chính xác những gì tôi đã yêu cầu ở cấp hệ điều hành. Độc giả tương lai cũng nên lưu ý các câu trả lời cung cấp giải pháp cấp ứng dụng.

Có một sự hoán đổi lớn như vậy ngày nay thường là một ý tưởng tồi. Vào thời điểm HĐH đổi chỗ chỉ vài GB bộ nhớ để trao đổi, hệ thống của bạn đã bò đến chết (giống như những gì bạn thấy)

Tốt hơn là sử dụng zramvới một phân vùng trao đổi sao lưu nhỏ . Nhiều hệ điều hành như ChromeOS, Android và các bản phân phối Linux khác nhau đã bật zram theo mặc định trong nhiều năm, đặc biệt là đối với các hệ thống có ít RAM hơn. Nó nhanh hơn nhiều so với trao đổi trên ổ cứng và bạn có thể cảm nhận rõ ràng khả năng phản hồi của hệ thống trong trường hợp này. Ít hơn trên một ổ SSD, nhưng theo kết quả điểm chuẩn ở đây, nó vẫn có vẻ nhanh hơn ngay cả với thuật toán lzo mặc định. Bạn có thể thay đổi thành lz4 để có hiệu suất cao hơn với tỷ lệ nén ít hơn một chút. Tốc độ giải mã của nó nhanh hơn gần 5 lần so với lzo dựa trên điểm chuẩn chính thức

Cũng có zswapmặc dù tôi chưa bao giờ sử dụng nó. Có lẽ đáng để thử và so sánh cái nào tốt hơn cho các ứng dụng của bạn

Sau đó, một đề xuất khác là giảm mức độ ưu tiên của các quy trình ràng buộc IO đó và có thể để một thiết bị đầu cuối chạy ở mức ưu tiên cao hơn để bạn có thể chạy các lệnh trên nó ngay lập tức ngay cả khi hệ thống đang tải cao

đọc thêm

• https://wiki.debian.org/ZRam
• https://wiki.archlinux.org/index.php/improving_performance#RAM_and_swap
• zram vs zswap vs zcache Hướng dẫn cuối cùng: khi nào nên sử dụng cái nào
• Linux, SSD và trao đổi
• Sự khác biệt giữa ZRAM và ZSWAP
• https://www.kernel.org/doc/Documentation/blockdev/zram.txt
• https://wiki.gentoo.org/wiki/Zram

Một cách khắc phục là đảm bảo bộ điều khiển cgroup bộ nhớ được bật (tôi nghĩ rằng nó được mặc định trong các hạt nhân gần đây, nếu không bạn sẽ cần thêm cgroup_enable=memoryvào dòng lệnh kernel). Sau đó, bạn có thể chạy tác vụ chuyên sâu I / O của mình trong một nhóm có giới hạn bộ nhớ, điều này cũng giới hạn số lượng bộ nhớ cache mà nó có thể tiêu thụ.

Nếu bạn đang sử dụng systemd, bạn có thể đặt +MemoryAccounting=yesvà MemoryHigh/ MemoryMaxhoặc MemoryLimit(tùy thuộc vào nếu bạn đang sử dụng cgroup v1 hoặc v2) trong đơn vị hoặc một lát có chứa nó. Nếu đó là một lát, bạn có thể sử dụng systemd-runđể chạy chương trình trong lát.

Ví dụ đầy đủ từ một trong các hệ thống của tôi để chạy Firefox với giới hạn bộ nhớ. Lưu ý điều này sử dụng cgroups v2 và được thiết lập là người dùng của tôi, không phải root (một trong những lợi thế của v2 so với v1 là việc ủy ​​thác điều này cho không root là an toàn, vì vậy systemd thực hiện điều đó).

$ systemctl --user cat mozilla.slice 
# /home/anthony/.config/systemd/user/mozilla.slice
[Unit]
Description=Slice for Mozilla apps
Before=slices.target

[Slice]
MemoryAccounting=yes
MemoryHigh=5G
MemoryMax=6G

$ systemd-run --user --slice mozilla.slice --scope -- /usr/bin/firefox &
$ systemd-run --user --slice mozilla.slice --scope -- /usr/bin/thunderbird &

Tôi tìm thấy để có được một người dùng làm việc tôi phải sử dụng một lát. Hệ thống một hoạt động chỉ bằng cách đặt các tùy chọn trong tệp dịch vụ (hoặc sử dụng systemctl set-propertytrên dịch vụ).

Đây là một dịch vụ ví dụ (sử dụng cgroup v1), lưu ý hai dòng cuối cùng. Đây là một phần của thể hiện hệ thống (pid = 1).

[Unit]
Description=mount S3QL filesystem
Requires=network-online.target
After=network-online.target

[Install]
WantedBy=multi-user.target

[Service]
Type=forking
User=s3ql-user
Group=s3ql-user
LimitNOFILE=20000
ExecStartPre=+/bin/sh -c 'printf "S3QL_CACHE_SIZE=%%i\n" $(stat -c "%%a*%%S*.90/1024" -f /srv/s3ql-cache/ | bc) > /run/local-s3ql-env'
ExecStartPre=/usr/bin/fsck.s3ql  --cachedir /srv/s3ql-cache/fs1 --authfile /etc/s3ql-authinfo  --log none «REDACTED»
EnvironmentFile=-/run/local-s3ql-env
ExecStart=/usr/bin/mount.s3ql --keep-cache --cachedir /srv/s3ql-cache/fs1 --authfile /etc/s3ql-authinfo --cachesize ${S3QL_CACHE_SIZE} --threads 4
ExecStop=/usr/bin/umount.s3ql /mnt/S3QL/
TimeoutStopSec=2m
MemoryAccounting=yes
MemoryLimit=1G

Tài liệu là trong systemd.resource-control(5).

Có vẻ như sau một ngày không hoạt động, hạt nhân tin rằng toàn bộ GUI không còn cần thiết nữa và xóa sạch nó khỏi RAM (hoán đổi nó sang đĩa).

Hạt nhân đang thực hiện The Right Thing ™ tin vào điều đó. Tại sao nó sẽ giữ ¹ bộ nhớ không sử dụng trong RAM và vì vậy về cơ bản sẽ lãng phí nó thay vì sử dụng nó làm bộ nhớ cache hoặc một cái gì đó?

Tôi không nghĩ rằng nhân Linux là các trang hoán đổi một cách vô cớ hoặc dự đoán, vì vậy nếu nó phải lưu trữ một thứ khác trên RAM, do đó cải thiện hiệu suất của tác vụ chạy dài của bạn hoặc ít nhất là với mục tiêu này.

Nếu bạn biết khi nào bạn cần sử dụng lại máy tính xách tay của mình trước, bạn có thể sử dụng atlệnh (hoặc crontab) để lên lịch dọn dẹp trao đổi ( swapoff -a;swapon -a).

Vì việc dọn dẹp trao đổi có thể là quá mức cần thiết và thậm chí kích hoạt trình diệt OOM nếu vì một lý do nào đó, không phải mọi thứ đều phù hợp với RAM, bạn có thể chỉ "tháo gỡ" ² mọi thứ liên quan đến các ứng dụng đang chạy mà bạn muốn hồi sinh.

Một cách để làm điều đó là gắn một trình gỡ lỗi như gdbtừng quy trình bị ảnh hưởng và kích hoạt một thế hệ kết xuất lõi:

# gdb -p <pid>
...
generate-core-dump /dev/null
...
quit

Như bạn đã viết, ứng dụng chạy dài của bạn không sử dụng lại dữ liệu mà nó đọc sau lần vượt qua ban đầu, vì vậy bạn đang ở trong một trường hợp cụ thể trong đó bộ nhớ đệm dài hạn không hữu ích. Sau đó bỏ qua bộ đệm bằng cách sử dụng I / O trực tiếp như được đề xuất bởi Will Crawford sẽ là một cách giải quyết tốt.

Ngoài ra, bạn có thể thường xuyên xóa bộ đệm của tệp bằng cách lặp lại 1hoặc 3vào /proc/sys/vm/drop_cachestệp giả trước khi HĐH nghĩ rằng đó là một ý tưởng tốt để trao đổi các ứng dụng và môi trường GUI của bạn.

Xem Làm thế nào để bạn làm trống bộ đệm và bộ đệm trên hệ thống Linux? để biết chi tiết.

¹ _{Không được sử dụng theo nghĩa: không được sử dụng tích cực hơn trong một khoảng thời gian đáng kể, bộ nhớ vẫn có liên quan đến chủ sở hữu của nó.}
² _{Đặt lại các trang RAM được lưu trữ trên vùng trao đổi.}

Có phải quá trình bạn đang chạy một cái gì đó bạn tự tạo ra?

Nếu vậy, có thể đáng để điều chỉnh mã của bạn để mở các tệp bằng O_DIRECTcờ, để trích dẫn trang thủ công -

Cố gắng giảm thiểu hiệu ứng bộ đệm của I / O đến và từ tệp này. Nói chung, điều này sẽ làm giảm hiệu suất, nhưng nó rất hữu ích trong các tình huống đặc biệt, chẳng hạn như khi các ứng dụng thực hiện bộ nhớ đệm của riêng chúng. Tệp I / O được thực hiện trực tiếp đến / từ bộ đệm không gian người dùng. Bản thân cờ O_DIRECT nỗ lực truyền dữ liệu một cách đồng bộ, nhưng không đảm bảo cho cờ O_SYNC rằng dữ liệu và siêu dữ liệu cần thiết được truyền. Để đảm bảo I / O đồng bộ, O_SYNC phải được sử dụng cùng với O_DIRECT. Xem GHI CHÚ dưới đây để thảo luận thêm.

Đây là một ý tưởng mà tôi chưa từng thử (và tôi xin lỗi vì hiện tại tôi chưa có thời gian để thử nghiệm điều này).

Giả sử bạn tạo một VM nhỏ chỉ có bộ nhớ 512MB cho quá trình chạy nền của mình, tôi không chắc liệu bạn có muốn điều này có bất kỳ trao đổi, cuộc gọi nào và tắt trao đổi trên hệ thống máy chủ của bạn không.

Xóa trao đổi hoặc giảm khoảng 20% ​​( có thể thay đổi theo hệ thống ) vì các hệ điều hành gần đây không sử dụng trao đổi nữa giống như cách họ đã làm trong vài năm trước. Nó có thể trả lời một số câu hỏi của bạn:

-> redhat.com chính thức

một số thông tin của Red Hat bên dưới,

Trước đây, một số nhà cung cấp ứng dụng đã khuyến nghị trao đổi kích thước bằng với RAM, hoặc thậm chí gấp đôi RAM. Bây giờ chúng ta hãy tưởng tượng hệ thống được đề cập ở trên với 2GB RAM và 2GB trao đổi. Một cơ sở dữ liệu trên hệ thống đã bị nhầm cấu hình cho một hệ thống có 5GB RAM. Khi bộ nhớ vật lý được sử dụng hết, trao đổi sẽ được sử dụng. Vì đĩa trao đổi chậm hơn nhiều so với RAM, hiệu suất sẽ giảm và xảy ra sự cố. Tại thời điểm này, thậm chí đăng nhập vào hệ thống có thể trở nên không thể. Khi càng nhiều bộ nhớ được ghi vào, cuối cùng cả bộ nhớ vật lý và trao đổi đều hoàn toàn cạn kiệt và kẻ giết người OOM lao vào, giết chết một hoặc nhiều quá trình. Trong trường hợp của chúng tôi, có khá nhiều trao đổi có sẵn, vì vậy thời gian thực hiện kém là lâu.

và

https://wiki.debian.org/Swap

một phần của liên kết Debian ở trên,

Thông tin và cân nhắc liên quan đến số lượng trao đổi sẽ sử dụng:

"Lượng không gian hoán đổi được đề nghị theo truyền thống là gấp đôi lượng bộ nhớ hệ thống. Điều này đã thay đổi theo thời gian thành một lần rưỡi bộ nhớ hệ thống, cả hai câu trả lời đều là đường cơ sở đàng hoàng nhưng đang trở thành câu trả lời ít hữu ích hơn cho câu hỏi khi thời gian trôi qua. Có nhiều biến số về hệ thống của bạn và mục đích sử dụng sẽ quyết định việc hoán đổi hệ thống có sẵn mà bạn muốn có. "

Bạn có thể thử:

"Cách tốt nhất để vô hiệu hóa trao đổi trong linux"

Ghi chú cá nhân:

Vì tôi có 6 GB RAM và trong tất cả các hệ điều hành Linux gần đây. Tôi chưa bao giờ thấy bất kỳ dấu hiệu nào của việc sử dụng Hoán đổi. Tôi xác định nó, tôi phải tắt nó để lấy dung lượng (thêm vài gigabyte) và vì đôi khi nó làm chậm hệ thống của tôi.