Làm thế nào để giải quyết vấn đề bộ nhớ này một cách duyên dáng?

Tôi có một máy tính xách tay Linux (kiểm tra Debian) tiêu chuẩn, có phân vùng trao đổi.

Tôi làm rất nhiều thí nghiệm với nó. Một số người trong số họ thực sự đói bộ nhớ và cách Linux hành xử theo mặc định là một vấn đề đối với tôi ... Hãy đưa ra một ví dụ ngu ngốc:

1. Ngồi trước máy tính xách tay
2. Mở một thiết bị đầu cuối
3. Gõ python, rồia = [0]*100000000

Bây giờ rất có thể bạn sẽ không có đủ RAM để xử lý danh sách lớn đó. Linux sẽ lấp đầy RAM, sau đó trao đổi và vài phút sau, kẻ giết người OOM sẽ được kích hoạt và giết (gần như) các dịch vụ ngẫu nhiên và hy vọng, nếu bạn nhấn Ctrl + C vào thời điểm tốt pythonvà nếu thiết bị đầu cuối vẫn tập trung, máy tính sẽ trở lại phản hồi.

Tôi muốn thực thi một số giới hạn bộ nhớ để tránh việc hoán đổi không mong muốn đó và từ chối xử lý quyền phân bổ nhiều bộ nhớ hơn mức tôi có (trong RAM). Nếu nhu cầu bộ nhớ dưới một giới hạn nhất định hoặc được yêu cầu bởi root, thì chỉ cần giết quá trình đói bộ nhớ nhất của bất kỳ người dùng nào ngoại trừ root.

ulimit -Sv [mem] Tôi nghe thấy ở phía sau!

Hồ Hồ! "Sử dụng cgroupsthông qua cgexec!" ai đó nói ở hàng đầu tiên!

Vâng, bạn đã đúng: đây thực sự là những giải pháp rất tốt. Nhưng:

• Họ không áp dụng toàn hệ thống
• Các giới hạn được đặt cho mỗi quy trình
• Các giới hạn là tĩnh, không tính đến số lượng thực RAM miễn phí (AFAIK)
• Ở đây và đó , họ nói rằng đây không thực sự là một giải pháp tốt để thực thi các giới hạn cứng.

Điều tôi muốn là kernel nói: "Bạn thuộc về người dùng foo (không phải root), bạn sử dụng rất nhiều bộ nhớ và chúng tôi sẽ hết bộ nhớ. Xin lỗi anh bạn ... chết ngay bây giờ!"

Hoặc: "Bạn đang làm cái quái gì vậy? Bạn cần x MB và chỉ có y MB. Có, SWAP trống, nhưng bạn không có ý định sử dụng SWAP để thực hiện công việc bẩn thỉu của mình, phải không? nói không! Không có ký ức cho bạn! Nếu bạn khăng khăng, bạn sẽ chết! "

Ai đó đề nghị trong phiên điều trần của bạn cgroups. Chà, cố gắng tìm kiếm hướng đó vì nó có thể cung cấp cho bạn:

• áp dụng cho một nhóm tác vụ bạn chọn (do đó không phải toàn hệ thống nhưng không phải cho mỗi quy trình)
• các giới hạn được đặt cho nhóm
• các giới hạn là tĩnh
• họ có thể thực thi giới hạn cứng đối với bộ nhớ và / hoặc bộ nhớ + trao đổi

Một cái gì đó như thế có thể mang bạn đến gần hơn với mục tiêu của bạn :

group limited {
  memory {
    memory.limit_in_bytes = 50M;
    memory.memsw.limit_in_bytes = 50M;
  }
}

Điều này cho biết rằng các tác vụ trong nhóm này có thể chỉ sử dụng tối đa 50M bộ nhớ và 50M bộ nhớ + trao đổi, vì vậy khi bộ nhớ đầy, nó sẽ không trao đổi, nhưng nếu bộ nhớ không đầy và một số dữ liệu có thể được ánh xạ trao đổi, điều này có thể được cho phép.

Đây là một đoạn trích từ tài liệu bộ nhớ của cgroup :

Bằng cách sử dụng giới hạn memsw, bạn có thể tránh OOM hệ thống có thể gây ra do thiếu hụt hoán đổi.

Tôi gặp vấn đề tương tự thường xuyên. Quy trình công việc chung của tôi liên quan đến tính toán nặng nề trong MATLAB. Thỉnh thoảng tôi sẽ vô tình cố gắng phân bổ một biến mới vượt quá dung lượng bộ nhớ khả dụng. Hệ thống bị treo và tôi thường phải khởi động lại máy một cách khó khăn để hoạt động trở lại. : P

Trong trường hợp của tôi, và có vẻ như trong bạn cũng vậy, tôi không quá quan tâm đến việc giới hạn dung lượng bộ nhớ mà MATLAB sử dụng ở mức tĩnh - tôi quan tâm đến việc không có máy đông lạnh và tôi sẵn sàng hy sinh quy trình MATLAB của mình để bảo vệ hệ thống đáp ứng.

Lấy cảm hứng từ một phản hồi cho bài đăng này , tôi đã viết kịch bản sau đây (tôi gọi nó là watch_memory.sh):

#!/bin/bash

MONITOR=$(free | grep 'buffers/cache:')
MEM_USED=$(echo $MONITOR | awk '{ print $3 }')
MEM_FREE=$(echo $MONITOR | awk '{ print $4 }')

MEM_PERC=$(( 100*MEM_USED / (MEM_FREE+MEM_USED) ))

while :; do
    if [ "$MEM_PERC" -gt "95" ]
    then
        kill $1
        echo "$1 killed for using too much memory."
        exit
    fi
    sleep 1

    MONITOR=$(free | grep 'buffers/cache:')
    MEM_USED=$(echo $MONITOR | awk '{ print $3 }')
    MEM_FREE=$(echo $MONITOR | awk '{ print $4 }')
    MEM_PERC=$(( 100*MEM_USED / (MEM_FREE+MEM_USED) ))
done

Kịch bản này kiểm tra mỗi giây cho phần trăm bộ nhớ trống. Khi hệ thống hết, pid "vật tế thần" của bạn (được truyền làm đối số cho tập lệnh) sẽ bị giết.

Không điều chỉnh mức độ ưu tiên (tính độc đáo) của tập lệnh, phải mất khoảng 10-20 giây để vật tế thần bị giết, nhưng nó vẫn hoạt động. Chạy tập lệnh có mức độ ưu tiên tiêu cực dẫn đến việc giết ngay lập tức sau khi vi phạm (11916 trong ví dụ này là mục đích tôi muốn giết nếu hết bộ nhớ):

sudo nice -n -5 bash watch_memory.sh 11916