Cái gì đã sử dụng bộ nhớ Linux? Bộ nhớ cache thấp, bộ đệm thấp, không phải là VM

Trước hết, vâng, tôi đã đọc LinuxAteMyRAM , không giải thích được tình huống của tôi.

# free -tm
             total       used       free     shared    buffers     cached
Mem:         48149      43948       4200          0          4         75
-/+ buffers/cache:      43868       4280
Swap:        38287          0      38287
Total:       86436      43948      42488
#

Như được hiển thị ở trên, -/+ buffers/cache:dòng hiển thị cho biết tốc độ bộ nhớ được sử dụng là rất cao. Tuy nhiên, từ đầu ra của top, tôi không thấy bất kỳ quá trình nào sử dụng hơn 100 MB bộ nhớ.

Vì vậy, những gì sử dụng bộ nhớ?

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
28078 root      18   0  327m  92m  10m S    0  0.2   0:25.06 java
31416 root      16   0  250m  28m  20m S    0  0.1  25:54.59 ResourceMonitor
21598 root     -98   0 26552  25m 8316 S    0  0.1  80:49.54 had
24580 root      16   0 24152  10m  760 S    0  0.0   1:25.87 rsyncd
 4956 root      16   0 62588  10m 3132 S    0  0.0  12:36.54 vxconfigd
26703 root      16   0  139m 7120 2900 S    1  0.0   4359:39 hrmonitor
21873 root      15   0 18764 4684 2152 S    0  0.0  30:07.56 MountAgent
21883 root      15   0 13736 4280 2172 S    0  0.0  25:25.09 SybaseAgent
21878 root      15   0 18548 4172 2000 S    0  0.0  52:33.46 NICAgent
21887 root      15   0 12660 4056 2168 S    0  0.0  25:07.80 SybaseBkAgent
17798 root      25   0 10652 4048 1160 S    0  0.0   0:00.04 vxconfigbackupd

Đây là máy x86_64 (không phải máy chủ thương hiệu chung) chạy x84_64 Linux, không phải là bộ chứa trong máy ảo. Hạt nhân ( uname -a):

Linux 2.6.16.60-0.99.1-smp #1 SMP Fri Oct 12 14:24:23 UTC 2012 x86_64 x86_64 x86_64 GNU/Linux

Nội dung của /proc/meminfo:

MemTotal:     49304856 kB
MemFree:       4066708 kB
Buffers:         35688 kB
Cached:         132588 kB
SwapCached:          0 kB
Active:       26536644 kB
Inactive:     17296272 kB
HighTotal:           0 kB
HighFree:            0 kB
LowTotal:     49304856 kB
LowFree:       4066708 kB
SwapTotal:    39206624 kB
SwapFree:     39206528 kB
Dirty:             200 kB
Writeback:           0 kB
AnonPages:      249592 kB
Mapped:          52712 kB
Slab:          1049464 kB
CommitLimit:  63859052 kB
Committed_AS:   659384 kB
PageTables:       3412 kB
VmallocTotal: 34359738367 kB
VmallocUsed:    478420 kB
VmallocChunk: 34359259695 kB
HugePages_Total:     0
HugePages_Free:      0
HugePages_Rsvd:      0
Hugepagesize:     2048 kB

dfbáo cáo không có mức tiêu thụ bộ nhớ lớn từ các tmpfshệ thống tập tin.

Bộ nhớ trên Linux có thể là một con thú kỳ lạ để chẩn đoán và hiểu.

Trong hầu hết các hoạt động bình thường, nếu không phải tất cả, bộ nhớ của bạn sẽ được phân bổ cho nhiệm vụ này hay nhiệm vụ khác. Một số sẽ được phân bổ cho các quy trình tiền cảnh hiện đang chạy. Một số sẽ được lưu trữ dữ liệu lưu trữ từ đĩa. Một số người sẽ giữ dữ liệu liên quan đến các quy trình không tích cực thực hiện tại một thời điểm cụ thể.

Một quy trình trong Linux có không gian địa chỉ ảo riêng (VIRT ở đầu ra top). Điều này chứa tất cả các dữ liệu liên quan đến quá trình và có thể được coi là quá trình "lớn" như thế nào. Tuy nhiên, rất hiếm khi tất cả bộ nhớ đó là một phần tích cực của bản đồ bộ nhớ "thực" (RES ở đầu ra của top). RES, hoặc bộ nhớ lưu trú, là dữ liệu có thể truy cập trực tiếp vào RAM tại thời điểm đó. Sau đó, cũng có bộ nhớ chia sẻ (SHR) trên đó. Điều đó có thể được chia sẻ giữa nhiều trường hợp của cùng một quá trình. Vì vậy, bộ nhớ được sử dụng bởi một quá trình tại bất kỳ thời điểm nào RES cộng với SHR, nhưng nếu có nhiều hơn một phiên bản của quá trình sử dụng bộ nhớ dùng chung thì việc sử dụng là RES cộng với RES cộng với RES ... cộng với SHR.

Vậy tại sao sự khác biệt giữa RES và VIRT? Chắc chắn nếu một tiến trình có một khối bộ nhớ được phân bổ thì đó là bộ nhớ được phân bổ, phải không? Không. Bộ nhớ được phân bổ trong các trang và các trang có thể là Hoạt động hoặc Không hoạt động. Những người tích cực là những gì trong RES. Không hoạt động là "phần còn lại". Chúng có thể bị đẩy sang một bên vì chúng không được truy cập vào lúc này. Điều đó có nghĩa là chúng có thể được hoán đổi ra đĩa nếu bộ nhớ bị hạn chế. Nhưng họ không đi thẳng vào đĩa. Đầu tiên họ ngồi trong một bộ đệm. Bạn không muốn hoán đổi mọi lúc, vì vậy có một bộ đệm giữa ứng dụng và không gian hoán đổi. Các bộ đệm đó liên tục thay đổi khi bộ trao đổi chọn một quy trình khác để thực thi và các trang khác nhau trở nên hoạt động và không hoạt động. Và tất cả điều đó xảy ra là cách nhanh chóng để một người đơn thuần theo kịp.

Và trên hết là bộ đệm đĩa. Bộ nhớ không hoạt động không chỉ chuyển đến bộ đệm, mà khi bộ đệm đó được hoán đổi sang đĩa, trước tiên, nó sẽ chuyển đến bộ đệm đĩa để được xếp hàng để ghi. Vì vậy, đó là một lớp bộ đệm thứ hai trong hỗn hợp. Và các bộ đệm đĩa cũng được sử dụng bởi các bộ phận khác của hệ thống để đệm IO chung. Vì vậy, họ liên tục thay đổi quá.

Vì vậy, những gì bạn đang thấy trong những thứ như topvà freevv là ảnh chụp nhanh tức thì về trạng thái hiện tại của máy hoặc thống kê tổng hợp trong một khoảng thời gian. Vào thời điểm bạn đọc dữ liệu, nó đã lỗi thời.

Bất kỳ một quá trình nào cũng có thể truy cập một lượng lớn bộ nhớ, nhưng hiếm khi có thể làm như vậy. Dù sao thì nó cũng không thể truy cập tất cả bộ nhớ, vì vậy bộ nhớ mà hiện tại nó không nhìn vào được chuyển sang bộ đệm trừ khi nó được gắn cờ cụ thể là "bị khóa trong lõi".

Vì vậy, dung lượng bộ nhớ "được sử dụng" bởi một ứng dụng và dung lượng bộ nhớ mà nó "có" là hai thứ hoàn toàn khác nhau. Phần lớn không gian dữ liệu của ứng dụng thực sự nằm trong bộ đệm, không phải trong bộ nhớ "lõi", nhưng vì bộ nhớ cache nằm trong RAM nên hầu hết thời gian có sẵn và chỉ cần "kích hoạt" để trở thành bộ nhớ "lõi". Đó là trừ khi nó được hoán đổi ra đĩa, khi đó nó cần được giải mã (có thể nhanh nếu nó nằm trong bộ đệm).

Do bản chất của con thú tốc độ cao và thực tế là các con số luôn thay đổi, các con số thậm chí có thể thay đổi một phần thông qua việc tính toán chúng là gì, do đó không bao giờ có thể nói chính xác "đây là bộ nhớ được sử dụng" một quan điểm của người dùng. Meminfo là một ảnh chụp nhanh trong thời gian do kernel cung cấp, nhưng vì đó là kernel đang thực thi nên nó không nhất thiết phải hiển thị trạng thái thực của bất kỳ một quá trình sử dụng bộ nhớ nào, vì không có quá trình nào được thực thi tại thời điểm đó - đó là giữa các tiến trình.

Như tôi đã nói, tất cả đều rất khó hiểu.

Nhưng vào cuối ngày, nó thực sự không thành vấn đề. Vấn đề không phải là bạn có bao nhiêu bộ nhớ "miễn phí", mà là bạn đã sử dụng bao nhiêu dung lượng trao đổi và tần suất trao đổi không gian được truy cập. Đó là sự hoán đổi làm chậm hệ thống, không thiếu bộ nhớ (mặc dù thiếu bộ nhớ gây ra sự hoán đổi quá mức). Nếu bạn có nhiều bộ nhớ đã sử dụng, nhưng bạn không sử dụng bất kỳ dung lượng trao đổi (hoặc rất ít) nào, thì mọi thứ đều bình thường. Nói chung, bộ nhớ trống không phải là mong muốn và thường hoàn toàn là chuyển tiếp, vì nó được sử dụng cho một mục đích, nhưng chưa được phân bổ cho mục đích khác - ví dụ, đó là bộ nhớ cache và được đổi sang đĩa, nhưng nó chưa được sử dụng cho bất cứ điều gì khác, hoặc đó là bộ đệm đĩa, bộ đệm đã được xóa vào đĩa, nhưng chưa có ứng dụng nào yêu cầu nó cho bộ đệm.

Đây là một phần của câu trả lời:

Có một sự khác biệt giữa những gì được chỉ định là bộ nhớ "Được sử dụng" (trong lệnh "miễn phí") và "Bộ nhớ được phân bổ cho các quy trình (người dùng) đang hoạt động" (trong / Proc / meminfo). Ok, vậy là hệ thống của bạn có tổng cộng 48049 MB (khoảng 47Gb)

Nếu bạn nhìn vào / Proc / meminfo, bạn sẽ thấy: Không hoạt động: 17296272 kB = (khoảng 16,5 Gb) - Bộ nhớ không hoạt động có thể là từ các quá trình đã kết thúc. Nó cũng có thể là bộ nhớ không được sử dụng trong một thời gian dài bởi một quá trình đang hoạt động. Bộ nhớ không được "giải phóng" chỉ vì quá trình kết thúc. Tại sao? bởi vì nó làm việc nhiều hơn Cùng một trang bộ nhớ có thể được sử dụng lại, do đó, nhân linux chỉ để dữ liệu ở đó trong danh sách "không hoạt động" cho đến khi một tiến trình cần nó.

Trang này giải thích một số điều đó. http://careers.directi.com/display/tu/Under Hiểu + and + optimizing + Memory + sử dụng ; Đọc phần trên PFRA (Thuật toán lấy lại khung trang) được sử dụng bởi nhân Linux: "Các trang được bao gồm trong bộ nhớ cache và bộ nhớ không được tham chiếu bởi bất kỳ quy trình nào nên được lấy lại trước khi các trang thuộc không gian địa chỉ Chế độ người dùng của các quy trình" "Lấy lại" nghĩa là chuyển chúng ra khỏi "đã sử dụng" (không hoạt động + hoạt động) và thành "miễn phí".

Điều này giải thích việc quản lý bộ nhớ chi tiết hơn: Cách danh sách hoạt động và không hoạt động và cách các trang di chuyển giữa chúng https://www.cs.columbia.edu/~smb/groupes/s06-4118/l19.pdf

Tôi tin rằng cũng có bộ nhớ được sử dụng bởi kernel cho cấu trúc dữ liệu và điều này hiển thị dưới dạng "phiến 1049464 kb" (~ 1 GB) tôi tin, nhưng không tích cực rằng điều này được tính riêng.

Bạn có sử dụng NFS không?
Nó có thể là giá trị chạy slabtop -omột trong hai cách, nfs_inode_cachecó thể ra khỏi tầm tay.

Con số bạn nên xem là trao đổi được sử dụng , trong đầu ra của bạn là "0" có nghĩa là bạn KHÔNG hết RAM. Miễn là hệ thống của bạn không hoán đổi bộ nhớ, bạn không nên lo lắng về các số liệu khác, điều này rất khó diễn giải.

Chỉnh sửa: Ok, có vẻ như câu trả lời của tôi đang được coi là khó hiểu hơn là súc tích. Vì vậy, hãy để tôi giải thích.

Tôi đoán vấn đề chính ở đây là trong việc diễn giải đầu ra của top / ps, điều này không chính xác lắm. Ví dụ như nhiều công dụng của các thư viện chia sẻ cùng không được tính như bạn mong đợi, thấy ví dụ http://virtualthreads.blogspot.ch/2006/02/understanding-memory-usage-on-linux.html

Tuy nhiên, điều chính xác là nếu kích thước trao đổi chính xác bằng 0, thì hệ thống của bạn vẫn chưa hết bộ nhớ. Tất nhiên, đó là một tuyên bố rất khóa học, nhưng để định hình hệ thống sử dụng bộ nhớ thực tế của bạn, hàng đầu sẽ không phải là điều đúng đắn. (Và nếu bạn nhìn từ trên xuống, ít nhất hãy sắp xếp đầu ra cho virt hoặc% mem.)

Xem thêm http://elinux.org/R.78_Memory_Measairs