Quản lý bộ nhớ R / không thể phân bổ vectơ kích thước n Mb

Tôi đang gặp vấn đề khi cố gắng sử dụng các đối tượng lớn trong R. Ví dụ:

> memory.limit(4000)
> a = matrix(NA, 1500000, 60)
> a = matrix(NA, 2500000, 60)
> a = matrix(NA, 3500000, 60)
Error: cannot allocate vector of size 801.1 Mb
> a = matrix(NA, 2500000, 60)
Error: cannot allocate vector of size 572.2 Mb # Can't go smaller anymore
> rm(list=ls(all=TRUE))
> a = matrix(NA, 3500000, 60) # Now it works
> b = matrix(NA, 3500000, 60)
Error: cannot allocate vector of size 801.1 Mb # But that is all there is room for

Tôi hiểu rằng điều này có liên quan đến khó khăn trong việc có được các khối bộ nhớ liền kề (từ đây ):

Thông báo lỗi bắt đầu không thể phân bổ vectơ kích thước biểu thị lỗi không lấy được bộ nhớ, vì kích thước vượt quá giới hạn không gian địa chỉ cho một quy trình hoặc, nhiều khả năng, vì hệ thống không thể cung cấp bộ nhớ. Lưu ý rằng trên bản dựng 32 bit, có thể có đủ bộ nhớ trống, nhưng không phải là một khối không gian địa chỉ liền kề đủ lớn để ánh xạ nó.

Làm sao để tôi có được xung quanh này? Khó khăn chính của tôi là tôi đến một điểm nhất định trong kịch bản của mình và R không thể phân bổ 200-300 Mb cho một đối tượng ... Tôi thực sự không thể phân bổ trước khối vì tôi cần bộ nhớ để xử lý khác. Điều này xảy ra ngay cả khi tôi khéo léo loại bỏ các vật thể không cần thiết.

EDIT: Có, xin lỗi: Windows XP SP3, RAM 4Gb, R 2.12.0:

> sessionInfo()
R version 2.12.0 (2010-10-15)
Platform: i386-pc-mingw32/i386 (32-bit)

locale:
[1] LC_COLLATE=English_Caribbean.1252  LC_CTYPE=English_Caribbean.1252   
[3] LC_MONETARY=English_Caribbean.1252 LC_NUMERIC=C                      
[5] LC_TIME=English_Caribbean.1252    

attached base packages:
[1] stats     graphics  grDevices utils     datasets  methods   base

Xem xét liệu bạn có thực sự cần tất cả dữ liệu này một cách rõ ràng, hoặc ma trận có thể thưa thớt không? Có hỗ trợ tốt trong R (xem Matrixgói ví dụ) cho ma trận thưa thớt.

Giữ tất cả các quá trình và đối tượng khác trong R ở mức tối thiểu khi bạn cần tạo các đối tượng có kích thước này. Sử dụng gc()để xóa bộ nhớ hiện không sử dụng hoặc tốt hơn là chỉ tạo đối tượng bạn cần trong một phiên .

Nếu những điều trên không thể giúp được, hãy lấy một máy 64 bit có nhiều RAM nhất có thể và cài đặt R. 64 bit.

Nếu bạn không thể làm điều đó, có nhiều dịch vụ trực tuyến cho máy tính từ xa.

Nếu bạn không thể làm điều đó, các công cụ ánh xạ bộ nhớ như gói ff(hoặc bigmemorynhư đề cập của Sascha) sẽ giúp bạn xây dựng một giải pháp mới. Theo kinh nghiệm hạn chế của tôi fflà gói nâng cao hơn, nhưng bạn nên đọc High Performance Computingchủ đề trên CRAN Nhiệm vụ xem.

Đối với người dùng Windows, những điều sau đây đã giúp tôi hiểu được một số hạn chế về bộ nhớ:

• trước khi mở R, hãy mở Trình giám sát tài nguyên Windows (Ctrl-Alt-Delete / Khởi động Trình quản lý tác vụ / tab Hiệu suất / nhấp vào nút dưới cùng 'Trình giám sát tài nguyên' / tab Bộ nhớ)
• bạn sẽ thấy bộ nhớ RAM chúng tôi đã sử dụng bao nhiêu trước khi bạn mở R và bằng ứng dụng nào. Trong trường hợp của tôi, 1,6 GB trong tổng số 4GB được sử dụng. Vì vậy, tôi sẽ chỉ có thể nhận được 2,4 GB cho R, nhưng bây giờ tệ hơn ...
• mở R và tạo bộ dữ liệu 1,5 GB, sau đó giảm kích thước xuống 0,5 GB, Trình theo dõi tài nguyên cho thấy RAM của tôi được sử dụng ở mức gần 95%.
• sử dụng gc()để thu gom rác => nó hoạt động, tôi có thể thấy bộ nhớ sử dụng giảm xuống còn 2 GB

Lời khuyên bổ sung hoạt động trên máy của tôi:

• chuẩn bị các tính năng, lưu dưới dạng tệp RData, đóng R, mở lại R và tải các tính năng của tàu. Trình quản lý tài nguyên thường hiển thị mức sử dụng Bộ nhớ thấp hơn, có nghĩa là ngay cả gc () cũng không phục hồi tất cả bộ nhớ có thể và đóng / mở lại R hoạt động tốt nhất để bắt đầu với bộ nhớ tối đa khả dụng .
• mẹo khác là chỉ tải bộ tàu để đào tạo (không tải bộ kiểm tra, thường có thể bằng một nửa kích thước của bộ tàu). Giai đoạn đào tạo có thể sử dụng bộ nhớ đến mức tối đa (100%), vì vậy mọi thứ có sẵn đều hữu ích. Tất cả điều này là để lấy một hạt muối khi tôi đang thử nghiệm giới hạn bộ nhớ R.

Đây là một bài thuyết trình về chủ đề này mà bạn có thể thấy thú vị:

http://www.bytemining.com/2010/08/taking-r-to-the-limit-part-ii-large-datasets-in-r/

Tôi đã không tự mình thử những thứ được thảo luận, nhưng bigmemorygói có vẻ rất hữu ích

Cách đơn giản nhất để vượt qua giới hạn này là chuyển sang 64 bit R.

Tôi đã gặp một vấn đề tương tự và tôi đã sử dụng 2 ổ đĩa flash là 'ReadyBoost'. Hai ổ đĩa đã tăng thêm 8GB bộ nhớ (cho bộ nhớ cache) và nó đã giải quyết vấn đề và cũng tăng tốc độ của toàn bộ hệ thống. Để sử dụng Readyboost, nhấp chuột phải vào ổ đĩa, đi đến thuộc tính và chọn 'ReadyBoost' và chọn 'sử dụng nút radio của thiết bị này và nhấp vào áp dụng hoặc ok để định cấu hình.

Tôi đã theo dõi trang trợ giúp của memor.limit và phát hiện ra rằng trên máy tính R của tôi theo mặc định có thể sử dụng tới ~ 1,5 GB RAM và người dùng có thể tăng giới hạn này. Sử dụng mã sau đây,

>memory.limit()
[1] 1535.875
> memory.limit(size=1800)

đã giúp tôi giải quyết vấn đề của mình.

Nếu bạn đang chạy tập lệnh của mình ở môi trường linux, bạn có thể sử dụng lệnh này:

bsub -q server_name -R "rusage[mem=requested_memory]" "Rscript script_name.R"

và máy chủ sẽ phân bổ bộ nhớ được yêu cầu cho bạn (theo giới hạn của máy chủ, nhưng với máy chủ tốt - có thể sử dụng phương thức ôm)

Phương pháp lưu / tải được đề cập ở trên làm việc cho tôi. Tôi không chắc làm thế nào / nếu gc()chống phân mảnh bộ nhớ nhưng điều này dường như hoạt động.

# defrag memory 
save.image(file="temp.RData")
rm(list=ls())
load(file="temp.RData")