Cách tối ưu hóa tập lệnh R của tôi để sử dụng đa phương tiện

Tôi đang sử dụng GNU R tại PC Ubuntu-Lucid có 4 CPU. Để sử dụng tất cả 4 CPU, tôi đã cài đặt gói "r-cran-multicore". Vì hướng dẫn sử dụng gói thiếu các ví dụ thực tế mà tôi hiểu, tôi cần lời khuyên về cách tối ưu hóa tập lệnh của mình để sử dụng cả 4 CPU.

Tập dữ liệu của tôi là data.frame (được gọi là P1) có 50.000 hàng và 1600 cols. Đối với mỗi hàng, tôi muốn tính maximun, sum và mean. Kịch bản của tôi trông như sau:

p1max <- 0
p1mean <- 0
p1sum <-0
plength <- length(P1[,1])
for(i in 1:plength){
   p1max <- c(p1max, max(P1[i,]))
   p1mean <- c(p1mean, mean(P1[i,]))
   p1sum <- c(p1sum, sum(P1[i,]))
}

Ai đó có thể vui lòng cho tôi biết cách sửa đổi và chạy tập lệnh để sử dụng cả 4 CPU không?

Sử dụng foreach và doMC . Giải thích chi tiết có thể được tìm thấy ở đây . Kịch bản của bạn sẽ thay đổi rất ít, dòng

for(i in 1:plength){

nên được đổi thành

foreach(i=1:plength) %dopar% { 

Điều kiện tiên quyết cho mọi tập lệnh đa nhiệm sử dụng các gói này là

library(foreach)
library(doMC)
registerDoMC()

Lưu ý thận trọng. Theo tài liệu bạn không thể sử dụng trong GUI.

Đối với vấn đề của bạn, bạn có thực sự cần đa nhiệm? Data.frame của bạn cần khoảng 1,2 GB RAM, vì vậy nó sẽ phù hợp với bộ nhớ của bạn. Vì vậy, bạn chỉ có thể sử dụng áp dụng:

p1smry <- apply(P1,1,summary)

Kết quả sẽ là một ma trận với các bản tóm tắt của mỗi hàng.

Bạn cũng có thể sử dụng hàm mclapply trong gói đa lõi. Sau đó, kịch bản của bạn có thể trông như thế này:

loopfun <- function(i) {
     summary(P1[i,])
}

res <- mclapply(1:nrow(P1),loopfun)

Điều này sẽ trả về danh sách, trong đó phần tử thứ i sẽ là tóm tắt của hàng thứ i. Bạn có thể chuyển đổi nó thành ma trận bằng cách sử dụng sapply

mres <- sapply(res,function(x)x)

Bạn đã có câu trả lời về cách sử dụng nhiều hơn một lõi, nhưng vấn đề thực sự nằm ở cách bạn viết các vòng lặp. Không bao giờ mở rộng vectơ kết quả / đối tượng của bạn tại mỗi lần lặp của một vòng lặp . Nếu bạn làm điều này, bạn buộc R sao chép vectơ / đối tượng kết quả của bạn và mở rộng nó mà tất cả đều mất thời gian. Thay vào đó, hãy phân bổ đủ không gian lưu trữ trước khi bạn bắt đầu vòng lặp và điền vào khi bạn đi cùng. Đây là một ví dụ:

set.seed(1)
p1 <- matrix(rnorm(10000), ncol=100)
system.time({
p1max <- p1mean <- p1sum <- numeric(length = 100)
for(i in seq_along(p1max)){
   p1max[i] <- max(p1[i,])
   p1mean[i] <- mean(p1[i,])
   p1sum[i ]<- sum(p1[i,])
}
})

   user  system elapsed 
  0.005   0.000   0.005

Hoặc bạn có thể làm những điều này thông qua apply():

system.time({
p1max2 <- apply(p1, 1, max)
p1mean2 <- apply(p1, 1, mean)
p1sum2 <- apply(p1, 1, sum)
})
   user  system elapsed 
  0.007   0.000   0.006 

Nhưng lưu ý rằng đây là không nhanh hơn làm vòng lặp đúng và đôi khi chậm hơn.

Tuy nhiên, luôn luôn đề phòng mã vector. Bạn có thể thực hiện tổng hàng và phương tiện bằng cách sử dụng rowSums()và rowMeans()nhanh hơn so với vòng lặp hoặc applyphiên bản:

system.time({
p1max3 <- apply(p1, 1, max)
p1mean3 <- rowMeans(p1)
p1sum3 <- rowSums(p1)
})

   user  system elapsed 
  0.001   0.000   0.002 

Nếu tôi là người cá cược, tôi sẽ có tiền cho cách tiếp cận thứ ba mà tôi đề cập đến việc đánh bại foreach()hoặc các tùy chọn đa lõi khác trong bài kiểm tra tốc độ trên ma trận của bạn bởi vì họ sẽ phải tăng tốc đáng kể để biện minh cho chi phí phát sinh trong việc thiết lập các quy trình riêng biệt được trang bị các lõi CPU khác nhau.

Cập nhật: Theo nhận xét từ @shabbychef, có nhanh hơn để thực hiện các khoản tiền một lần và sử dụng lại trong tính toán của giá trị trung bình không?

system.time({
    p1max4 <- apply(p1, 1, max)
    p1sum4 <- rowSums(p1)
    p1mean4 <- p1sum4 / ncol(p1)
    })

   user  system elapsed 
  0.002   0.000   0.002

Không phải trong lần chạy thử này, nhưng điều này còn lâu mới ...

Có một cái nhìn vào các gói tuyết và tuyết rơi . Rất nhiều ví dụ với những ...

Nếu bạn muốn tăng tốc mã cụ thể đó thay vì tìm hiểu về R và song song, bạn nên làm điều này

P1 = matrix(rnorm(1000), ncol=10, nrow=10
apply(P1, 1, max)
apply(P1, 1, mean)
apply(P1, 1, sum)