RandomForest của R không thể xử lý hơn 32 cấp độ. Cách giải quyết là gì?

Gói RandomForest của R không thể xử lý hệ số với hơn 32 cấp độ. Khi được đưa ra hơn 32 cấp độ, nó sẽ phát ra một thông báo lỗi:

Không thể xử lý các dự đoán phân loại với hơn 32 loại.

Nhưng dữ liệu tôi có một số yếu tố. Một số trong số họ có hơn 1000 cấp độ và một số trong số họ có hơn 100 cấp độ. Nó thậm chí còn có 'trạng thái' của các quốc gia thống nhất là 52.

Vì vậy, đây là câu hỏi của tôi.

1. Tại sao có giới hạn như vậy? RandomForest từ chối chạy ngay cả đối với trường hợp đơn giản.

   > d <- data.frame(x=factor(1:50), y=1:50)
   > randomForest(y ~ x, data=d)
     Error in randomForest.default(m, y, ...) : 
     Can not handle categorical predictors with more than 32 categories.
   

   Nếu nó chỉ đơn giản là do giới hạn bộ nhớ, làm thế nào scikit có thể tìm hiểu RandomForeestRegressor với hơn 32 cấp độ?

2. Cách tốt nhất để xử lý vấn đề này là gì? Giả sử rằng tôi có các biến độc lập X1, X2, ..., X50 và Y là biến phụ thuộc. Và giả sử rằng X1, X2 và X3 có hơn 32 cấp độ. Tôi nên làm gì?

   Điều tôi nghĩ là đang chạy thuật toán phân cụm cho từng X1, X2 và X3 trong đó khoảng cách được xác định là khác nhau trong Y. Tôi sẽ chạy ba cụm vì có ba biến có vấn đề. Và trong mỗi cụm, tôi ước tôi có thể tìm thấy các cấp độ tương tự. Và tôi sẽ hợp nhất chúng.

   Làm thế nào để âm thanh này?

Nó thực sự là một ràng buộc khá hợp lý bởi vì sự phân chia trên một yếu tố với mức thực sự là một lựa chọn của một trong kết hợp có thể. Vì vậy, ngay cả với như 25, không gian của các kết hợp là rất lớn đến mức suy luận như vậy có ý nghĩa nhỏ.$N$$2^N-2$$N$

Hầu hết các triển khai khác chỉ đơn giản coi yếu tố là một thứ tự (tức là số nguyên từ 1 đến ), và đây là một lựa chọn làm thế nào bạn có thể giải quyết vấn đề này. Trên thực tế RF thường đủ khôn ngoan để cắt điều này thành các nhóm tùy ý với một số phân tách.$N$

Tùy chọn khác là thay đổi đại diện - có thể kết quả của bạn không phụ thuộc trực tiếp vào thực thể nhà nước, nhưng, ví dụ, diện tích, dân số, số cây thông trên đầu người hoặc (các) thuộc tính khác mà bạn có thể cắm vào hệ thống thông tin của mình.

Cũng có thể là mỗi tiểu bang là một thực thể cô lập và không tương quan đến mức nó đòi hỏi một mô hình riêng cho chính nó.

Phân cụm dựa trên một quyết định có lẽ là một ý tưởng tồi bởi vì cách này bạn đang chuyển thông tin từ quyết định thành các thuộc tính, thường kết thúc bằng việc thừa.

Lý do chính là cách RandomForest được thực hiện. Việc thực hiện từ R tuân theo rất nhiều từ thông số kỹ thuật ban đầu của Breiman. Điều quan trọng ở đây cần lưu ý là đối với các biến nhân tố / phân loại, tiêu chí phân chia là nhị phân với một số giá trị nhãn ở bên trái và các giá trị nhãn còn lại ở bên phải.

$0$$1$$[0;2^M-1]$

Tại sao các triển khai từ Weka và Python hoạt động?

Việc triển khai weka không sử dụng cây GIỎI theo mặc định. Nó sử dụng các cây C45 không có vấn đề tính toán này, vì đối với các đầu vào phân loại, nó phân chia thành nhiều nút, một cho mỗi giá trị cấp.

Việc thực hiện rừng ngẫu nhiên python không thể sử dụng các biến phân loại / yếu tố. Bạn phải mã hóa các biến đó thành các biến giả hoặc biến số.

$M$

Bạn có thể thử biểu diễn một cột khác nhau. Bạn có thể biểu thị cùng một dữ liệu như một khung dữ liệu thưa thớt.

Mã khả thi tối thiểu;

example <- as.data.frame(c("A", "A", "B", "F", "C", "G", "C", "D", "E", "F"))
names(example) <- "strcol"

for(level in unique(example$strcol)){
      example[paste("dummy", level, sep = "_")] <- ifelse(example$strcol == level,     1, 0)
}

Lưu ý cách mỗi giá trị trong cột ban đầu trở thành một cột giả riêng biệt.

Mã ví dụ mở rộng hơn;

set.seed(0)
combs1 = sample.int(33, size= 10000, replace=TRUE)
combs2 = sample.int(33, size= 10000, replace=TRUE)
combs3 = combs1 * combs2 + rnorm(10000,mean=0,100)
df_hard = data.frame(y=combs3, first=factor(combs1), second=factor(combs2))

for(level in unique(df_hard$first)){
    df_hard[paste("first", level, sep = "_")] <- ifelse(df_hard$first == level, 1, 0)
}

for(level in unique(df_hard$second)){
    df_hard[paste("second", level, sep = "_")] <- ifelse(df_hard$second == level, 1, 0)
}

example$first <- NULL
example$second <- NULL

rf_mod = randomForest( y ~ ., data=example )

Mặc dù đoạn mã này cho thấy bạn thực sự sẽ không còn gặp lỗi nữa, bạn sẽ nhận thấy rằng thuật toán RandomForest bây giờ cần một thời gian dài trước khi nó kết thúc. Điều này là do hạn chế của CPU, bạn cũng có thể lập bản đồ giảm tác vụ này thông qua lấy mẫu.

Để biết thêm thông tin xin vui lòng kiểm tra blogpost này:

https://blog.cloudera.com/blog/2013/02/how-to-resample-from-a-large-data-set-in-pool-with-r-on-hadoop/

Bạn có thể sử dụng gói ExtraTrees thay thế. Thuật toán rừng ngẫu nhiên cực kỳ không thử bất kỳ điểm dừng / phân tách nào, mà chỉ là một tập hợp con ngẫu nhiên giới hạn của các phần tách.

Một tùy chọn khác: tùy thuộc vào số lượng cấp độ và số lượng quan sát trong dữ liệu của bạn, bạn có thể hợp nhất một số cấp độ. Ngoài việc vượt quá giới hạn, nó có thể làm giảm phương sai nếu bạn có nhiều cấp độ chỉ với một vài quan sát. Hadley là forcats: fct_lump thực hiện điều này.