Có thư viện nào có sẵn cho các phương thức giống GIỎI bằng cách sử dụng các dự đoán và phản hồi thưa thớt không?

Tôi đang làm việc với một số tập dữ liệu lớn bằng gói gbm trong R. Cả ma trận dự đoán và vectơ phản hồi của tôi đều khá thưa thớt (tức là hầu hết các mục đều bằng 0). Tôi đã hy vọng xây dựng cây quyết định bằng thuật toán tận dụng sự thưa thớt này, như đã được thực hiện ở đây ). Trong bài báo đó, như trong tình huống của tôi, hầu hết các mục chỉ có một vài trong số nhiều tính năng có thể, vì vậy chúng có thể tránh được nhiều tính toán lãng phí bằng cách giả sử rằng các mục của chúng thiếu một tính năng nhất định trừ khi dữ liệu nói khác đi. Hy vọng của tôi là tôi có thể có được một sự tăng tốc tương tự bằng cách sử dụng loại thuật toán này (và sau đó gói một thuật toán tăng cường xung quanh nó để cải thiện độ chính xác dự đoán của tôi).

Vì dường như họ không xuất bản mã của họ, tôi đã tự hỏi liệu có bất kỳ gói hoặc thư viện nguồn mở nào (bằng bất kỳ ngôn ngữ nào) được tối ưu hóa cho trường hợp này không. Lý tưởng nhất, tôi muốn thứ gì đó có thể lấy một ma trận thưa thớt trực tiếp từ Matrixgói của R , nhưng tôi sẽ lấy những gì tôi có thể nhận được.

Tôi đã nhìn xung quanh và có vẻ như những thứ này nên ở ngoài đó:

• Các nhà hóa học dường như gặp phải vấn đề này rất nhiều (bài báo tôi liên kết ở trên là về việc tìm kiếm các hợp chất thuốc mới), nhưng các triển khai tôi có thể tìm thấy là độc quyền hoặc chuyên môn cao để phân tích hóa học. Tuy nhiên, một trong số chúng có thể được tái mục đích.

• Phân loại tài liệu dường như cũng là một lĩnh vực mà việc học từ các không gian đặc trưng thưa thớt là hữu ích (hầu hết các tài liệu không chứa hầu hết các từ). Ví dụ, có một tài liệu tham khảo xiên cho việc triển khai thưa thớt C4.5 (thuật toán giống GIỎI) trong bài viết này , nhưng không có mã.

• Theo danh sách gửi thư , WEKA có thể chấp nhận dữ liệu thưa thớt, nhưng không giống như phương pháp trong bài báo tôi đã liên kết ở trên, WEKA không được tối ưu hóa để thực sự tận dụng lợi thế của nó để tránh lãng phí chu kỳ CPU.

Cảm ơn trước!

Tôi muốn thấy một điểm chuẩn về việc triển khai thưa thớt của họ so với các triển khai GIỎ HÀNG hiện đại được sử dụng trong rf. Bài báo đó khá cũ về những tiến bộ trong lĩnh vực này và tôi sẽ ngạc nhiên nếu nó vẫn cung cấp tốc độ đáng kể.

Một phần lý do là việc sử dụng thuật toán sắp xếp thông minh như Quicksort trong tìm kiếm phân tách có thể cung cấp hiệu suất gần O (n) cho các tính năng gần như không đổi (bao gồm cả các tính năng thưa thớt). Việc triển khai nhanh cũng theo dõi khi một tính năng trở nên không đổi trong một nhánh của cây và không còn được kiểm tra nữa. Các biểu diễn tính năng dày đặc cung cấp tra cứu nhanh theo kiểu thân thiện với bộ đệm cpu, do đó bạn cần một biểu diễn thưa thớt thực sự thông minh để giành chiến thắng trong các chu kỳ cpu.

Điều này được thảo luận ở đây , ở đây , ở đây .

Tôi thực sự đã triển khai biểu diễn dữ liệu thưa thớt tại một điểm trong gói rf CloudForest của mình nhưng thấy nó chậm hơn sau đó là sự biểu hiện dày đặc của dữ liệu và từ bỏ mặc dù nó mang lại một số lợi thế về bộ nhớ.

Đề nghị của tôi sẽ là thử scikit learn hoặc cloudforest được xây dựng để tăng cường công cụ và xem nó có đủ nhanh không. Cả hai có thể được mở rộng với tiêu chí tăng tùy chỉnh nếu bạn muốn làm một cái gì đó không chuẩn. (Tôi thực sự đã viết cloudforest ban đầu để làm việc với các tập dữ liệu di truyền lớn, có chiều cao rất giống với những gì bạn đang mô tả).

Có lẽ có một chút cơ hội cho bất kỳ mã nào sẽ tận dụng lợi thế đó - bạn muốn tự mình viết một cái gì đó.
Tuy nhiên, tùy chọn khác là chuyển đổi dữ liệu của bạn để giảm kích thước dữ liệu của bạn loại bỏ thông tin dư thừa. Thật khó để nói làm thế nào mà không có thông tin về dữ liệu của bạn, nhưng có lẽ bạn có thể hợp nhất một số tính năng mà bạn biết không trùng lặp, các phần PCA của nó hoặc thay đổi đại diện của một số mô tả? Ngoài ra, nếu bạn nói rằng phản hồi của bạn cũng thưa thớt, có thể hợp lý khi hạ thấp các đối tượng có 0 trong phản hồi?

Bạn đã xem caretgói trong R? Nó cung cấp một giao diện giúp sử dụng nhiều mô hình dễ dàng hơn, bao gồm một số mô hình để phân vùng đệ quy như rpart, ctreevà ctree2.