Máy Boltzmann bị hạn chế cho hồi quy?


13

Tôi đang theo dõi câu hỏi tôi đã hỏi trước đó về RBM . Tôi thấy rất nhiều tài liệu mô tả chúng nhưng không có tài liệu nào thực sự nói về hồi quy (thậm chí không phân loại với dữ liệu được dán nhãn). Tôi có cảm giác rằng nó chỉ được sử dụng cho dữ liệu không ghi nhãn. Có bất kỳ nguồn lực để xử lý hồi quy? Hay nó đơn giản như việc thêm một lớp khác lên trên lớp ẩn và chạy thuật toán CD lên xuống? Cảm ơn nhiều trước.

Câu trả lời:


18

Bạn đúng về dữ liệu không nhãn. RBM là mô hình thế hệ và được sử dụng phổ biến nhất là người học không giám sát.

Khi được sử dụng để xây dựng Mạng lưới niềm tin sâu sắc, quy trình điển hình nhất là chỉ cần huấn luyện từng RBM mới mỗi lần khi chúng được xếp chồng lên nhau. Vì vậy, sự phân kỳ tương phản không đi lên và xuống theo nghĩa mà tôi nghĩ bạn muốn nói. Nó chỉ hoạt động với một RBM tại một thời điểm, sử dụng lớp ẩn của RBM trên cùng trước đó làm đầu vào cho RBM trên cùng mới. Sau tất cả những điều này, bạn có thể coi chồng các trọng số RBM là các trọng số ban đầu cho một mạng nơ ron chuyển tiếp nguồn cấp dữ liệu tiêu chuẩn và huấn luyện bằng cách sử dụng dữ liệu được gắn nhãn và sao lưu của bạn hoặc làm một cái gì đó kỳ lạ hơn như sử dụng thuật toán đánh thức giấc ngủ. Lưu ý rằng chúng tôi đã không sử dụng bất kỳ dữ liệu được dán nhãn nào cho đến bước cuối cùng này, đó là một trong những lợi ích của các loại mô hình này.

Mặt khác, có một số cách bạn có thể sử dụng RBM để phân loại.

  • Huấn luyện một RBM hoặc một chồng nhiều RBM. Sử dụng lớp ẩn trên cùng làm đầu vào cho một số người học được giám sát khác.
  • Huấn luyện RBM cho mỗi lớp và sử dụng năng lượng không chuẩn hóa làm đầu vào cho phân loại phân biệt đối xử.
  • Huấn luyện RBM trở thành mô hình mật độ chung của P (X, Y). Sau đó đưa ra một số đầu vào x, chỉ cần chọn lớp y làm giảm thiểu hàm năng lượng (chuẩn hóa không phải là vấn đề ở đây như ở trên vì hằng số Z là giống nhau cho tất cả các lớp).
  • Huấn luyện một RBM phân biệt đối xử

Tôi đặc biệt khuyên bạn nên đọc qua báo cáo kỹ thuật Hướng dẫn thực hành về đào tạo các máy Boltzmann bị hạn chế của Geoff Hinton. Nó thảo luận về một số vấn đề này chi tiết hơn nhiều, cung cấp các mẹo vô giá, trích dẫn nhiều giấy tờ liên quan và có thể giúp làm sáng tỏ mọi sự nhầm lẫn khác mà bạn có thể có.


1
Vì vậy, RBM có thể được sử dụng cho hồi quy?
ispinator

Làm thế nào để bạn đào tạo một RBM để trở thành một mô hình mật độ chung? Bằng cách cung cấp cả X và Y làm đầu vào không ẩn, tức là bạn huấn luyện nó thành P (X, Y | H) (H là lớp ẩn)?
AkiRoss

Tôi tự trả lời nhận xét của mình: có, trong "hướng dẫn thực hành đào tạo RBM" (Hinton, 2010), 3 phương pháp được mô tả ở trên được giải thích chi tiết và, trong phương pháp thứ 3, ông nói về việc có "hai bộ hiển thị đơn vị ", trong đó, ngoài dữ liệu, một đơn vị nhãn softmax được trình bày để đại diện cho lớp.
AkiRoss

2

Vui lòng xem triển khai, http://code.google.com.vn/p/matrbm/ . Nó có một chức năng phù hợp phân loại rmb đáng xem xét. Đồng thời cho tôi biết nếu bạn tìm thấy triển khai DBN và Nhân dân tệ tốt hơn để phân loại và hồi quy.


0

Tôi nghĩ rằng một cách bạn có thể kiểm tra các mạng thần kinh như Máy Boltzman bị hạn chế (RBM) là áp dụng chúng cho các bộ dữ liệu mới, hoặc phổ biến hơn là một tập hợp con của tổng bộ dữ liệu và xem cách chúng thực hiện. Bạn cũng có thể kiểm tra mô hình với xác nhận chéo. Tôi đã sử dụng bộ công cụ phần mềm học máy nguồn mở (ML) phổ biến, dễ cài đặt và sử dụng, và nó cho phép bạn dễ dàng kiểm tra nhiều loại thuật toán ML riêng biệt với một số thống kê hồi quy của mô hình ( http: // www. cs.waikato.ac.nz/ml/weka/ ). Điều đó có thể cung cấp cho bạn một phân tích nhanh mà không cần can thiệp nhiều ngoại trừ những điều cơ bản khi chạy chương trình, mặc dù tùy thuộc vào nó có thể không có giá trị nếu nó sẽ khó định dạng dữ liệu của bạn (mặc dù bạn thường có thể google "csv để chuyển đổi trực tuyến" cho định dạng một bước).

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.