Chỉ số hiệu suất để đánh giá việc học tập không giám sát


49

Đối với việc học tập không giám sát (như phân cụm), có số liệu nào để đánh giá hiệu suất không?



4
Tôi nghĩ rằng câu hỏi này là chung chung hơn câu hỏi đó, vì vậy tôi đang bỏ phiếu để bỏ ngỏ này.
Peter Flom - Tái lập Monica

Tôi đã có cùng một câu hỏi mà bạn có, và có một số tài liệu tham khảo (chưa đọc hoàn toàn) có liên quan: Một khảo sát về Đo lường hiệu lực nội bộ để xác thực cụm L.Jegatha Deborah, R.Baskaran, A.Kannan và Kỹ thuật đo lường hiệu lực của cụm Ferenc Kovács, Csaba Legány, Attila Babos
kasterma

Câu trả lời:


44

Trong một số ý nghĩa tôi nghĩ rằng câu hỏi này là không thể trả lời. Tôi nói điều này bởi vì một phương pháp không giám sát cụ thể thực hiện tốt như thế nào phần lớn sẽ phụ thuộc vào lý do tại sao người ta thực hiện việc học tập không giám sát ở nơi đầu tiên, tức là phương pháp đó có thực hiện tốt trong bối cảnh mục tiêu cuối cùng của bạn không? Rõ ràng điều này không hoàn toàn đúng, mọi người làm việc với những vấn đề này và công bố kết quả bao gồm một số loại đánh giá. Tôi sẽ phác thảo một vài cách tiếp cận mà tôi quen thuộc dưới đây.

Một tài nguyên tốt (có tài liệu tham khảo) để phân cụm là trang tài liệu của sklearn, Đánh giá hiệu suất phân cụm . Điều này bao gồm một số phương pháp, nhưng tất cả trừ một, Hệ số Silhouette, giả định nhãn sự thật mặt đất có sẵn. Phương pháp này cũng được đề cập trong câu hỏi Đánh giá biện pháp phân cụm , được liên kết trong các ý kiến ​​cho câu hỏi này.

Nếu phương pháp học tập không giám sát của bạn là xác suất, thì một lựa chọn khác là đánh giá một số biện pháp xác suất (khả năng đăng nhập, sự bối rối, v.v.) trên dữ liệu được tổ chức. Động lực ở đây là nếu phương pháp học tập không giám sát của bạn gán xác suất cao cho dữ liệu tương tự không được sử dụng để phù hợp với các tham số, thì có lẽ nó đã thực hiện tốt việc nắm bắt phân phối lợi ích. Một miền mà loại đánh giá này thường được sử dụng là mô hình hóa ngôn ngữ.

Tùy chọn cuối cùng tôi sẽ đề cập là sử dụng một người học được giám sát trong một nhiệm vụ phụ trợ liên quan. Nếu phương pháp không giám sát của bạn tạo ra các biến tiềm ẩn, bạn có thể nghĩ các biến tiềm ẩn này là đại diện cho đầu vào. Do đó, có thể sử dụng các biến tiềm ẩn này làm đầu vào cho phân loại được giám sát thực hiện một số tác vụ liên quan đến miền mà dữ liệu được lấy từ đó. Hiệu suất của phương pháp được giám sát sau đó có thể đóng vai trò thay thế cho hiệu suất của người học không được giám sát. Đây thực chất là thiết lập mà bạn thấy trong hầu hết các công việc về học tập đại diện.

Mô tả này có lẽ hơi mơ hồ, vì vậy tôi sẽ đưa ra một ví dụ cụ thể. Gần như tất cả các công việc về học tập đại diện từ sử dụng cách tiếp cận sau đây để đánh giá:

  1. Tìm hiểu cách trình bày các từ bằng cách sử dụng một người học không giám sát.
  2. Sử dụng các biểu diễn đã học làm đầu vào cho người học được giám sát thực hiện một số nhiệm vụ NLP như các phần của gắn thẻ lời nói hoặc nhận dạng thực thể được đặt tên.
  3. Đánh giá hiệu suất của người học không được giám sát bằng khả năng cải thiện hiệu suất của người học được giám sát so với đường cơ sở bằng cách sử dụng một biểu diễn tiêu chuẩn, như các tính năng hiện diện từ nhị phân, làm đầu vào.

Để biết ví dụ về cách tiếp cận này trong thực tế, hãy xem bài viết Đào tạo hạn chế các máy Boltzmann về Quan sát từ của Dahl et al.


11
+1 " một phương pháp không giám sát cụ thể thực hiện tốt như thế nào sẽ phụ thuộc phần lớn vào lý do tại sao một người thực hiện việc học tập không giám sát ở nơi đầu tiên " đã tổng kết khá nhiều. Đừng tìm kiếm một số ma thuật mà bằng cách nào đó bạn có thể sử dụng để biện minh cho một kết quả nhất định mà không thực sự diễn giải kết quả .
Marc Claesen

1
Tôi cũng sẽ nói thêm rằng việc sử dụng một phương pháp được giám sát như một proxy để làm thế nào một phương pháp không giám sát hoạt động tốt không đòi hỏi phải khám phá các tính năng mới. Ví dụ, phân cụm không học các tính năng mới, nhưng phân cụm thường được sử dụng để cải thiện độ chính xác dự đoán của người học được giám sát, với lợi ích bổ sung là giải thích lý do tại sao điều này có thể như vậy. Ví dụ, phân cụm k-mean có thể tạo ra các dự đoán k được cải thiện bằng cách khai thác cấu trúc được phát hiện và nén từ phân cụm. Xem ttic.uchicago.edu/~shubhendu/Papers/clustering_bagging.pdf
Từ trường
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.