LDA nhiều lớp so với LDA 2 lớp

Vấn đề thiết kế bộ phân loại nhiều lớp bằng LDA có thể được thể hiện dưới dạng vấn đề 2 lớp (một so với mọi thứ khác) hoặc vấn đề đa lớp .

Tại sao trong một số trường hợp , trình phân loại LDA nhiều lớp lại thực hiện LDA 2 lớp (một so với mọi thứ khác) hoặc ngược lại .

— áo choàng
nguồn

Bạn có thể thêm chi tiết cho câu hỏi khá dành riêng của bạn. Ví dụ. Và bạn có xem xét ở đây cả hai giai đoạn của LDA - trích xuất và phân loại, - hoặc chỉ phân loại?

— ttnphns

tốt, tôi đang cố gắng chiếu một vectơ 27 chiều xuống các kích thước thấp hơn và so sánh các vectơ. Động cơ là thiết kế một kỹ thuật phân loại đơn giản để phân loại tốt nhất có thể.

— garak

Đôi khi bạn có thể gặp dữ liệu khi phân loại hai lớp chính xác hơn (ví dụ: khi một lớp cách xa nhau, "ngoại lệ", từ các lớp còn lại, gần nhau. Nhưng, theo quy tắc, phân loại lớp k Thứ nhất, các lớp k cho phép các trục phân biệt hơn. Thứ hai, một nhóm các lớp k-1 thường không được mong đợi theo phân phối thông thường nhiều biến số mà giai đoạn phân loại LDA dựa vào. Xem câu trả lời của

— JohnSmith

Tôi nghĩ rằng trình phân loại LDA nhiều lớp luôn luôn (tốt, trong hầu hết các nhiệm vụ thực tế) thực hiện LDA 2 lớp. Và tôi sẽ cố gắng để mô tả tại sao.

Hãy xem tập dữ liệu mẫu: tập dữ liệu mẫu với ba lớp

Bạn có ba lớp học ở đây. Và giả sử bạn muốn xây dựng trình phân loại một đấu với LDA cho lớp màu xanh.

Giá trị trung bình ước tính cho lớp "màu xanh" là 0, nhưng giá trị trung bình ước tính của lớp "khác" cũng bằng không. Và hiệp phương sai giống với định nghĩa của LDA. Điều đó có nghĩa là LDA sẽ phản hồi với nhãn có nhiều yếu tố hơn. Và nó sẽ không bao giờ trở lại lớp "màu xanh" cả!

Đối với LDA nhiều lớp, nó sẽ quản lý để tìm đúng các lớp một cách hoàn hảo.

Bối cảnh về điều này là hỗn hợp Gaussian không phải là Gaussian nữa trong hầu hết các trường hợp. Vì vậy, giả định này của LDA thất bại. Và tôi phải nói rằng thật khó để đưa ra một ví dụ về một tập dữ liệu trong đó mọi lớp là Gaussian và chúng vẫn là Gaussian sau khi chúng ta tham gia chúng.

Đó là lý do tại sao tôi rất khuyến khích sử dụng LDA nhiều lớp. Hy vọng nó sẽ giúp!

— Dmitry Laptev
nguồn

Tôi nghĩ rằng điều John đã thể hiện rất độc đáo ở đây là LDA cho hai lớp sử dụng một dòng duy nhất để phân tách các lớp. Nhưng trong ví dụ phân loại tốt đòi hỏi hai dòng được thực hiện trong một bài toán ba lớp.

— Michael R. Chernick

@MichaelCécick, vâng, chính xác, đó là một lời giải thích từ các quan điểm khác, cảm ơn vì nhận xét của bạn!

— Dmitry Laptev

cảm ơn các bạn đã trả lời nhanh! Tuy nhiên, tôi đã gặp phải một vài ngày trước, một trường hợp LDA đa lớp (độ chính xác 60%) đang hoạt động kém hiệu quả hơn so với LDA 2 lớp (độ chính xác trên 80%) trong bài toán phân loại gồm 10 lớp.

— garak

@MichaelCécick nhưng nếu bạn sử dụng LDA làm phương pháp chiếu, bạn có thể quyết định giữ hai chiều (hai vectơ riêng của các giá trị riêng lớn nhất) và nhận được sự phân tách mà bạn đang tìm kiếm (sử dụng phương pháp phân loại kNN thay vì tách các mặt phẳng) hoặc Có phải tôi đang thiếu một cái gì đó rõ ràng?

— Matthieu