Tính toán và vẽ đồ thị ranh giới quyết định LDA

Tôi thấy một âm mưu LDA (phân tích phân biệt đối xử tuyến tính) với ranh giới quyết định từ Các yếu tố của học thống kê :

Tôi hiểu rằng dữ liệu được chiếu lên không gian con chiều thấp hơn. Tuy nhiên, tôi muốn biết làm thế nào chúng ta có được các ranh giới quyết định trong kích thước ban đầu để tôi có thể chiếu các ranh giới quyết định lên một không gian con chiều thấp hơn (như các đường màu đen trong hình trên).

Có một công thức mà tôi có thể sử dụng để tính các ranh giới quyết định theo chiều ban đầu (cao hơn) không? Nếu có, thì công thức này cần gì?

Con số đặc biệt này ở Hastie et al. được sản xuất mà không có phương trình tính toán của ranh giới lớp. Thay vào đó, thuật toán được phác thảo bởi @ttnphns trong các bình luận đã được sử dụng, xem chú thích 2 trong phần 4.3, trang 110:

Đối với hình này và nhiều số liệu tương tự trong cuốn sách, chúng tôi tính toán các ranh giới quyết định bằng một phương pháp đường viền hoàn chỉnh. Chúng tôi tính toán quy tắc quyết định trên một mạng lưới các điểm và sau đó sử dụng các thuật toán đường viền để tính các ranh giới.

Tuy nhiên, tôi sẽ tiến hành mô tả cách thu được các phương trình của ranh giới lớp LDA.

Hãy bắt đầu với một ví dụ 2D đơn giản. Đây là dữ liệu từ bộ dữ liệu Iris ; Tôi loại bỏ các phép đo cánh hoa và chỉ xem xét chiều dài và chiều rộng của cánh hoa. Ba lớp được đánh dấu bằng màu đỏ, xanh lá cây và xanh dương:

Hãy để chúng tôi biểu thị các phương tiện lớp (centroid) là . LDA giả định rằng tất cả các lớp có cùng hiệp phương sai trong lớp; được cung cấp dữ liệu, ma trận hiệp phương sai được chia sẻ này được ước tính (lên tới tỷ lệ) là , trong đó tổng là trên tất cả các điểm dữ liệu và tâm của lớp tương ứng được trừ từ mỗi điểm.$\boldsymbol\mu_1, \boldsymbol\mu_2, \boldsymbol\mu_3$$\mathbf{W} = \sum_i (\mathbf{x}_i-\boldsymbol \mu_k)(\mathbf{x}_i-\boldsymbol \mu_k)^\top$

Đối với mỗi cặp lớp (ví dụ lớp và ) có một ranh giới lớp giữa chúng. Rõ ràng là ranh giới phải đi qua điểm giữa giữa hai lớp trung tâm . Một trong những kết quả LDA trung tâm là ranh giới này là một đường thẳng trực giao với . Có một số cách để có được kết quả này, và mặc dù nó không phải là một phần của câu hỏi, tôi sẽ gợi ý ngắn gọn về ba trong số chúng trong Phụ lục dưới đây.$1$$2$$(\boldsymbol \mu_{1} + \boldsymbol \mu_{2})/2$$\mathbf{W}^{-1} \boldsymbol (\boldsymbol \mu_{1} - \boldsymbol \mu_{2})$

Lưu ý rằng những gì được viết ở trên đã là một đặc điểm kỹ thuật chính xác của ranh giới. Nếu một người muốn có một phương trình đường thẳng ở dạng chuẩn , thì hệ số và có thể được tính toán và sẽ được đưa ra bởi một số công thức lộn xộn. Tôi khó có thể tưởng tượng một tình huống khi điều này sẽ cần thiết.$y=ax+b$$a$$b$

Bây giờ chúng ta áp dụng công thức này cho ví dụ Iris. Đối với mỗi cặp lớp, tôi tìm một điểm giữa và vẽ đường thẳng vuông góc với :$\mathbf{W}^{-1} \boldsymbol (\boldsymbol \mu_{i} - \boldsymbol \mu_{j})$

Ba đường cắt nhau trong một điểm, như đã được dự kiến. Ranh giới quyết định được đưa ra bởi các tia bắt đầu từ điểm giao nhau:

Lưu ý rằng nếu số lượng lớp là , thì sẽ có các cặp lớp và rất nhiều dòng, tất cả giao nhau trong một mớ hỗn độn. Để vẽ một bức tranh đẹp như bức tranh từ Hastie và cộng sự, người ta chỉ cần giữ các phân đoạn cần thiết và bản thân nó là một vấn đề thuật toán riêng biệt (không liên quan đến LDA theo bất kỳ cách nào, bởi vì người ta không cần phải làm điều đó phân loại; để phân loại một điểm, hoặc kiểm tra khoảng cách Mahalanobis cho mỗi lớp và chọn điểm có khoảng cách thấp nhất, hoặc sử dụng một loạt hoặc LDA theo cặp).$K\gg 2$$K(K-1)/2$

Trong nguyên, công thức giữ nguyên chính xác : ranh giới trực giao với và đi qua . Tuy nhiên, ở các kích thước cao hơn, đây không phải là một dòng nữa mà là một siêu phẳng kích thước . Đối với mục đích minh họa, người ta có thể chỉ cần chiếu bộ dữ liệu lên hai trục phân biệt đầu tiên, và do đó giảm vấn đề cho trường hợp 2D (mà tôi tin là những gì Hastie và cộng sự đã làm để tạo ra hình đó).$D>2$$\mathbf{W}^{-1} \boldsymbol (\boldsymbol \mu_{1} - \boldsymbol \mu_{2})$$(\boldsymbol \mu_{1} + \boldsymbol \mu_{2})/2$$D-1$

ruột thừa

Làm cách nào để thấy rằng ranh giới là một đường thẳng trực giao với ? Dưới đây là một số cách có thể để có được kết quả này:$\mathbf{W}^{-1} (\boldsymbol \mu_{1} - \boldsymbol \mu_{2})$

1. Cách ưa thích: tạo ra số liệu Mahalanobis trên máy bay; ranh giới phải trực giao với trong số liệu này, QED.$\mathbf{W}^{-1}$$\boldsymbol \mu_{1} - \boldsymbol \mu_{2}$

2. Cách Gaussian tiêu chuẩn: nếu cả hai lớp được mô tả bởi các phân phối Gaussian, thì khả năng log của một điểm thuộc về lớp tỷ lệ thuận với . Trên ranh giới, khả năng thuộc về lớp và là bằng nhau; viết nó xuống, đơn giản hóa và ngay lập tức bạn sẽ nhận được , QED.$\mathbf x$$k$$(\mathbf x - \boldsymbol \mu_k)^\top \mathbf W^{-1}(\mathbf x - \boldsymbol \mu_k)$$1$$2$$\mathbf x^\top \mathbf W^{-1} (\boldsymbol \mu_{1} - \boldsymbol \mu_{2}) = \mathrm{const}$

3. Cách laboursome nhưng trực quan. Hãy tưởng tượng rằng là một ma trận danh tính, tức là tất cả các lớp đều có dạng hình cầu. Sau đó, giải pháp rất rõ ràng: ranh giới chỉ đơn giản là trực giao với . Nếu các lớp không phải hình cầu, thì người ta có thể làm cho chúng như vậy bằng cách hình cầu. Nếu phân tách riêng của là , thì ma trận sẽ thực hiện thủ thuật (xem ví dụ ở đây ). Vì vậy, sau khi áp dụng , ranh giới là trực giao với . Nếu chúng ta lấy ranh giới này, biến đổi nó trở lại vớiμ 1 - μ 2 W W = U D U ⊤ S = D - 1 / 2 U ⊤ S S ( μ 1 - μ 2 ) S - 1 S ⊤ S ( μ 1 - μ 2 ) $\mathbf{W}$$\boldsymbol \mu_1 - \boldsymbol \mu_2$$\mathbf{W}$$\mathbf{W} = \mathbf U \mathbf D \mathbf U^\top$$\mathbf S = \mathbf D^{-1/2} \mathbf U^\top$$\mathbf S$$\mathbf S (\boldsymbol \mu_{1} - \boldsymbol \mu_{2})$$\mathbf S^{-1}$ và hỏi bây giờ nó trực giao với cái gì, câu trả lời (bên trái là bài tập) là: to . Cắm biểu thức cho , chúng ta sẽ có QED.$\mathbf S^\top \mathbf S \boldsymbol (\boldsymbol \mu_{1} - \boldsymbol \mu_{2})$$\mathbf S$