Học sâu: Làm thế nào để tôi biết biến nào là quan trọng?

Về mặt biệt ngữ mạng thần kinh (y = Trọng lượng * x + thiên vị) làm thế nào tôi biết biến nào quan trọng hơn các biến khác?

Tôi có một mạng lưới thần kinh với 10 đầu vào, 1 lớp ẩn với 20 nút và 1 lớp đầu ra có 1 nút. Tôi không chắc làm thế nào để biết biến số đầu vào nào có ảnh hưởng hơn các biến khác. Điều tôi nghĩ là nếu một đầu vào là quan trọng thì nó sẽ có kết nối có trọng số cao với lớp đầu tiên, nhưng trọng số có thể là dương hoặc âm. Vì vậy, những gì tôi có thể làm là lấy giá trị tuyệt đối của trọng số của đầu vào và tính tổng chúng. Các đầu vào quan trọng hơn sẽ có tổng tiền cao hơn.

Vì vậy, ví dụ, nếu độ dài tóc là một trong những đầu vào, thì nó sẽ có 1 kết nối với mỗi nút trong lớp tiếp theo, do đó, 20 kết nối (và do đó là 20 trọng số). Tôi chỉ có thể lấy giá trị tuyệt đối của từng trọng lượng và tổng hợp chúng lại với nhau?

Những gì bạn mô tả thực sự là một cách tiêu chuẩn để định lượng tầm quan trọng của các đầu vào mạng thần kinh. Lưu ý rằng để làm việc này, tuy nhiên, các biến đầu vào phải được chuẩn hóa theo một cách nào đó. Mặt khác, các trọng số tương ứng với các biến đầu vào có xu hướng có giá trị lớn hơn sẽ nhỏ hơn theo tỷ lệ. Có các sơ đồ chuẩn hóa khác nhau, chẳng hạn như trừ đi giá trị trung bình của một biến và chia cho độ lệch chuẩn của nó. Nếu các biến không được chuẩn hóa ở vị trí đầu tiên, bạn có thể thực hiện hiệu chỉnh chính các trọng số trong phép tính quan trọng, chẳng hạn như nhân với độ lệch chuẩn của biến.

$I_i = \sigma_i\sum\limits_{j = 1}^{n_\text{hidden}}\left|w_{ij}\right|$.

Ở đây là độ lệch chuẩn của đầu vào thứ , là tầm quan trọng của đầu vào thứ , là trọng số kết nối đầu vào thứ với nút ẩn thứ trong lớp đầu tiên và là số lượng các nút ẩn trong lớp đầu tiên. i I i i w i j i j n $\sigma_i$$i$$I_i$$i$$w_{ij}$$i$$j$$n_\text{hidden}$

Một kỹ thuật khác là sử dụng đạo hàm của ánh xạ mạng nơ ron đối với đầu vào đang được đề cập, tính trung bình trên các đầu vào.

$I_i = \sigma_i\left\langle\left|\frac{dy}{dx_i}\right|\right\rangle$

Ở đây là đầu vào thứ , là đầu ra và giá trị kỳ vọng được lấy theo vectơ của đầu vào . i y $x_i$$i$$y$$\mathbf{x}$

Một giải pháp hơi mạnh mẽ nhưng hiệu quả:

Hãy thử 'thả' đầu vào bằng cách sử dụng hằng số cho một trong các tính năng đầu vào của bạn. Sau đó, huấn luyện mạng cho từng trường hợp có thể và xem độ chính xác của bạn giảm xuống như thế nào. Đầu vào quan trọng sẽ cung cấp lợi ích lớn nhất cho độ chính xác tổng thể.

$10$$5$

Đối với một mạng nông, điều này đưa ra một ví dụ về việc xác định tầm quan trọng của biến.

Đối với một mạng lưới thực sự sâu sắc, mọi người không nói về tầm quan trọng thay đổi quá nhiều. Bởi vì các đầu vào là các tính năng mức thô, chẳng hạn như pixel trong ảnh.

Hầu hết những gì tôi tìm thấy về điều này được liệt kê công phu trên trang web này cụ thể hơn bạn có thể xem xét điều này . Nếu bạn chỉ nói về các mô hình tuyến tính thì bạn phải bình thường hóa các trọng số để làm cho chúng có thể diễn giải được nhưng thậm chí điều này có thể gây hiểu lầm nhiều hơn về điều này trên liên kết được đề cập. Một số người đã thử tạo các hàm phức tạp để giải thích tầm quan trọng của các yếu tố đầu vào (Garson's, Gedeon's và Milne) nhưng thậm chí điều này có thể gây hiểu lầm mà bạn có thể tìm hiểu thêm về điều này khi bạn cuộn liên kết đầu tiên tôi đã đề cập. Nói chung tôi sẽ khuyên bạn nên đi trước giải thích kết quả với một hạt muối.

sẽ đồng ý với câu trả lời của @ rhadar nhưng muốn thêm vào đó thay vì sử dụng bất kỳ thử liên tục nào bằng cách sử dụng giá trị trung bình cho đầu vào đó và đừng quên đào tạo lại mạng.

PS: xin lỗi không thể đăng thêm liên kết hoặc bình luận ở đây không có nhiều danh tiếng.

Cho rằng bạn có:

1. Một nhiệm vụ phân loại
2. Một mô hình được đào tạo
3. Các tính năng được chuẩn hóa (từ 0 đến 1)

Có ai đã thử chưa:

1. Xóa bỏ những thành kiến
2. Vượt qua mỗi lần như một tính năng của một vectơ nóng trong đó tất cả các tính năng bằng không ngoại trừ một.
3. Kiểm tra đầu ra.

Trong trường hợp đó, tôi nghĩ đầu ra sẽ là một con số chỉ định "tầm quan trọng" của tính năng vì đầu ra này cũng sẽ đại diện cho đầu ra của đường dẫn của tín hiệu 1 này trong mạng.

Nó giống như chiếu sáng chỉ một bóng đèn trong mê cung và đo ánh sáng phát ra ở lối ra.