Bỏ học trong hồi quy tuyến tính

Tôi đã đọc bài báo gốc về việc bỏ học, ( https://www.cs.toronto.edu/~hinton/absps/JMLRdropout.pdf ) và trong phần hồi quy tuyến tính, có ghi rằng:

$\mathbb{E}_{R\sim Bernoulli(p)}\left[\| y\ - (R*X)w\|^2\right]$

giảm xuống:

$\|y - pXw\|^2 + p(1-p) \|\Gamma w\|^2$

Tôi gặp khó khăn trong việc hiểu làm thế nào họ đi đến kết quả này. Có ai giúp được không?

regression dropout

— đôi
nguồn

Có gì

Γ

$\Gamma$ đây?

— The Laconic

Tôi đã viết một bài luận dài về chủ đề này: madrury.github.io/jekyll/update/statistic/2017/08/12/ Kẻ

— Matthew Drury

$\newcommand{E}{\text{E}}$ Trước tiên, hãy để cho thuận tiện. Mở rộng tổn thất chúng ta có Lấy kỳ vọng wrt chúng ta có Giá trị mong đợi của một ma trận là ma trận của các giá trị dự kiến theo ô, vì vậy nên Đối với thuật ngữ cuối cùng, do đó Nếu $R * X = M$

‖ y - M w ‖^{2} = y^{T} y - 2 w^{T} M^{T} y + w^{T} M^{T} M w .

$\|y - Mw\|^2 = y^Ty - 2w^TM^Ty + w^TM^TMw.$

R

$R$

E_{R} (‖ y - M w ‖^{2}) = y^{T} y - 2 w^{T} (E M)^{T} y + w^{T} E (M^{T} M) w .

$\E_R\left(\|y - Mw\|^2\right) = y^Ty - 2w^T(\E M)^Ty + w^T\E(M^TM)w.$

(E_{R} M)_{i j} = E_{R} ((R * X)_{i j}) = X_{i j} E_{R} (R_{i j}) = p X_{i j}

$(\E_R M)_{ij} = \E_R((R * X)_{ij}) = X_{ij}\E_R(R_{ij}) = p X_{ij}$

2 w^{T} (E M)^{T} y = 2 p w^{T} X^{T} y .

$2w^T(\E M)^Ty = 2pw^TX^Ty.$

(M^{T} M)_{i j} = \sum_{k = 1}^{N} M_{k i} M_{k j} = \sum_{k = 1}^{N} R_{k i} R_{k j} X_{k i} X_{k j}

$(M^TM)_{ij} = \sum_{k=1}^N M_{ki}M_{kj} = \sum_{k=1}^N R_{ki}R_{kj}X_{ki}X_{kj}$

(E_{R} M^{T} M)_{i j} = \sum_{k = 1}^{N} E_{R} (R_{k i} R_{k j}) X_{k i} X_{k j} .

$(\E_R M^TM)_{ij} = \sum_{k=1}^N \E_R(R_{ki}R_{kj})X_{ki}X_{kj}.$

i \neq j

$i \neq j$ sau đó chúng độc lập nên các phần tử nằm ngoài đường chéo dẫn đến . Đối với các phần tử đường chéo, chúng ta có

p^{2} (X^{T} X)_{i j}

$p^2 (X^TX)_{ij}$

\sum_{k = 1}^{N} E_{R} (R_{k i}^{2}) X_{k i}^{2} = p (X^{T} X)_{i i} .

$\sum_{k=1}^N \E_R(R_{ki}^2)X_{ki}^2 = p(X^TX)_{ii}.$

Kết thúc việc này, chúng tôi có thể lưu ý rằng và chúng tôi đã tìm thấy Trong , tôi đã chỉ ra rằng mọi phần tử nằm ngoài đường chéo đều bằng 0 nên kết quả là Bài viết định nghĩa vì vậy có nghĩa là chúng tôi xong rồi

‖ y - p X w ‖^{2} = y^{T} y - 2 p w^{T} X^{T} y + p^{2} w^{T} X^{T} X w

$\|y - pXw\|^2 = y^Ty - 2pw^TX^Ty + p^2w^TX^TXw$

E_{R} ‖ y - M w ‖^{2} = y^{T} y - 2 p w^{T} X^{T} y + w^{T} E_{R} (M^{T} M) w = ‖ y - p X w ‖^{2} - p^{2} w^{T} X^{T} X w + w^{T} E_{R} (M^{T} M) w = ‖ y - p X w ‖^{2} + w^{T} (E_{R} (M^{T} M) - p^{2} X^{T} X) w .

E_{R} (M^{T} M) - p^{2} X^{T} X

$\E_R(M^TM) - p^2 X^TX$

E_{R} (M^{T} M) - p^{2} X^{T} X = p (1 - p) diag (X^{T} X) .

$\E_R(M^TM) - p^2 X^TX = p(1-p)\text{diag}(X^TX).$

Γ = diag (X^{T} X)^{1 / 2}

$\Gamma = \text{diag}(X^TX)^{1/2}$

‖ Γ w ‖^{2} = w^{T} diag (X^{T} X) w

$\|\Gamma w\|^2 = w^T\text{diag}(X^TX)w$

— jld
nguồn