Bỏ học trong hồi quy tuyến tính


9

Tôi đã đọc bài báo gốc về việc bỏ học, ( https://www.cs.toronto.edu/~hinton/absps/JMLRdropout.pdf ) và trong phần hồi quy tuyến tính, có ghi rằng:

ERBernoulli(p)[y (RX)w2]

giảm xuống:

ypXw2+p(1p)Γw2

Tôi gặp khó khăn trong việc hiểu làm thế nào họ đi đến kết quả này. Có ai giúp được không?


Có gì Γ đây?
The Laconic

3
Tôi đã viết một bài luận dài về chủ đề này: madrury.github.io/jekyll/update/statistic/2017/08/12/ Kẻ
Matthew Drury

Câu trả lời:


7

Trước tiên, hãy để cho thuận tiện. Mở rộng tổn thất chúng ta có Lấy kỳ vọng wrt chúng ta có Giá trị mong đợi của một ma trận là ma trận của các giá trị dự kiến ​​theo ô, vì vậy nên Đối với thuật ngữ cuối cùng, do đó NếuRX=M

yMw2=yTy2wTMTy+wTMTMw.
R
ER(yMw2)=yTy2wT(EM)Ty+wTE(MTM)w.
(ERM)ij=ER((RX)ij)=XijER(Rij)=pXij
2wT(EM)Ty=2pwTXTy.
(MTM)ij=k=1NMkiMkj=k=1NRkiRkjXkiXkj
(ERMTM)ij=k=1NER(RkiRkj)XkiXkj.
ijsau đó chúng độc lập nên các phần tử nằm ngoài đường chéo dẫn đến . Đối với các phần tử đường chéo, chúng ta có p2(XTX)ij
k=1NER(Rki2)Xki2=p(XTX)ii.

Kết thúc việc này, chúng tôi có thể lưu ý rằng và chúng tôi đã tìm thấy Trong , tôi đã chỉ ra rằng mọi phần tử nằm ngoài đường chéo đều bằng 0 nên kết quả là Bài viết định nghĩa vì vậy có nghĩa là chúng tôi xong rồi

ypXw2=yTy2pwTXTy+p2wTXTXw
ERyMw2=yTy2pwTXTy+wTER(MTM)w=ypXw2p2wTXTXw+wTER(MTM)w=ypXw2+wT(ER(MTM)p2XTX)w.
ER(MTM)p2XTX
ER(MTM)p2XTX=p(1p)diag(XTX).
Γ=diag(XTX)1/2Γw2=wTdiag(XTX)w

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.