Trước tiên, hãy để cho thuận tiện. Mở rộng tổn thất chúng ta có
Lấy kỳ vọng wrt chúng ta có
Giá trị mong đợi của một ma trận là ma trận của các giá trị dự kiến theo ô, vì vậy
nên
Đối với thuật ngữ cuối cùng,
do đó
NếuR∗X=M∥y−Mw∥2=yTy−2wTMTy+wTMTMw.
RER(∥y−Mw∥2)=yTy−2wT(EM)Ty+wTE(MTM)w.
(ERM)ij=ER((R∗X)ij)=XijER(Rij)=pXij
2wT(EM)Ty=2pwTXTy.
(MTM)ij=∑k=1NMkiMkj=∑k=1NRkiRkjXkiXkj
(ERMTM)ij=∑k=1NER(RkiRkj)XkiXkj.
i≠jsau đó chúng độc lập nên các phần tử nằm ngoài đường chéo dẫn đến . Đối với các phần tử đường chéo, chúng ta có
p2(XTX)ij∑k=1NER(R2ki)X2ki=p(XTX)ii.
Kết thúc việc này, chúng tôi có thể lưu ý rằng
và chúng tôi đã tìm thấy
Trong , tôi đã chỉ ra rằng mọi phần tử nằm ngoài đường chéo đều bằng 0 nên kết quả là
Bài viết định nghĩa vì vậy có nghĩa là chúng tôi xong rồi∥y−pXw∥2=yTy−2pwTXTy+p2wTXTXw
ER∥y−Mw∥2=yTy−2pwTXTy+wTER(MTM)w=∥y−pXw∥2−p2wTXTXw+wTER(MTM)w=∥y−pXw∥2+wT(ER(MTM)−p2XTX)w.
ER(MTM)−p2XTXER(MTM)−p2XTX=p(1−p)diag(XTX).
Γ=diag(XTX)1/2∥Γw∥2=wTdiag(XTX)w