Phân rã phương sai

Trong phần 3.2 của Nhận dạng mẫu và học máy của Giám mục , ông đã thảo luận về phân rã phương sai thiên vị, nói rằng đối với hàm mất bình phương, tổn thất dự kiến có thể được phân tách thành một thuật ngữ sai lệch bình phương (mô tả mức độ dự đoán trung bình là bao xa so với sự thật mô hình), một thuật ngữ phương sai (mô tả sự lan truyền của các dự đoán xung quanh mức trung bình) và một thuật ngữ tiếng ồn (mang lại tiếng ồn nội tại của dữ liệu).

Phân rã phương sai có thể được thực hiện với các hàm mất khác với mất bình phương không?
Đối với một tập dữ liệu mô hình nhất định, có nhiều hơn một mô hình mà tổn thất dự kiến là tối thiểu trên tất cả các mô hình và nếu vậy, điều đó có nghĩa là có thể có các kết hợp khác nhau của sai lệch và phương sai mang lại tổn thất tối thiểu như mong đợi không?
Nếu một mô hình liên quan đến chính quy hóa, liệu có mối quan hệ toán học giữa sai lệch, phương sai và hệ số chính quy $\lambda$ ?
Làm thế nào bạn có thể tính toán sai lệch nếu bạn không biết mô hình thực sự?
Có những tình huống trong đó có ý nghĩa hơn để giảm thiểu sai lệch hoặc phương sai thay vì mất mát dự kiến (tổng của sai lệch bình phương và phương sai)?

— Vivek Subramanian
nguồn

... Mất [lỗi bình phương] dự kiến có thể được phân tách thành thuật ngữ sai lệch bình phương (mô tả mức độ dự đoán trung bình từ mô hình thực) bao xa, thuật ngữ phương sai (mô tả mức độ lan truyền của các dự đoán quanh mức trung bình) và một thuật ngữ tiếng ồn (cung cấp tiếng ồn nội tại của dữ liệu).

Khi nhìn vào phân rã mất bình phương , chứ không phải của mẫu thân. Tôi chỉ thấy hai nhiệm kỳ: một cho thiên vị và một số khác cho phương sai của các ước lượng hoặc dự đoán, . Không có thuật ngữ tiếng ồn bổ sung trong mất mát dự kiến. Như nên từ sự thay đổi là sự thay đổi của

E_{θ} [(θ - δ (X_{1 : n}))^{2}] = (θ - E_{θ} [δ (X_{1 : n})])^{2} + E_{θ} [(E_{θ} [δ (X_{1 : n})] - δ (X_{1 : n}))^{2}]

$\mathbb{E}_\theta[(\theta-\delta(X_{1:n}))^2]=(\theta-\mathbb{E}_\theta[\delta(X_{1:n})])^2+\mathbb{E}_\theta[(\mathbb{E}_\theta[\delta(X_{1:n})]-\delta(X_{1:n}))^2]$

δ (X_{1 : n})

$\delta(X_{1:n})$

δ (X_{1 : n})

$\delta(X_{1:n})$

Phân rã phương sai có thể được thực hiện với các hàm mất khác với mất bình phương không?

Giải thích của tôi về phân cực bình phương + phân rã phương sai [và cách tôi dạy nó] là đây là tương đương thống kê của Định lý Pythagore, cụ thể là khoảng cách bình phương giữa một công cụ ước lượng và một điểm trong một tập hợp nhất định là tổng khoảng cách bình phương giữa một công cụ ước tính và tập hợp, cộng với khoảng cách bình phương giữa hình chiếu trực giao trên tập hợp và điểm trong tập hợp. Bất kỳ tổn thất nào dựa trên khoảng cách với nFor một tập dữ liệu mô hình nhất định, có nhiều hơn một mô hình mà tổn thất dự kiến là tối thiểu trên tất cả các mô hình và nếu vậy, điều đó có nghĩa là có thể có các kết hợp sai lệch và phương sai khác nhau mang lại cùng một tổn thất dự kiến tối thiểu? otion của phép chiếu trực giao, tức là một sản phẩm bên trong, tức là về cơ bản là không gian Hilbert, thỏa mãn sự phân rã này.

Đối với một tập dữ liệu mô hình nhất định, có nhiều hơn một mô hình mà tổn thất dự kiến là tối thiểu trên tất cả các mô hình và nếu vậy, điều đó có nghĩa là có thể có các kết hợp khác nhau của sai lệch và phương sai mang lại tổn thất tối thiểu như mong đợi không?

Câu hỏi đặt ra là không rõ ràng: nếu bằng cách tối thiểu so với các mô hình, bạn có nghĩa là sau đó có rất nhiều ví dụ về mô hình thống kê và các quyết định liên kết với một hằng số lỗ dự kiến (hoặc có nguy cơ ). Lấy ví dụ MLE của một nghĩa bình thường.

min_{θ} E_{θ} [(θ - δ (X_{1 : n}))^{2}]

$\min_\theta \mathbb{E}_\theta[(\theta-\delta(X_{1:n}))^2]$

Làm thế nào bạn có thể tính toán sai lệch nếu bạn không biết mô hình thực sự?

Theo một nghĩa chung, sự thiên vị là khoảng cách giữa mô hình thực và mô hình gần nhất trong họ phân phối giả định. Nếu mô hình thực sự là không xác định, sự thiên vị có thể được xác định bằng bootstrap.

Có những tình huống trong đó có ý nghĩa hơn để giảm thiểu sai lệch hoặc phương sai thay vì mất mát dự kiến (tổng của sai lệch bình phương và phương sai)?

Khi xem xét một hàm mất mát khác như đẩy về 0 đặt hầu hết các đánh giá về độ lệch trong khi đẩy về vô cực sẽ chuyển trọng tâm vào phương sai.

(θ - E_{θ} [δ (X_{1 : n})])^{2} + α [(E_{θ} [δ (X_{1 : n})] - δ (X_{1 : n}))^{2}] 0 < α

$(\theta-\mathbb{E}_\theta[\delta(X_{1:n})])^2+\alpha[(\mathbb{E}_\theta[\delta(X_{1:n})]-\delta(X_{1:n}))^2]\qquad 0<\alpha$

α

$\alpha$

α

$\alpha$

— Tây An
nguồn

f

$f$

Y = f (X) + ϵ

$Y = f(X) + \epsilon$

ϵ

$\epsilon$

σ_{ϵ}

$\sigma_\epsilon$

f (X)

$f(X)$

E [\hat{f} (X)]

$E[\hat{f}(X)]$

E [(Y - f (X))^{2} | X = x]

$E[(Y-f(X))^2 | X=x]$

σ_{ϵ}^{2} + {Bias}^{2} \hat{f} (x) + Var \hat{f} (x)

$\sigma^2_\epsilon + \operatorname{Bias}^2 \hat{f}(x) + \operatorname{Var} \hat{f}(x)$

Đây là giả sử

\hat{f}

$\hat f$

ϵ

$\epsilon$

Hmm, bạn là tất nhiên chính xác. Nhưng tôi nghĩ vấn đề này là một bằng chứng cho sự phát sinh cẩu thả của tôi. Kiểm tra tr.223 của chương trình ESLII của Hastie & Tibshirani

— Miguel

@Miguel: trên thực tế chúng ta giả định

được độc lập của X, không

ϵ

$\epsilon$

\hat{f}

$\hat{f}$