Khi nào một công cụ ước tính thiên vị thích hợp hơn không thiên vị?

Rõ ràng nhiều lần lý do tại sao một người thích một công cụ ước tính không thiên vị. Nhưng, có bất kỳ trường hợp nào mà chúng ta thực sự có thể thích một công cụ ước tính thiên vị hơn một trường hợp không thiên vị?

Vâng. Thông thường, đó là trường hợp chúng ta quan tâm đến việc giảm thiểu lỗi bình phương trung bình, có thể được phân tách thành phương sai + bình phương . Đây là một ý tưởng cực kỳ cơ bản trong học máy và thống kê nói chung. Thường thì chúng ta thấy rằng một sự gia tăng nhỏ trong thiên vị có thể đi kèm với việc giảm đủ lớn về phương sai mà MSE tổng thể giảm.

Một ví dụ tiêu chuẩn là hồi quy sườn núi. Chúng tôi có bị sai lệch; nhưng nếu bị điều hòa thì có thể quái dị trong khi có thể khiêm tốn hơn nhiều.XVmộtr( β )α(XTX)-1Vmộtr( β R$\hat \beta_R = (X^T X + \lambda I)^{-1}X^T Y$$X$$Var(\hat \beta) \propto (X^T X)^{-1}$$Var(\hat \beta_R)$

Một ví dụ khác là phân loại kNN . Hãy suy nghĩ về : chúng ta gán một điểm mới cho hàng xóm gần nhất của nó. Nếu chúng ta có một tấn dữ liệu và chỉ một vài biến, chúng ta có thể khôi phục ranh giới quyết định thực sự và phân loại của chúng ta không thiên vị; nhưng đối với bất kỳ trường hợp thực tế nào, có khả năng sẽ quá linh hoạt (nghĩa là có quá nhiều phương sai) và do đó độ lệch nhỏ không đáng giá (nghĩa là MSE lớn hơn các phân loại sai lệch hơn nhưng ít biến đổi hơn).k = $k = 1$$k = 1$

Cuối cùng, đây là một bức tranh. Giả sử rằng đây là các phân phối lấy mẫu của hai công cụ ước tính và chúng tôi đang cố gắng ước tính 0. Công cụ tâng bốc không thiên vị, nhưng cũng có nhiều biến số hơn. Nhìn chung, tôi nghĩ rằng tôi muốn sử dụng một thiên vị, bởi vì mặc dù trung bình chúng tôi sẽ không chính xác, đối với bất kỳ trường hợp nào của công cụ ước tính đó, chúng tôi sẽ gần hơn.

Tôi đề cập đến các vấn đề về số xảy ra khi bị bệnh và cách hồi quy sườn giúp ích như thế nào. Đây là một ví dụ.$X$

Tôi đang thực hiện một ma trận là và cột thứ ba là gần như tất cả 0, có nghĩa là nó gần như là không đầy đủ cấp bậc, có nghĩa là thực sự gần là số ít.4 × 3 X T$X$$4 \times 3$$X^T X$

x <- cbind(0:3, 2:5, runif(4, -.001, .001)) ## almost reduced rank

> x
     [,1] [,2]        [,3]
[1,]    0    2 0.000624715
[2,]    1    3 0.000248889
[3,]    2    4 0.000226021
[4,]    3    5 0.000795289

(xtx <- t(x) %*% x) ## the inverse of this is proportional to Var(beta.hat)

           [,1]        [,2]        [,3]
[1,] 14.0000000 26.00000000 3.08680e-03
[2,] 26.0000000 54.00000000 6.87663e-03
[3,]  0.0030868  0.00687663 1.13579e-06

eigen(xtx)$values ## all eigenvalues > 0 so it is PD, but not by much

[1] 6.68024e+01 1.19756e+00 2.26161e-07


solve(xtx) ## huge values

           [,1]        [,2]        [,3]
[1,]   0.776238   -0.458945     669.057
[2,]  -0.458945    0.352219    -885.211
[3,] 669.057303 -885.210847 4421628.936

solve(xtx + .5 * diag(3)) ## very reasonable values

             [,1]         [,2]         [,3]
[1,]  0.477024087 -0.227571147  0.000184889
[2,] -0.227571147  0.126914719 -0.000340557
[3,]  0.000184889 -0.000340557  1.999998999

Cập nhật 2

Như đã hứa, đây là một ví dụ kỹ lưỡng hơn.

Đầu tiên, hãy nhớ điểm của tất cả những điều này: chúng tôi muốn một người ước tính tốt. Có nhiều cách để định nghĩa 'tốt'. Giả sử rằng chúng ta đã có và chúng tôi muốn ước tính .$X_1, ..., X_n \sim \ iid \ \mathcal N(\mu, \sigma^2)$$\mu$

Hãy nói rằng chúng tôi quyết định rằng một công cụ ước tính 'tốt' là một công cụ không thiên vị. Điều này không tối ưu bởi vì, trong khi sự thật là công cụ ước tính không thiên vị cho , chúng tôi có điểm dữ liệu nên có vẻ ngớ ngẩn khi bỏ qua hầu hết tất cả chúng. Để làm cho ý tưởng đó trở nên trang trọng hơn, chúng tôi nghĩ rằng chúng tôi phải có được một công cụ ước tính thay đổi ít hơn so với cho một mẫu nhất định so với . Điều này có nghĩa là chúng tôi muốn một công cụ ước tính với phương sai nhỏ hơn.$T_1(X_1, ..., X_n) = X_1$$\mu$$n$$\mu$$T_1$

Vì vậy, có thể bây giờ chúng tôi nói rằng chúng tôi vẫn chỉ muốn các công cụ ước tính không thiên vị, nhưng trong số tất cả các công cụ ước tính không thiên vị, chúng tôi sẽ chọn một công cụ có phương sai nhỏ nhất. Điều này dẫn chúng ta đến khái niệm công cụ ước lượng không thiên vị tối thiểu thống nhất (UMVUE), một đối tượng của nhiều nghiên cứu trong thống kê cổ điển. NẾU chúng ta chỉ muốn các công cụ ước tính không thiên vị, thì việc chọn một công cụ có phương sai nhỏ nhất là một ý tưởng tốt. Trong ví dụ của chúng tôi, hãy xem xét so với và . Một lần nữa, cả ba đều không thiên vị nhưng chúng có các phương sai khác nhau: , và$T_1$$T_2(X_1, ..., X_n) = \frac{X_1 + X_2}{2}$$T_n(X_1, ..., X_n) = \frac{X_1 + ... + X_n}{n}$$Var(T_1) = \sigma^2$$Var(T_2) = \frac{\sigma^2}{2}$$Var(T_n) = \frac{\sigma^2}{n}$. Với có phương sai nhỏ nhất trong số này và không thiên vị, vì vậy đây là công cụ ước tính được chọn của chúng tôi.$n > 2$ $T_n$

Nhưng thường không thiên vị là một điều kỳ lạ cần được khắc phục (ví dụ như xem bình luận của @Cagdas Ozgenc). Tôi nghĩ rằng điều này một phần là do chúng ta thường không quan tâm nhiều đến việc có một ước tính tốt trong trường hợp trung bình, nhưng chúng ta muốn có một ước tính tốt trong trường hợp cụ thể của chúng ta. Chúng ta có thể định lượng khái niệm này với lỗi bình phương trung bình (MSE) giống như khoảng cách bình phương trung bình giữa công cụ ước tính của chúng ta và điều chúng ta ước tính. Nếu là công cụ ước tính của , thì . Như tôi đã đề cập trước đó, hóa ra , trong đó thiên vị được xác định là . Do đó, chúng tôi có thể quyết định thay vì UMVUE, chúng tôi muốn một công cụ ước tính giảm thiểu MSE.$T$$\theta$$MSE(T) = E((T - \theta)^2)$$MSE(T) = Var(T) + Bias(T)^2$$Bias(T) = E(T) - \theta$

Giả sử không thiên vị. Thì , vì vậy nếu chúng ta chỉ xem xét các ước tính không thiên vị thì tối thiểu hóa MSE cũng giống như chọn UMVUE. Nhưng, như tôi đã trình bày ở trên, có những trường hợp chúng ta có thể có được một MSE thậm chí còn nhỏ hơn bằng cách xem xét các sai lệch khác không.$T$$MSE(T) = Var(T) = Bias(T)^2 = Var(T)$

Tóm lại, chúng tôi muốn giảm thiểu . Chúng tôi có thể yêu cầu và sau đó chọn tốt nhất trong số những người làm điều đó hoặc chúng tôi có thể cho phép cả hai thay đổi. Cho phép cả hai thay đổi có thể sẽ cho chúng ta một MSE tốt hơn, vì nó bao gồm các trường hợp không thiên vị. Ý tưởng này là sự đánh đổi sai lệch thiên vị mà tôi đã đề cập trước đó trong câu trả lời.$Var(T) + Bias(T)^2$$Bias(T) = 0$$T$

Bây giờ đây là một số hình ảnh của sự đánh đổi này. Chúng tôi đang cố gắng ước tính và chúng tôi đã có năm mô hình, đến . không thiên vị và sự thiên vị ngày càng nghiêm trọng cho đến . có phương sai lớn nhất và phương sai càng ngày càng nhỏ cho đến . Chúng ta có thể hình dung MSE là bình phương khoảng cách của trung tâm phân phối từ cộng với bình phương khoảng cách đến điểm uốn đầu tiên (đó là cách để xem SD cho mật độ bình thường, đó là những mật độ bình thường). Chúng ta có thể thấy điều đó cho$\theta$$T_1$$T_5$$T_1$$T_5$$T_1$$T_5$$\theta$$T_1$(đường cong màu đen) phương sai quá lớn đến mức không thiên vị không giúp ích gì: vẫn còn một MSE lớn. Ngược lại, đối với , phương sai nhỏ hơn nhưng hiện tại độ lệch đủ lớn để người ước tính phải chịu. Nhưng đâu đó ở giữa có một phương tiện hạnh phúc, và đó là . Nó đã giảm độ biến thiên rất nhiều (so với ) nhưng chỉ phát sinh một lượng nhỏ sai lệch, và do đó nó có MSE nhỏ nhất.$T_5$$T_3$$T_1$

Bạn đã hỏi ví dụ về các công cụ ước tính có hình dạng này: một ví dụ là hồi quy sườn, trong đó bạn có thể nghĩ mỗi công cụ ước tính là . Bạn có thể (có thể sử dụng xác thực chéo) tạo một âm mưu của MSE như là một chức năng của và sau đó chọn tốt nhất .$T_\lambda(X, Y) = (X^T X + \lambda I)^{-1} X^T Y$$\lambda$$T_\lambda$

Hai lý do xuất hiện trong đầu, ngoài lời giải thích của MSE ở trên (câu trả lời thường được chấp nhận cho câu hỏi):

• Quản lý rủi ro
• Kiểm tra hiệu quả

Rủi ro , đại khái, là ý nghĩa của một cái gì đó có thể bùng nổ khi một số điều kiện nhất định không được đáp ứng. Hãy superefficient ước lượng: nếu dối trá ngoài một -ball 0, 0 nếu ngược lại. Bạn có thể chỉ ra rằng thống kê này hiệu quả hơn UMVUE, vì nó có cùng phương sai tiệm cận với UMVUE với và hiệu quả vô hạn khác. Đây là một thống kê ngu ngốc, và Hodges đã ném nó ra khỏi đó như một người rơm. Hóa ra nếu bạn lấy trên đường biên của quả bóng, nó sẽ trở thành một bài kiểm tra không nhất quán, nó không bao giờ biết chuyện gì đang xảy ra và nguy cơ bùng nổ.$T(X) = \bar{X}_n$$\bar{X}_n$$\epsilon$$\theta \ne 0$$\theta_n$

Trong thế giới minimax, chúng tôi cố gắng giảm thiểu rủi ro. Nó có thể cung cấp cho chúng tôi các công cụ ước tính thiên vị, nhưng chúng tôi không quan tâm, chúng vẫn hoạt động vì có ít cách để phá vỡ hệ thống. Ví dụ, giả sử, tôi quan tâm đến việc suy luận về phân phối phân phối ném bóng cong. Ước tính trung bình được cắt bớt một cách có hệ thống các điểm đòn bẩy cao.$\Gamma(\alpha, \beta_n)$

Kiểm tra hiệu quả có nghĩa là bạn không ước tính điều bạn quan tâm, nhưng gần đúng với điều đó, bởi vì điều này cung cấp một bài kiểm tra mạnh mẽ hơn. Ví dụ tốt nhất tôi có thể nghĩ ở đây là hồi quy logistic. Mọi người luônnhầm lẫn hồi quy logistic với hồi quy rủi ro tương đối. Ví dụ, tỷ lệ chênh lệch là 1,6 đối với bệnh ung thư so sánh người hút thuốc với người không hút thuốc KHÔNG có nghĩa là "người hút thuốc có nguy cơ mắc ung thư cao hơn 1,6". BẮT ĐẦU sai. Đó là một tỷ lệ rủi ro. Về mặt kỹ thuật, họ có tỷ lệ cược gấp 1,6 lần kết quả (nhắc nhở: tỷ lệ cược = xác suất / (1 xác suất)). Tuy nhiên, đối với các sự kiện hiếm, tỷ lệ chênh lệch xấp xỉ tỷ lệ rủi ro. Có hồi quy rủi ro tương đối, nhưng nó có rất nhiều vấn đề với sự hội tụ và không mạnh mẽ như hồi quy logistic. Vì vậy, chúng tôi báo cáo OR dưới dạng ước tính sai lệch của RR (đối với các sự kiện hiếm gặp) và tính toán các giá trị TC và giá trị p hiệu quả hơn.