Làm thế nào để một công cụ ước tính giảm thiểu tổng trọng số của sai lệch bình phương và phương sai phù hợp với lý thuyết quyết định?

Được rồi - tin nhắn ban đầu của tôi không thể tạo ra một phản hồi; Vì vậy, hãy để tôi đặt câu hỏi khác nhau. Tôi sẽ bắt đầu bằng cách giải thích sự hiểu biết của tôi về ước tính từ góc độ lý thuyết quyết định. Tôi không được đào tạo chính thức và điều đó sẽ không làm tôi ngạc nhiên nếu suy nghĩ của tôi bị khiếm khuyết theo một cách nào đó.

Giả sử chúng ta có một số hàm mất . Mất mát dự kiến ​​là rủi ro (thường xuyên):$L(\theta,\hat\theta(x))$

$$R(\theta,\hat\theta(x))=\int L(\theta,\hat\theta(x))\mathcal{L}(\theta,\hat\theta(x))dx,$$

trong đó là khả năng; và rủi ro của Bayes là rủi ro thường xuyên dự kiến:$\mathcal{L}(\theta,\hat\theta(x))$

$$r(\theta,\hat\theta(x))=\int\int R(\theta,\hat\theta(x))\pi (\theta)dxd\theta,$$

trong đó là ưu tiên của chúng tôi.$\pi (\theta)$

Nói chung, chúng tôi thấy giảm thiểu và tất cả điều này hoạt động độc đáo; hơn nữa, định lý của Fubini được áp dụng và chúng ta có thể đảo ngược thứ tự tích hợp sao cho mọi cho mà tối thiểu hóa là độc lập với tất cả các thứ khác. Bằng cách này, nguyên tắc khả năng không bị vi phạm và chúng ta có thể cảm thấy tốt khi trở thành Bayes và vân vân.$\hat\theta(x)$$r$$\hat\theta(x)$$r$

Ví dụ: với lỗi mất bình phương quen thuộc, rủi ro thường gặp của chúng tôi là lỗi bình phương trung bình hoặc tổng về thiên vị và phương sai bình phương và rủi ro Bayes của chúng ta là tổng số dự kiến ​​của sai lệch bình phương và phương sai được đưa ra trước đó - nghĩa là tổn thất dự kiến ​​sau đó.$L(\theta,\hat\theta(x))=(\theta- \hat\theta(x))^2,$

Điều này có vẻ hợp lý với tôi cho đến nay (mặc dù tôi có thể khá sai); nhưng, trong mọi trường hợp, mọi thứ trở nên ít ý nghĩa hơn đối với tôi đối với một số mục tiêu khác. Ví dụ: giả sử thay vì giảm thiểu tổng sai lệch và phương sai bình phương có trọng số bằng nhau , tôi muốn giảm thiểu một tổng có trọng số không bằng nhau - nghĩa là tôi muốn giảm thiểu:$\hat\theta(x)$

$$(\mathbb{E}[\hat\theta(x)]-\theta)^2+k\mathbb{E}[(\hat\theta(x)-\mathbb{E}[\hat\theta(x)])^2],$$

Trong đó là một hằng số thực dương (khác 1).$k$

Tôi thường coi một khoản tiền như thế này là "hàm mục tiêu" mặc dù có thể tôi đang sử dụng thuật ngữ đó không chính xác. Câu hỏi của tôi không phải là về cách tìm giải pháp - tìm để giảm thiểu chức năng mục tiêu này có thể thực hiện được bằng số - thay vào đó, câu hỏi của tôi có hai mặt:$\hat\theta(x)$

1. Một chức năng mục tiêu như vậy có thể phù hợp với mô hình lý thuyết quyết định? Nếu không, có một khuôn khổ khác mà nó phù hợp? Nếu có, làm thế nào? Có vẻ như hàm mất liên quan sẽ là hàm của , và , mà - vì kỳ vọng - là ( Tôi nghĩ) không đúng.$\theta$$\hat\theta(x)$$\mathbb{E}[\hat\theta(x)]$

2. Hàm mục tiêu như vậy vi phạm nguyên tắc khả năng bởi vì bất kỳ ước tính nào được đưa ra phụ thuộc vào tất cả các ước tính khác của (ngay cả những giả thuyết). Tuy nhiên, có những trường hợp khi giao dịch gia tăng phương sai lỗi để giảm sai lệch là mong muốn. Đưa ra một mục tiêu như vậy, có cách nào để khái niệm hóa vấn đề sao cho phù hợp với nguyên tắc khả năng?$\hat\theta(x_{j})$$\hat\theta(x_{i\neq j})$

Tôi cho rằng tôi đã không hiểu một số khái niệm cơ bản về lý thuyết quyết định / ước tính / tối ưu hóa. Cảm ơn trước cho bất kỳ câu trả lời và xin vui lòng giả sử tôi không biết gì vì tôi không được đào tạo trong lĩnh vực này hoặc toán học nói chung hơn. Ngoài ra, bất kỳ tài liệu tham khảo được đề xuất (cho người đọc ngây thơ) đều được đánh giá cao.

Đây là một câu hỏi khá thú vị và mới lạ! Ở cấp độ chính thức, sử dụng hàm rủi ro thường xuyên có nghĩa là sử dụng (ví dụ) hàm mất được định nghĩa là kể từ khi không có lý do gì để cấm các kỳ vọng như xuất hiện trong hàm mất. Rằng chúng phụ thuộc vào toàn bộ phân phối của là một tính năng có vẻ kỳ lạ, nhưng toàn bộ phân phối được đặt là một chức năng của và do đó mất kết quả là một chức năng của

$$(\mathbb{E}_\theta[\hat\theta(X)]-\theta)^2+k\mathbb{E}_\theta[(\hat\theta(X)-\mathbb{E}[\hat\theta(X)])^2],$$ $$L(\theta,\hat{\theta})=(\mathbb{E}_\theta[\hat\theta(X)]-\theta)^2+k(\hat\theta-\mathbb{E}_\theta[\hat\theta(X)])^2$$ $\mathbb{E}_\theta[\hat\theta(X)]$$\hat{\theta}(X)$$\theta$$\theta$ , và phân phối .$\hat{\theta}$$\hat{\theta}(X)$

Tôi hoàn toàn có thể dự báo một sự phản đối sắp tới rằng hàm mất về nguyên tắc là một hàm của trạng thái tự nhiên, và của một hành động, , diễn ra trong không gian tham số , do đó không liên quan đến giả định phân phối nào. Đó là chính xác từ một quan điểm lý thuyết trò chơi. Nhưng vì đây là lý thuyết quyết định thống kê, trong đó quyết định sẽ phụ thuộc vào quan sát của biến ngẫu nhiên , tôi không hiểu lý do tại sao việc khái quát hóa trong đó hàm mất phụ thuộc vào phân phối của , được lập chỉ mục bởi$L(\theta,\delta)$$\theta$$\delta$$\Theta$$\delta$$x$$X$$X$$\theta$, không thể được xem xét. Rằng nó có thể vi phạm nguyên tắc khả năng không phải là mối quan tâm trực tiếp đối với lý thuyết quyết định và không ngăn cản việc phái sinh chính thức của một người ước tính Bayes.