Là kỳ vọng của số liệu thống kê đầy đủ

Một họ theo cấp số nhân được xác định bằng hai thành phần: - mật độ cơ sở - một số thống kê đầy đủ$q_0(x)$$S_i(x)$

Gia đình là tất cả các mật độ xác suất có thể được viết là:

$$q(x| (\lambda)_i ) \propto q_0(x) \exp \left( \sum_i \lambda_i S_i(x) \right)$$

Người ta biết rằng mối quan hệ giữa các tham số và giá trị mong đợi của số liệu thống kê đầy đủ: là một mệnh đề.$(\lambda_i)$

$$E_q( S_i(x) | (\lambda_i) ) = \frac{\int S_i (x) q_0(x) \exp \left( \sum_i \lambda_i S_i(x) \right) dx}{ \int q_0(x) \exp \left( \sum_i \lambda_i S_i(x) \right) dx}$$

Câu hỏi của tôi là liệu sự lựa chọn này có đạt được "tất cả các giá trị có thể" cho . Trong câu hỏi ban đầu của tôi, tôi đã đưa ra một định nghĩa rất kém về tập hợp "tất cả các giá trị có thể" này khiến cho câu trả lời cho câu hỏi của tôi là, hơi tầm thường, không.$E_q( S_i(x) | (\lambda_i) )$

Để xác định, "tất cả các giá trị có thể", chúng ta phải xem xét hình ảnh của hàm có giá trị véc tơ:

$$x \rightarrow \mathbf{S}(x)$$

Giá trị trong có thể đạt được bằng giá trị mong đợi của trong mật độ xác suất khi và chỉ khi nó nằm trong vỏ lồi của hình ảnh của .$\mathbb{R}^d$$\mathbf{S}$$p(x)$$\mathbf{S}$

Câu hỏi đặt ra là: khi nào thì giá trị mong đợi của trong gia đình hàm mũ cũng có tính chất này bao trùm toàn bộ thân lồi của hình ảnh của ?$\mathbf{S}$$\mathbf{S}$

Đây là hai ví dụ:

Họ gaussian trong n chiều: số liệu thống kê đầy đủ là tất cả các khoảnh khắc đầu tiên và thứ hai. Đó thực sự là trường hợp mà tất cả các khoảnh khắc đầu tiên và thứ hai có thể đạt được bởi một Gaussian.

Họ theo cấp số nhân:

$$q(x|\lambda) = exp( - |x| + \lambda x^2 )$$

không đạt được tất cả các giá trị cho giây thứ hai: các giá trị vượt quá giới hạn trên tại không đạt được.$\lambda=0$

Ví dụ thứ hai này khiến tôi nghĩ rằng các vấn đề sẽ xảy ra ở đuôi, nếu chúng xảy ra, nhưng có lẽ trực giác đó là sai.

Câu trả lời ngắn gọn cho OP

Không nhất thiết, nó phụ thuộc vào việc hình nón lồi mở rộng có được kéo dài hay không bằng cách thay đổi ngoài phạm vi không gian tham số của bạn có thể bao phủ toàn bộ không gian tham số trung bình. Một tình huống là mô hình hàm mũ của bạn bị tham số hóa quá mức, trong đó bạn không thể "lấp đầy" toàn bộ không gian bằng cách thay đổi 's; tình huống khác là gia đình theo cấp số nhân của bạn bị cong, điều này cũng thất bại như vậy. Xem thêm câu trả lời của tôi TẠI ĐÂY$\lambda_i$$\lambda$

Tôi không thực sự muốn biến câu trả lời này thành một giải thích về không gian tham số trung bình (Có thể là [Brown], nhưng chưa hoàn chỉnh), nhưng dường như không thể tránh khỏi bây giờ theo các cuộc thảo luận liên tiếp. Tôi thực sự không biết liệu có bất kỳ chuyên luận nào dành cho không gian tham số trung bình hay không, nhưng không gian tham số trung bình mang lại sự biểu hiện tự nhiên của họ các biện pháp xác suất và do đó thuận tiện trong phân tích lồi. Trong hầu hết các ứng dụng thống kê, sự khác biệt là quá mạnh so với thực tế.

$\bullet$ Các thông số wrt khác biệt thường chỉ được giả định để đảm bảo một số loại nhất quán khi các giả định khác là tầm thường hoặc quá phức tạp để chính thức hóa. Ví dụ: phương pháp Bootstrap .

$\bullet$ tham số wrt liên tục là một giả định khá nhẹ và đôi khi chúng tôi muốn giả sử nó ngay cả khi dữ liệu được thu thập dường như rời rạc. Liên tục sẽ cho phép loại suy luận cục bộ nhưng một số kỹ thuật tối ưu hóa bị mất sức mạnh của họ. Ví dụ: phương pháp gradient nhanh nhất.

$\bullet$ Tham số wrt lồi là giả định yếu nhất trong số ba, nhưng ngay cả vậy chúng ta không luôn muốn giả định điều đó. Ví dụ chức năng mất lõm.

Không gian tham số trung bình được giới thiệu để cung cấp cho "họ lồi" một đại diện hữu ích. Sau này trong nghiên cứu về tính tích cực [Karlin], tính đối ngẫu giữa không gian tham số trung bình và họ pms được tìm thấy là rất hữu ích. Có những động lực khác như tính đối ngẫu của Frenchel từ phân tích lồi giải thích tại sao chúng ta nghiên cứu không gian tham số trung bình. Nhưng bạn có thể thấy rằng một số loại nâng cấp thường được giới thiệu để mô hình hóa không gian lồi sau không gian Hilbert.

Bây giờ chúng tôi giải thích tại sao không gian tham số có nghĩa là quan trọng. Xác định hình nón kép cho hình nón lồi Trong trường hợp đặc biệt, định lý biểu diễn Karlin-Shapley [Karlin & Shapley] đã nói với chúng ta rằng các tia / điểm cực trị của hình nón kép của không gian khoảnh khắc liên quan đến gia đình nằm chính xác ở ranh giới của không gian tham số.$C\subset\mathbb{R}^{n+1}$ $C^+:=\{v\in\mathbb{R}^{n+1}:<v,u>\geq 0,\forall u\in C\}$

Đối với những loại giá trị có thể gia đình đủ đạt được, nếu thống kê đủ là cũng đầy đủ và có kích thước tương tự như không gian tham số, có nghĩa là cấu trúc của gia đình mũ là tuyến tính, sau đó tôi tin rằng chừng nào không gian tham số không có ranh giới suy biến, kỳ vọng của số liệu thống kê đủ có thể vượt qua tất cả các giá trị. Từ quan điểm của hình học, chỉ khi hình nón kép suy biến, bạn có thể vượt qua toàn bộ không gian, đạt được tất cả "giá trị có thể" có thể có.$S(X)$$ES(X)$$ES(X)$

Khi nó không đầy đủ hoặc quá tham số hoặc cong, tôi không chắc chắn.

Trong ví dụ thứ hai của bạn, hình nón kép của không gian khoảnh khắc thực sự là một hình nón nghiêm ngặt trong khi trong ví dụ đầu tiên là hình nón bị thoái hóa (toàn bộ , chỉ cần tưởng tượng rằng đường kính của hình nón có xu hướng ). Nhưng tôi vẫn không rõ làm thế nào bạn đạt được kết quả mà bạn tuyên bố.$\mathbb{R}\times\mathbb{R}$$\infty$

Tài liệu tham khảo

[Brown] Brown, Lawrence D. "Nguyên tắc cơ bản của các gia đình hàm mũ thống kê với các ứng dụng trong lý thuyết quyết định thống kê." Bài giảng Ghi chú-chuyên khảo loạt 9 (1986): i-279.

[Karlin] Karlin, Samuel. Tổng số tích cực. Tập 1. Nhà xuất bản Đại học Stanford, 1968.

[Karlin & Shapley] Karlin, Samuel và Lloyd S. Shapley. Hình học của không gian khoảnh khắc. Số 12. Hội toán học Mỹ, 1953.