Định nghĩa gia đình của một phân phối?

Có một gia đình phân phối có một định nghĩa khác cho thống kê so với các ngành khác không?

Nói chung, một họ các đường cong là một tập hợp các đường cong, mỗi đường cong được đưa ra bởi một hàm hoặc tham số hóa trong đó một hoặc nhiều tham số được thay đổi. Các gia đình như vậy được sử dụng, ví dụ, để mô tả các thành phần điện tử .

Để thống kê, một gia đình theo một nguồn là kết quả của việc thay đổi tham số hình dạng. Làm thế nào chúng ta có thể hiểu rằng phân phối gamma có tham số hình dạng và tỷ lệ và ngoài ra chỉ có phân phối gamma tổng quát mới có tham số vị trí? Điều đó làm cho gia đình kết quả của việc thay đổi tham số vị trí? Theo @whuber ý nghĩa của một gia đình là ngầm A "tham số" của một gia đình là một bản đồ liên tục từ một tập hợp con của ℝ n , với topo thông thường của nó, vào không gian của phân phối, mà hình ảnh là gia đình đó.$^n$

Điều gì, trong ngôn ngữ đơn giản, là một gia đình cho phân phối thống kê?

Một câu hỏi về mối quan hệ giữa các thuộc tính thống kê của các bản phân phối từ cùng một gia đình đã tạo ra tranh cãi đáng kể cho một câu hỏi khác vì vậy có vẻ đáng để khám phá ý nghĩa.

Rằng đây không hẳn là một câu hỏi đơn giản được sinh ra bởi việc sử dụng nó trong cụm từ gia đình hàm mũ , không liên quan gì đến một họ đường cong, nhưng có liên quan đến việc thay đổi hình thức phân phối PDF bằng cách xác định lại không chỉ các tham số , nhưng cũng thay thế các chức năng của các biến ngẫu nhiên độc lập.

Các khái niệm thống kê và toán học hoàn toàn giống nhau, hiểu rằng "gia đình" là một thuật ngữ toán học chung với các biến thể kỹ thuật phù hợp với các hoàn cảnh khác nhau:

Một họ tham số là một đường cong (hoặc bề mặt hoặc tổng quát hóa chiều hữu hạn khác) trong không gian của tất cả các phân phối.

Phần còn lại của bài viết này giải thích điều đó có nghĩa là gì. Bên cạnh đó, tôi không nghĩ bất kỳ điều nào trong số này gây tranh cãi, cả về mặt toán học hay thống kê (ngoài một vấn đề nhỏ được ghi chú dưới đây). Để hỗ trợ cho ý kiến ​​này, tôi đã cung cấp nhiều tài liệu tham khảo (chủ yếu cho các bài viết trên Wikipedia).

Thuật ngữ này của "gia đình" có xu hướng được sử dụng khi nghiên cứu các lớp của các hàm thành một tập hợp Y hoặc "bản đồ". Cho một miền X , một họ F của các bản đồ trên X được tham số hóa bởi một số bộ Θ ("tham số") là một hàm$\mathcal C_Y$$Y$$X$ $\mathcal F$$X$ $\Theta$

mà (1) cho mỗi , hàm F θ : X → Y do F θ ( x ) = F ( x , θ ) là trong C Y và (2) F chính nó có một số "đẹp" tài sản.$\theta\in\Theta$$\mathcal{F}_\theta:X\to Y$$\mathcal{F}_\theta(x)=\mathcal{F}(x,\theta)$$\mathcal{C}_Y$$\mathcal F$

Ý tưởng là chúng tôi muốn thay đổi các chức năng từ sang Y theo cách "trơn tru" hoặc được kiểm soát. Bất Động Sản (1) phương tiện mà mỗi θ chỉ định như một chức năng, trong khi các chi tiết của tài sản (2) sẽ nắm bắt được ý nghĩa trong đó một sự thay đổi "nhỏ" trong θ gây ra một cách đầy đủ sự thay đổi "nhỏ" trong F θ .$X$$Y$$\theta$$\theta$$\mathcal{F}_\theta$

Một ví dụ toán học tiêu chuẩn, gần với một ví dụ được đề cập trong câu hỏi, là một phép đồng luân . Trong trường hợp này là loại bản đồ liên tục từ không gian tôpô X vào không gian tôpô Y ; Θ = [ 0 , 1 ] ⊂ R là khoảng thời gian đơn vị với topo thông thường của nó, và chúng tôi yêu cầu F là một liên tục bản đồ từ các sản phẩm topo X × Θ vào 0 đến F 1 ." Khi X $\mathcal{C}_Y$ $X$$Y$$\Theta=[0,1]\subset\mathbb{R}$$\mathcal{F}$$X \times \Theta$ . Nó có thể được coi là "biến dạng liên tục của bản đồ$Y$$\mathcal{F}_0$$\mathcal{F}_1$ chính nó là một khoảng, các bản đồ như vậy làcác đường cong$X=[0,1]$ trong và phép đồng hình là một biến dạng trơn tru từ đường cong này sang đường cong khác.$Y$

Đối với các ứng dụng thống kê, là tập hợp tất cả các phân phối trên R (hoặc, trong thực tế, trên R n đối với một số n , nhưng để giữ cho giải trình đơn giản, tôi sẽ tập trung vào n = 1 ). Chúng tôi có thể xác định nó với tập hợp tất cả các hàm càdlàg không giảm R → [ 0 , 1 ] trong đó việc đóng phạm vi của chúng bao gồm cả 0 và 1 : đây là các hàm phân phối tích lũy hoặc đơn giản là các hàm phân phối. Do đó, X = R và$\mathcal{C}_Y$$\mathbb{R}$$\mathbb{R}^n$$n$$n=1$$\mathbb{R}\to [0,1]$$0$$1$$X=\mathbb R$ .$Y=[0,1]$

Một gia đình của các bản phân phối là bất kỳ tập hợp con của . $\mathcal{C}_Y$ Một tên khác cho một gia đình là mô hình thống kê. Nó bao gồm tất cả các phân phối mà chúng tôi cho rằng chi phối các quan sát của chúng tôi, nhưng chúng tôi không biết phân phối nào là phân phối thực tế.

• Một gia đình có thể trống rỗng.
• Bản thân C Y là một gia đình.$\mathcal{C}_Y$
• Một gia đình có thể bao gồm một phân phối duy nhất hoặc chỉ là một số lượng hữu hạn của chúng.

Những đặc điểm lý thuyết tập hợp trừu tượng này là tương đối ít quan tâm hoặc tiện ích. Chỉ khi chúng ta xem xét cấu trúc toán học bổ sung (có liên quan) trên thì khái niệm này mới trở nên hữu ích. Nhưng tính chất nào của C Y là lợi ích thống kê? Một số xuất hiện thường xuyên là:$\mathcal{C}_Y$$\mathcal{C}_Y$

1. làtập lồi: với hai phân phối F , G ∈ C Y , chúng ta có thể tạo thànhphân phối hỗn hợp(1-t) F +t G ∈Ycho tất cảt∈[0,1]. Đây là một loại "homotopy" từFđến$\mathcal{C}_Y$${F}, {G}\in \mathcal{C}_Y$ $(1-t){F}+t{G}\in Y$$t\in[0,1]$$F$$G$ .

2. Phần lớn của hỗ trợ các số liệu giả khác nhau, chẳng hạn như phân kỳ Kullback-Leibler hoặc số liệu Thông tin Fisher liên quan chặt chẽ.$\mathcal{C}_Y$

3. có cấu trúc phụ: tương ứng với bất kỳ hai phân bốFvàGlà tổng của chúng, F ⋆ G .$\mathcal{C}_Y$$F$$G$${F}\star {G}$

4. hỗ trợ nhiều chức năng tự nhiên, hữu ích, thường được gọi là "thuộc tính". Chúng bao gồm bất kỳ lượng tử cố định (như trung vị) cũng như các chấttích lũy.$\mathcal{C}_Y$

5. là tập con của mộtkhông gian hàm. Như vậy, nó thừa hưởng nhiều số liệu hữu ích, chẳng hạn nhưđịnh mức sup( L ∞ Norm ) được đưa ra bởi | | F-G | | ∞ = sup x ∈ R | F(x)-G(x) | $\mathcal{C}_Y$$L^\infty$

   $$||F-G||_\infty = \sup_{x\in\mathbb{R}}|F(x)-G(x)|.$$

6. Tự nhiên hành động nhóm trên gây ra các hành động trên C Y . Những hành động phổ biến là dịch T μ : x → x + μ và xỉ S σ : x → x σ cho σ > 0 . Hiệu quả này có trên một bản phân phối là gửi F để phân phối do F L , σ ( x ) = F ( ( x - μ $\mathbb R$$\mathcal{C}_Y$ $T_\mu:x \to x+\mu$ $S_\sigma:x\to x\sigma$$\sigma\gt 0$$F$$F^{\mu,\sigma}(x) = F((x-\mu)/\sigma)$ . Những điều này dẫn đến các khái niệm về gia đình quy mô địa điểm và khái quát hóa của họ. (Tôi không cung cấp tài liệu tham khảo, bởi vì các tìm kiếm trên web mở rộng đưa ra nhiều định nghĩa khác nhau: ít nhất, ở đây, có thể là một chút tranh cãi.)

Các tính chất quan trọng phụ thuộc vào vấn đề thống kê và vào cách bạn định phân tích dữ liệu. Việc giải quyết tất cả các biến thể được đề xuất bởi các đặc điểm trước sẽ chiếm quá nhiều không gian cho phương tiện này. Hãy tập trung vào một ứng dụng quan trọng phổ biến.

Lấy ví dụ, khả năng tối đa. Trong hầu hết các ứng dụng, bạn sẽ muốn có thể sử dụng Giải tích để có được ước tính. Để làm việc này, bạn phải có khả năng "lấy dẫn xuất" trong gia đình.

( Kỹ thuật sang một bên: Cách thông thường mà điều này được thực hiện là để chọn một tên miền cho d ≥ 0 và chỉ định một liên tục, nghịch cục bộ chức năng p từ Θ vào C Y (Điều này có nghĩa rằng đối với mỗi. Q ∈ Θ có tồn tại một bóng B ( θ , ε ) , với ε > 0 mà p | B ( θ , ε )$\Theta\subset \mathbb{R}^d$$d\ge 0$$p$$\Theta$$\mathcal{C}_Y$$\theta\in\Theta$$B(\theta, \epsilon)$$\epsilon\gt 0$bởi một lượng đủ nhỏ, chúng tôi sẽ luôn luôn có được một bản phân phối khác nhau.)) là one-to-one. Nói cách khác, nếu chúng ta thay đổi$p\mid_{B(\theta,\epsilon)}: B(\theta,\epsilon)\cap \Theta \to \mathcal{C}_Y$$\theta$

Do đó, trong hầu hết các ứng dụng ML chúng tôi yêu cầu được liên tục (và hy vọng, gần như ở khắp mọi nơi khả vi) trong Θ thành phần. (Không có tính liên tục, tối đa hóa khả năng thường trở thành một vấn đề khó giải quyết.) Điều này dẫn đến định nghĩa theo định hướng khả năng sau đây của một$p$$\Theta$ gia đình tham số :

Một gia đình tham số của phân phối (đơn biến) là một bản đồ nghịch địa phương với q ⊂ R n , mà (a) mỗi F θ là một chức năng phân phối và (b) cho mỗi x ∈ R , hàm L x : θ → [ 0 , 1 ] do L x ( θ ) = F ( x

$$\mathcal{F}:\mathbb{R}\times\Theta \to [0,1],$$ $\Theta\subset \mathbb{R}^n$$\mathcal{F}_\theta$$x\in\mathbb R$$\mathcal{L}_x: \theta\to [0,1]$$\mathcal{L}_x(\theta) = \mathcal{F}(x,\theta)$ là liên tục và hầu như mọi nơi khác biệt.

Lưu ý rằng một gia đình tham số là nhiều hơn chỉ là bộ sưu tập của F θ : nó cũng bao gồm cụ thể cách thức mà giá trị tham số $\mathcal F$$\mathcal{F}_\theta$$\theta$ tương ứng với phân phối.

Hãy kết thúc với một số ví dụ minh họa.

• Đặt là tập hợp của tất cả các phân phối chuẩn. Như đã cho, đây không phải là một gia đình tham số: nó chỉ là một gia đình. Để được tham số, chúng ta phải chọn một tham số. Một cách là chọn Θ = { ( μ , σ ) ∈ R 2 | σ > 0 } và để ánh xạ ( μ , σ ) để phân phối chuẩn với trung bình μ và phương sai σ $\mathcal{C}_Y$$\Theta = \{(\mu,\sigma)\in\mathbb{R}^2\mid \sigma \gt 0\}$$(\mu,\sigma)$$\mu$$\sigma^2$ .

• Tập hợp các Poisson phân phối$(\lambda)$ là một gia đình tham số với $\lambda\in\Theta=(0,\infty)\subset\mathbb{R}^1$ .

• Tập hợp các Uniform phân phối (có tính năng nổi bật trong nhiều bài tập sách giáo khoa) là một gia đình tham số với θ ∈ R 1 . Trong trường hợp này, F θ ( x ) = max ( 0 , min ( 1 , x - θ ) ) là khả vi trong θ trừ θ ∈ { x , x - 1 } .$(\theta, \theta+1)$$\theta\in\mathbb{R}^1$$F_\theta(x) = \max(0, \min(1, x-\theta))$$\theta$$\theta\in\{x, x-1\}$

• Let $F$ and $G$ be any two distributions. Then $\mathcal{F}(x,\theta)=(1-\theta)F(x)+\theta G(x)$ is a parametric family for $\theta\in[0,1]$. (Proof: the image of $\mathcal F$ is a set of distributions and its partial derivative in $\theta$ equals $-F(x)+G(x)$ which is defined everywhere.)

• $\Theta\subset\mathbb{R}^4$, which includes (among others) the Normal distributions, Beta distributions, and Inverse Gamma distributions. This illustrates the fact that any one given distribution may belong to many different distribution families. This is perfectly analogous to observing that any point in a (sufficiently large) space may belong to many paths that intersect there. This, together with the previous construction, shows us that no distribution uniquely determines a family to which it belongs.

• The family $\mathcal{C}_Y$ of all finite-variance absolutely continuous distributions is not parametric. The proof requires a deep theorem of topology: if we endow $\mathcal{C}_Y$ with any topology (whether statistically useful or not) and $p: \Theta\to\mathcal{C}_Y$ is continuous and locally has a continuous inverse, then locally $\mathcal{C}_Y$ must have the same dimension as that of $\Theta$. However, in all statistically meaningful topologies, $\mathcal{C}_Y$ is infinite dimensional.

To address a specific point brought up in the question: "exponential family" does not denote a set of distributions. (The standard, say, exponential distribution is a member of the family of exponential distributions, an exponential family; of the family of gamma distributions, also an exponential family; of the family of Weibull distributions, not an exponential family; & of any number of other families you might dream up.) Rather, "exponential" here refers to a property possessed by a family of distributions. So we shouldn't talk of "distributions in the exponential family" but of "exponential families of distributions"—the former is an abuse of terminology, as @JuhoKokkala points out. For some reason no-one commits this abuse when talking of location–scale families.

Thanks to @whuber there is enough information to summarize in what I hope is a simpler form relating to the question from which this post arose. "Another name for a family [Sic, statistical family] is [a] statistical model."

From that Wikipedia entry: A statistical model consists of all distributions that we suppose govern our observations, but we do not otherwise know which distribution is the actual one. What distinguishes a statistical model from other mathematical models is that a statistical model is non-deterministic. Thus, in a statistical model specified via mathematical equations, some of the variables do not have specific values, but instead have probability distributions; i.e., some of the variables are stochastic. A statistical model is usually thought of as a pair $( S , P )$, where $S$ is the set of possible observations, i.e., the sample space, and $P$ is a set of probability distributions on $S$.

Suppose that we have a statistical model $(S, \mathcal{P})$ with $\mathcal{P}=\{P_{\theta} : \theta \in \Theta\}$. The model is said to be a Parametric model if $\Theta$ has a finite dimension. In notation, we write that $\Theta \subseteq \mathbb{R}^d$ where $d$ is a positive integer ($\mathbb{R}$ denotes the real numbers; other sets can be used, in principle). Here, $d$ is called the dimension of the model.

As an example, if we assume that data arise from a univariate Gaussian distribution, then we are assuming that

Thus, if we reduce the dimensionality by assigning, for the example above, $\mu=0$, we can show a family of curves by plotting $\sigma=1,2,3,4,5$ or whatever choices for $\sigma$.