Khoảng cách giữa hỗn hợp Gaussian hữu hạn và Gaussian là bao nhiêu?

Giả sử tôi có một hỗn hợp gồm nhiều Gaussian có trọng số, phương tiện và độ lệch chuẩn đã biết. Các phương tiện không bằng nhau. Tất nhiên, độ lệch trung bình và độ lệch chuẩn của hỗn hợp có thể được tính toán, vì các khoảnh khắc được tính trung bình trọng số của các khoảnh khắc của các thành phần. Hỗn hợp không phải là một phân phối bình thường, nhưng nó là bao xa so với bình thường?

Hình trên cho thấy mật độ xác suất của hỗn hợp Gaussian với các phương tiện thành phần được phân tách bằng độ lệch chuẩn (của các thành phần) và một Gaussian duy nhất có cùng giá trị trung bình và phương sai.$2$

Ở đây các phương tiện được phân tách bằng độ lệch chuẩn và khó có thể tách hỗn hợp ra khỏi Gaussian bằng mắt.$1$

Động lực: Tôi không đồng ý với một số người lười biếng về một số phân phối thực tế mà họ chưa đo được mà họ cho là gần với mức bình thường vì điều đó sẽ tốt. Tôi cũng lười Tôi cũng không muốn đo lường sự phân phối. Tôi muốn có thể nói rằng các giả định của họ không nhất quán, bởi vì họ đang nói rằng một hỗn hợp hữu hạn của Gaussian với các phương tiện khác nhau là một Gaussian không đúng. Tôi không chỉ muốn nói rằng hình dạng tiệm cận của đuôi là sai bởi vì đây chỉ là những xấp xỉ được cho là chính xác một cách hợp lý trong một vài độ lệch chuẩn của giá trị trung bình. Tôi muốn có thể nói rằng nếu các thành phần được xấp xỉ bằng các phân phối bình thường thì hỗn hợp không có, và tôi muốn có thể định lượng được điều này.

Tôi không biết khoảng cách phù hợp từ tính quy tắc để sử dụng: tối đa về sự khác biệt giữa các CDF, khoảng cách , khoảng cách của người điều khiển trái đất, phân kỳ KL, v.v. các biện pháp khác. Tôi sẽ rất vui khi biết khoảng cách đến Gaussian với cùng độ lệch trung bình và độ lệch chuẩn như hỗn hợp hoặc khoảng cách tối thiểu với bất kỳ Gaussian nào. Nếu nó giúp, bạn có thể hạn chế trong trường hợp hỗn hợp có Gaussian để trọng lượng nhỏ hơn lớn hơn .$L^1$$2$$1/4$

Phân kỳ KL sẽ là tự nhiên vì bạn có phân phối cơ sở tự nhiên, Gaussian đơn, từ đó hỗn hợp của bạn phân kỳ. Mặt khác, sự phân kỳ KL (hoặc dạng 'khoảng cách' đối xứng của nó) giữa hai hỗn hợp Gaussian, trong đó vấn đề của bạn là một trường hợp đặc biệt, nói chung có vẻ khó hiểu. Hershey và Olson (2007) trông giống như một bản tóm tắt hợp lý về các xấp xỉ có sẵn, bao gồm các phương pháp đa dạng có thể có thể đưa ra các giới hạn dễ dàng hơn.

Tuy nhiên, nếu bạn muốn tranh luận về tác động xấu của việc giả định một thứ gì đó là Gaussian khi nó thực sự là một hỗn hợp thì tốt nhất bạn nên biết về hậu quả mà bạn thực sự quan tâm - một cái gì đó cụ thể hơn là 'sai '(Đây là điểm của Michael-Chernick). Ví dụ: hậu quả của một bài kiểm tra, hoặc một khoảng thời gian, hoặc somesuch. Hai tác dụng rõ ràng của hỗn hợp là quá mức, được đảm bảo khá nhiều, và đa phương thức, sẽ gây nhầm lẫn tối đa hóa.

Hãy để tôi theo dõi về việc xem xét các hậu quả của đặc tả phân phối không chính xác. Thay vì sử dụng thước đo chung về khoảng cách, chẳng hạn như Phân kỳ KL, bạn có thể đánh giá một thước đo tùy chỉnh về "sự khác biệt", gây ra hậu quả trong tầm tay.

Ví dụ, nếu phân phối sẽ được sử dụng để tính toán rủi ro, ví dụ để xác định rằng xác suất thất bại là đủ thấp, thì điều duy nhất quan trọng trong sự phù hợp là các tính toán xác suất ở đuôi cực đoan. Điều này có thể liên quan đến các quyết định về các chương trình trị giá hàng tỷ đô la, và liên quan đến các vấn đề của sự sống và cái chết.

Đâu là giả định bình thường có khả năng không chính xác nhất? Trong nhiều trường hợp, trong các đuôi cực đoan, nơi duy nhất quan trọng đối với các tính toán rủi ro quan trọng này. Ví dụ, phân phối thực của bạn là hỗn hợp các Normals có cùng giá trị trung bình, nhưng độ lệch chuẩn khác nhau, thì các đuôi của phân phối hỗn hợp sẽ béo hơn các đuôi của phân phối chuẩn có cùng độ lệch chuẩn và trung bình. Điều này có thể dễ dàng dẫn đến các lệnh chênh lệch cường độ (đánh giá thấp rủi ro) cho xác suất ở đuôi cực đoan.

$U$$P(X_{Mixture} > U) - P(X_{Normal} > U)$