Xác định sự phân tách dữ liệu tối ưu từ phân phối liên tục

Giả sử bạn có tập dữ liệu từ một phân phối liên tục với mật độ được hỗ trợ trên mà không được biết đến, nhưng là khá lớn do đó, một mật độ hạt nhân (ví dụ) ước , là khá chính xác. Đối với một ứng dụng cụ thể, tôi cần chuyển đổi dữ liệu quan sát thành số lượng danh mục hữu hạn để mang lại tập dữ liệu mới $Y_{1}, ..., Y_{n}$ $p(y)$ $[0,1]$ $n$ $\hat{p}(y)$ $Z_{1}, ..., Z_{n}$ với hàm khối lượng ngụ ý . $g(z)$

Một ví dụ đơn giản sẽ là khi và khi . Trong trường hợp này, hàm khối lượng cảm ứng sẽ là $Z_{i} = 0$ $Y_{i} \leq 1/2$ $Z_{i} = 1$ $Y_{i} > 1/2$

\hat{g} (0) = \int_{0}^{1 / 2} \hat{p} (y) d y, \hat{g} (1) = \int_{1 / 2}^{1} \hat{p} (y) d y

$\hat{g}(0) = \int_{0}^{1/2} \hat{p}(y) dy, \ \ \ \hat{g}(1) = \int_{1/2}^{1} \hat{p}(y)dy$

Hai "các thông số điều chỉnh" ở đây là số lượng các nhóm, , và vector chiều dài ngưỡng . Biểu thị các chức năng hàng loạt gây ra bởi . $m$ $(m-1)$ $\lambda$ $\hat{g}_{m,\lambda}(y)$

Tôi muốn một thủ tục mà câu trả lời, ví dụ, "sự lựa chọn tốt nhất của là gì để tăng số lượng các nhóm để (và lựa chọn tối ưu có) sẽ mang lại một sự cải thiện đáng kể?". Tôi cảm thấy có lẽ một thống kê kiểm tra có thể được tạo ra (có thể với sự khác biệt về phân kỳ KL hoặc một cái gì đó tương tự) có phân phối có thể được lấy. Bất kỳ ý tưởng hoặc tài liệu có liên quan? $m, \lambda$ $m+1$ $\lambda$

Chỉnh sửa: Tôi có các phép đo thời gian cách đều nhau của một biến liên tục và đang sử dụng chuỗi Markov không đồng nhất để mô hình hóa sự phụ thuộc theo thời gian. Thành thật mà nói, chuỗi markov nhà nước rời rạc dễ xử lý hơn nhiều và đó là động lực của tôi. Các dữ liệu quan sát là tỷ lệ phần trăm. Tôi hiện đang sử dụng một biện pháp phân biệt quảng cáo có vẻ rất tốt đối với tôi nhưng tôi nghĩ đây là một vấn đề thú vị khi có thể có giải pháp chính thức (và chung chung).

Chỉnh sửa 2: Trên thực tế việc giảm thiểu phân kỳ KL sẽ tương đương với việc không phân biệt dữ liệu, vì vậy ý tưởng đó hoàn toàn bị loại bỏ. Tôi đã chỉnh sửa cơ thể cho phù hợp.

continuous-data discrete-data

— Vĩ mô
nguồn

Trong hầu hết các trường hợp, nhu cầu của ứng dụng tiếp theo sẽ quyết định mức độ tốt của bất kỳ giải pháp nào. Có lẽ, để cung cấp cho chúng tôi một số hướng dẫn, bạn có thể nói thêm về điều đó.

— whuber

Đầu tiên, xác định những gì bạn có nghĩa là không đáng kể . Ngoài ra, điều này dường như liên quan đến một vấn đề biến dạng tỷ lệ . Văn bản Cover & Thomas cung cấp một giới thiệu dễ đọc cho các chủ đề như vậy.

— Đức hồng y

Tôi nghĩ về sự rời rạc với các mức

như một mô hình với các tham số

(cho các ngưỡng). Trong cài đặt này khi tôi nói không đáng kể, tôi có nghĩa là "không đáng để thêm tham số phụ" theo nghĩa thống kê.

k

$k$

k - 1

$k-1$

— Macro

Tôi không chắc chắn nếu rời rạc thực sự là một động thái tốt. Bạn sẽ không thể khái quát hóa qua các đường viền mà các giá trị rời rạc tạo ra trên không gian ban đầu của các quan sát của bạn.

— bayerj

Tôi sẽ chia sẻ giải pháp mà tôi đã đưa ra cho vấn đề này một thời gian trước - đây không phải là một thử nghiệm thống kê chính thức nhưng có thể cung cấp một heuristic hữu ích.

$Y_{1}, Y_{2}, ..., Y_{n}$ $[0,1]$ $m$ $0 < \lambda_{1} < \lambda_{2} < \cdots < \lambda_{m-1} < 1$

$Y_{i}$ $Z_{i}(m, {\boldsymbol \lambda})$ ${\boldsymbol \lambda} = \{ \lambda_{1}, \lambda_{2}, \cdots, \lambda_{m-1} \}$ $Y_{i}$ $m, {\boldsymbol \lambda}$

v a r (Y_{i}) = v a r (E (Y_{i} | Z_{i} (m, λ))) + E (v a r (Y_{i} | Z_{i} (m, λ))) .

$\begin{equation} {\rm var}(Y_{i}) = {\rm var} \Big( E(Y_{i} | Z_{i}(m, {\boldsymbol \lambda})) \Big) + E \Big( {\rm var}(Y_{i} | Z_{i}(m, {\boldsymbol \lambda})) \Big). \end{equation}$

$E( {\rm var}(Y_{i} | Z_{i}(m, {\boldsymbol \lambda}) )$ $Y_{i}$ ${\rm var}( E(Y_{i} | Z_{i}(m, {\boldsymbol \lambda}) )$ $m$ ${\boldsymbol \lambda}$ $m$

λ_{m}^{⋆} = {a r g m i n}_{λ} E (v a r (Y_{i} | Z_{i} (m, λ)))

$\begin{equation} {\boldsymbol \lambda}^{\star}_{m} = {\rm argmin}_{\boldsymbol \lambda} E \Big( {\rm var}(Y_{i} | Z_{i}(m, {\boldsymbol \lambda})) \Big) \end{equation}$

$m$ $E \Big( {\rm var}(Y_{i} | Z_{i}(m, {\boldsymbol \lambda}^{\star}_{m} )) \Big)$ $m$

— Vĩ mô
nguồn