Phân phối thay thế theo kinh nghiệm

NGÂN HÀNG:

Tiền thưởng đầy đủ sẽ được trao cho người cung cấp tài liệu tham khảo cho bất kỳ bài báo được xuất bản nào sử dụng hoặc đề cập đến công cụ ước tính $\tilde{F}$ dưới đây.

Động lực:

Phần này có lẽ không quan trọng đối với bạn và tôi nghi ngờ nó sẽ không giúp bạn nhận được tiền thưởng, nhưng vì có ai đó hỏi về động lực, đây là những gì tôi đang làm.

Tôi đang làm việc trên một vấn đề lý thuyết đồ thị thống kê. Đối tượng giới hạn đồ thị dày đặc tiêu chuẩn $W : [0,1]^2 \to [0,1]$ là một hàm đối xứng theo nghĩa $W(u,v) = W(v,u)$ . Lấy mẫu một đồ thị trên $n$ đỉnh có thể được coi là lấy mẫu $n$ giá trị đồng nhất trên khoảng đơn vị ( $U_i$ cho $i = 1, \dots, n$) và sau đó xác suất của một cạnh $(i,j)$ là $W(U_i, U_j)$ . Hãy để cho kết quả là ma trận kề được gọi là $A$ .

$W$$f = W / \iint W$$\iint W > 0$$f$$A$$f$$f$$f$$\sum A$$W$

Thật không may, phương pháp mà tôi tìm thấy cho thấy tính nhất quán khi chúng tôi lấy mẫu từ phân phối với mật độ $f$ . Cách $A$ được xây dựng yêu cầu tôi lấy mẫu một lưới các điểm (trái ngược với việc lấy các điểm rút ra từ ban đầu $f$). Trong số liệu thống kê này. Câu hỏi của tôi, tôi đang hỏi về vấn đề 1 chiều (đơn giản hơn) về những gì xảy ra khi chúng ta chỉ có thể lấy mẫu Bernoullis trên lưới như thế này thay vì lấy mẫu trực tiếp từ phân phối.

tài liệu tham khảo cho giới hạn đồ thị:

L. Lovasz và B. Szegedy. Giới hạn của chuỗi đồ thị dày đặc ( arxiv ).

C. Borgs, J. Chayes, L. Lovasz, V. Sos và K. Vesztergombi. Trình tự hội tụ của đồ thị dày đặc i: Tần số đồ thị, thuộc tính số liệu và kiểm tra. ( arxiv ).

Ký hiệu:

Xem xét phân phối liên tục với cdf $F$ và pdf $f$ có hỗ trợ tích cực trong khoảng $[0,1]$ . Giả sử $f$ không có pointmass, $F$ là ở khắp mọi nơi khả vi, và cũng là $\sup_{z \in [0,1]} f(z) = c < \infty$ là supremum của $f$ trên khoảng $[0,1]$ . Đặt $X \sim F$ có nghĩa là biến ngẫu nhiên$X$ được lấy mẫu từ phân phối$F$ . $U_i$ là iid các biến ngẫu nhiên thống nhất trên$[0,1]$ .

Vấn đề được đặt ra:

Thông thường, chúng ta có thể để cho $X_1, \dots, X_n$ là các biến ngẫu nhiên với phân phối $F$ và làm việc với thường lệ hàm phân bố thực nghiệm như F n ( t ) = 1

$$\hat{F}_n(t) = \frac{1}{n} \sum_{i=1}^n I\{X_i \leq t\}$$ trong đó$I$là hàm chỉ thị. Lưu ý rằng phân phối thực nghiệm này F n(t)là chính nó ngẫu nhiên (trong đótlà cố định).$\hat{F}_n(t)$$t$

Thật không may, tôi không thể để vẽ mẫu trực tiếp từ . Tuy nhiên, tôi biết rằng e đã hỗ trợ tích cực chỉ trên [ 0 , 1 ] , và tôi có thể tạo ra các biến ngẫu nhiên Y 1 , ... , Y n nơi Y i là một biến ngẫu nhiên với một phân phối với xác suất thành công Bernoulli p i = f ( ( i - 1 + U i ) / n ) / c trong đó c và$F$$f$$[0,1]$$Y_1, \dots, Y_n$$Y_i$

$$p_i = f((i-1+U_i)/n)/c$$ $c$ được định nghĩa ở trên. Vì vậy, Y i ∼ Bern ( p i ) . Một cách rõ ràng mà tôi có thể ước tính F từ cácgiá trị Y i này là bằng cách lấy ˜ F n ( t ) = $U_i$$Y_i \sim \text{Bern}(p_i)$$F$$Y_i$ nơi⌈⋅⌉là hàm trần (có nghĩa là, chỉ cần lên tròn đến số nguyên gần nhất), và vẽ lại nếuΣ n i = 1 Yi=0(để tránh chia cho số 0 và làm cho vũ trụ sụp đổ). Lưu ý rằng ˜ F (t)cũng là một biến ngẫu nhiên vìYilà các biến ngẫu nhiên. $$\tilde{F}_n(t) = \frac{1}{\sum_{i=1}^n Y_i} \sum_{i=1}^{\lceil tn \rceil} Y_i$$ $\lceil \cdot \rceil$$\sum_{i=1}^n Y_i = 0$$\tilde{F}(t)$$Y_i$

Câu hỏi:

Từ (những gì tôi nghĩ nên) dễ nhất đến khó nhất.

1. Có ai biết nếu điều này (hoặc một cái gì đó tương tự) có một cái tên? Bạn có thể cung cấp một tài liệu tham khảo nơi tôi có thể thấy một số thuộc tính của nó?$\tilde{F}_n$

2. Như , là ~ F n ( t ) là một ước lượng nhất quán của F ( t ) (và có thể giúp bạn chứng minh điều đó)?$n \to \infty$$\tilde{F}_n(t)$$F(t)$

3. Sự phân bố hạn chế của là gì như n → ∞ ?$\tilde{F}_n(t)$$n \to \infty$

4. Lý tưởng nhất, tôi muốn ràng buộc sau đây là một hàm của - ví dụ, O P ( log ( n ) / $n$, nhưng tôi không biết sự thật là gì. CácOPlà viết tắt củaBig O trong khả năng$O_P(\log(n) /\sqrt{n})$$O_P$

$$\sup_{C \subset [0,1]} \int_C |\tilde{F}_n(t) - F(t)| \, dt$$

Một số ý tưởng và ghi chú:

1. Điều này trông rất giống như lấy mẫu từ chối chấp nhận với phân tầng dựa trên lưới. Lưu ý rằng không phải vì chúng tôi không vẽ mẫu khác nếu chúng tôi từ chối đề xuất.

2. Tôi khá chắc chắn điều này là thiên vị. Tôi nghĩ rằng thay thế ~ F * n ( t ) = $\tilde{F}_n$ là không thiên vị, nhưng nó có tính chất khó chịu màP( ~ F * (1)=1)<1.

   $$\tilde{F^*}_n(t) = \frac{c}{n} \sum_{i=1}^{\lceil tn \rceil} Y_i$$ $\mathbb{P}\left(\tilde{F^*}(1) = 1\right) < 1$

3. Tôi quan tâm đến việc sử dụng làm công cụ ước tính trình cắm . Tôi không nghĩ rằng đây là thông tin hữu ích, nhưng có lẽ bạn biết một số lý do tại sao nó có thể.$\tilde{F}_n$

Ví dụ trong R

Dưới đây là một số mã R nếu bạn muốn so sánh phân phối theo kinh nghiệm với . Xin lỗi, một số vết lõm là sai ... Tôi không thấy cách khắc phục.$\tilde{F}_n$

# sample from a beta distribution with parameters a and b
a <- 4 # make this > 1 to get the mode right
b <- 1.1 # make this > 1 to get the mode right
qD <- function(x){qbeta(x, a, b)} # inverse
dD <- function(x){dbeta(x, a, b)} # density
pD <- function(x){pbeta(x, a, b)} # cdf
mD <- dbeta((a-1)/(a+b-2), a, b) # maximum value sup_z f(z)


# draw samples for the empirical distribution and \tilde{F}
draw <- function(n){ # n is the number of observations
  u <- sort(runif(n)) 
  x <- qD(u) # samples for empirical dist
  z <- 0 # keep track of how many y_i == 1
  # take bernoulli samples at the points s
  s <- seq(0,1-1/n,length=n) + runif(n,0,1/n) 
  p <- dD(s) # density at s
  while(z == 0){ # make sure we get at least one y_i == 1
    y <- rbinom(rep(1,n), 1, p/mD) # y_i that we sampled
    z <- sum(y)
  }
  result <- list(x=x, y=y, z=z)
  return(result)
}

sim <- function(simdat, n, w){
  # F hat -- empirical dist at w
  fh <- mean(simdat$x < w) 
  # F tilde
  ft <- sum(simdat$y[1:ceiling(n*w)])/simdat$z
  # Uncomment this if we want an unbiased estimate.
  # This can take on values > 1 which is undesirable for a cdf.
  ### ft <- sum(simdat$y[1:ceiling(n*w)]) * (mD / n)
  return(c(fh, ft))
}


set.seed(1) # for reproducibility

n <- 50 # number observations
w <- 0.5555 # some value to test this at (called t above)
reps <- 1000 # look at this many values of Fhat(w) and Ftilde(w)
# simulate this data
samps <- replicate(reps, sim(draw(n), n, w))

# compare the true value to the empirical means
pD(w) # the truth 
apply(samps, 1, mean) # sample mean of (Fhat(w), Ftilde(w))
apply(samps, 1, var)  # sample variance of (Fhat(w), Ftilde(w))
apply((samps - pD(w))^2, 1, mean) # variance around truth


# now lets look at what a single realization might look like
dat <- draw(n)
plot(NA, xlim=0:1, ylim=0:1, xlab="t", ylab="empirical cdf",
     main="comparing ECDF (red), Ftilde (blue), true CDF (black)")
s <- seq(0,1,length=1000)
lines(s, pD(s), lwd=3) # truth in black
abline(h=0:1)
lines(c(0,rep(dat$x,each=2),Inf),
     rep(seq(0,1,length=n+1),each=2),
     col="red")
lines(c(0,rep(which(dat$y==1)/n, each=2),1),
      rep(seq(0,1,length=dat$z+1),each=2),
      col="blue")

CHỈNH SỬA:

CHỈNH SỬA 1 -

Tôi đã chỉnh sửa nó để giải quyết ý kiến ​​của @ whuber.

CHỈNH SỬA 2 -

Tôi đã thêm mã R và làm sạch nó thêm một chút. Tôi đã thay đổi ký hiệu một chút để dễ đọc, nhưng về cơ bản là giống nhau. Tôi đang lên kế hoạch đưa tiền thưởng vào việc này ngay khi tôi được phép, vì vậy xin vui lòng cho tôi biết nếu bạn muốn làm rõ thêm.

EDIT 3 -

Tôi nghĩ rằng tôi đã giải quyết nhận xét của @ hồng y. Tôi đã sửa lỗi chính tả trong tổng số biến thể. Tôi đang thêm một tiền thưởng.

EDIT 4 -

Đã thêm phần "động lực" cho @cardinal.

Trong khi tài liệu tham khảo này

EDIT: THÊM GIỚI THIỆU VỀ RẤT NHIỀU THỐNG KÊ SIMILAR "Ước tính không đối xứng từ các quan sát không đầy đủ" EL Kaplan và Paul Meier, Tạp chí của Hiệp hội Thống kê Hoa Kỳ, Tập. 53, số 282 (tháng sáu, 1958), trang 457-481

$[0,1]$$[0,\infty)$

Ước tính độ lệch sẽ có thể thực hiện được khi bạn có ước tính hợp lý về phân phối thông qua làm mịn kernel nếu nó hoạt động đủ tốt (xem, ví dụ, chuyển đổi Khmaladze trên Wikipedia).

$f = W / \iint W$$A$

Điều này trả lời câu hỏi 2 và 3 ở trên. Tôi vẫn thực sự muốn một tài liệu tham khảo mặc dù (từ câu hỏi 1).

$\sum Y_i = 0$

$g(A,B) = A/(A+B)$

$$\begin{align} g_A(A,B) &= (A+B)^{-1} + A(A+B)^{-2}\\ g_B(A,B) &= -A(A+B)^{-2}\\ g_{AA}(A,B) &= 2B(A+B)^{-3}\\ g_{AB}(A,B) &= (A-B)(A+B)^{-3}\\ g_{BB}(B,B) &= 2A(A+B)^{-3} \end{align}$$ where the subscripts denote the derivatives. Recall $p_i = f((i-1+U_i)/n)/c$. Let $$\begin{align} R = \frac{1}{n}\sum_{i=1}^{\lceil nt \rceil} Y_i, \quad& \mu_R = \mathbb{E}(R) = \int_0^t p(u) \, d u = c^{-1}F(t)\\ S = \frac{1}{n}\sum_{\lceil nt \rceil +1}^n Y_i, \quad& \mu_S = \mathbb{E}(S) = \int_t^1 p(u) \, d u = c^{-1}(1-F(t)) \end{align}$$ So note that $\mu_R + \mu_S = c^{-1}F(t) + c^{-1}(1-F(t)) = c^{-1}$ and $g(\mu_R, \mu_S) = F(t)$. Also, $$\begin{align} \text{ Var}(R) &= \frac{1}{n^2} \sum_{i=1}^{\lceil nt \rceil} \text{ Var}(Y_i) = \frac{1}{n} \int_0^t f(u)/c(1-f(u)/c) \, d u = \frac{1}{nc^2} \int_0^t f(u)(c-f(u)) \, d u\\ \text{ Var}(S) &= \frac{1}{nc^2} \int_t^1 f(u)(c-f(u)) \, d u \end{align}$$ Note that $\text{ Cov}(R,S) = 0$ by independence of the $Y_i$s.

Now, we use a taylor expansion to get

$$\begin{align} &\mathbb{E}\left(\tilde{F}_n(t)\right) =\mathbb{E}\left( \frac{1}{\sum_{i=1}^n Y_i} \sum_{i=1}^{\lceil tn \rceil} Y_i \right) =\mathbb{E}\left(\frac{nR}{nR+nS}\right) =\mathbb{E}\left(\frac{R}{R+S}\right) =\mathbb{E}\left(g(R,S)\right)\\ &=g(\mu_R,\mu_S) + \frac{1}{2}\mathbb{E}((R - \mu_R)^2)g_{RR}(\mu_R, \mu_S) \nonumber\\ &\quad + \mathbb{E}((R - \mu_R)(S-\mu_S))g_{RS}(\mu_R, \mu_S) + \frac{1}{2}\mathbb{E}((S - \mu_S)^2)g_{SS}(\mu_R, \mu_S) + \dots \\ &= F(t) + \frac{1}{2}\mathbb{E}((R - \mu_R)^2)2\mu_S(\mu_R+\mu_S)^{-3} \nonumber\\ &\quad + \mathbb{E}((R - \mu_R)(S-\mu_S))(\mu_R-\mu_S)(\mu_R+\mu_S)^{-3} \nonumber\\ &\quad + \frac{1}{2}\mathbb{E}((S - \mu_S)^2) 2\mu_R(\mu_R+\mu_S)^{-3} + \dots\\ &= F(t) + (\mu_R+\mu_S)^{-3} \bigg( \mathbb{E}((R - \mu_R)^2)\mu_S + \mathbb{E}((R - \mu_R)(S-\mu_S))(\mu_R-\mu_S) \nonumber\\ &\quad + \mathbb{E}((S - \mu_S)^2) \mu_R \bigg) + \dots \\ &= F(t) + c^3 \left( \text{ Var}(R)c(1-F(t)) \right. \nonumber\\ &\quad + \left.\text{ Cov}(R,S)(cF(t) - c(1-F(t))) + \text{ Var}(S) cF(t) \right) + \dots \\ &= F(t) + c^4 \left( \left(\frac{1}{n} \int_0^t f(u)(c-f(u)) \, d u\right) (1-F(t)) \right. \nonumber\\ &\quad \left. + \left(\frac{1}{n} \int_t^1 f(u)(c-f(u)) \, d u \right) F(t) \right) + \dots\\ &= F(t) + \tilde{V}_{F(t)}/n + \dots\\ &= F(t) + {\cal O}(n^{-1}) \end{align}$$ where $$\begin{align} \tilde{V}_{F(t)} &= c^2\left(\int_0^t f(u)(c-f(u)) \, d u\right) (1-F(t)) + c^2\left(\int_t^1 f(u)(c-f(u)) \, d u \right) F(t)\\ &< c^2\left( \int_0^t cf(u) \, d u\right)(1 - F(t)) + c^2\left( \int_t^1 cf(u) \, d u\right)F(t)\\ &< c^3 2F(t)(1-F(t)) \end{align}$$ In particular, we get $$\begin{align} \sqrt{n}\left(\tilde{F}_n(t) - F(t)\right) \overset{d}{\to} N(0,V_{F(t)}) \end{align}$$

Please comment if you see something wrong with this.

EDITS:

Edit 1 --

Fixed a typo in $V_{F(t)}$. Thanks @cardinal for your suggestion in the comments about question 4.

Edit 2 --

Fixed plenty of typos: I had $c^{-1}$ where I should have had $c$ in many places. I still need to address @cardinal's response about $\sum Y_i = 0$.