Làm thế nào để mô phỏng dữ liệu thỏa mãn các ràng buộc cụ thể như có giá trị trung bình và độ lệch chuẩn cụ thể?

Câu hỏi này được thúc đẩy bởi câu hỏi của tôi về phân tích tổng hợp . Nhưng tôi tưởng tượng rằng nó cũng sẽ hữu ích trong việc giảng dạy các bối cảnh nơi bạn muốn tạo một bộ dữ liệu phản ánh chính xác một bộ dữ liệu được xuất bản hiện có.

Tôi biết cách tạo dữ liệu ngẫu nhiên từ một phân phối nhất định. Vì vậy, ví dụ, nếu tôi đọc về kết quả của một nghiên cứu có:

• một trung bình của 102,
• độ lệch chuẩn là 5,2 và
• cỡ mẫu 72.

Tôi có thể tạo dữ liệu tương tự bằng cách sử dụng rnormtrong R. Ví dụ:

set.seed(1234)
x <- rnorm(n=72, mean=102, sd=5.2)

Tất nhiên, giá trị trung bình và SD sẽ không chính xác bằng 102 và 5.2 tương ứng:

round(c(n=length(x), mean=mean(x), sd=sd(x)), 2)
##     n   mean     sd 
## 72.00 100.58   5.25 

Nói chung, tôi quan tâm đến cách mô phỏng dữ liệu thỏa mãn một tập hợp các ràng buộc. Trong trường hợp trên, các hằng số là cỡ mẫu, giá trị trung bình và độ lệch chuẩn. Trong các trường hợp khác, có thể có các ràng buộc bổ sung. Ví dụ,

• tối thiểu và tối đa trong dữ liệu hoặc biến cơ bản có thể được biết đến.
• biến có thể được biết là chỉ nhận các giá trị nguyên hoặc chỉ các giá trị không âm.
• dữ liệu có thể bao gồm nhiều biến có tương quan đã biết.

Câu hỏi

• Nói chung, làm thế nào tôi có thể mô phỏng dữ liệu thỏa mãn chính xác một tập các ràng buộc?
• Có những bài báo viết về điều này? Có chương trình nào trong R làm điều này không?
• Vì lợi ích của ví dụ, làm thế nào tôi có thể và nên mô phỏng một biến để nó có nghĩa và sd cụ thể?

Nói chung, để làm cho giá trị trung bình và phương sai mẫu của bạn chính xác bằng một giá trị được chỉ định trước, bạn có thể thay đổi và chia tỷ lệ biến một cách thích hợp. Cụ thể, nếu là một mẫu, thì các biến mới$X_1, X_2, ..., X_n$

$$Z_i = \sqrt{c_{1}} \left( \frac{X_i-\overline{X}}{s_{X}} \right) + c_{2}$$

trong đó là trung bình mẫu và là phương sai mẫu sao cho trung bình mẫu của chính xác là và phương sai mẫu của chúng là chính xác là . Một ví dụ được xây dựng tương tự có thể hạn chế phạm vi -s 2 X =$\overline{X} = \frac{1}{n} \sum_{i=1}^{n} X_i$Zic2c$s^{2}_{X} = \frac{1}{n-1} \sum_{i=1}^{n} (X_i - \overline{X})^2$$Z_{i}$$c_2$$c_1$

$$B_i = a + (b-a) \left( \frac{ X_i - \min (\{X_1, ..., X_n\}) }{\max (\{X_1, ..., X_n\}) - \min (\{X_1, ..., X_n\}) } \right)$$

sẽ tạo ra tập dữ liệu được giới hạn trong khoảng . ( a , b $B_1, ..., B_n$$(a,b)$

Lưu ý: Nhìn chung, các loại dịch chuyển / chia tỷ lệ này sẽ thay đổi họ phân phối dữ liệu, ngay cả khi dữ liệu gốc đến từ một họ quy mô vị trí.

Trong ngữ cảnh phân phối bình thường , mvrnormhàm trong R cho phép bạn mô phỏng dữ liệu bình thường (hoặc đa biến thông thường) với giá trị trung bình / hiệp phương thức mẫu được chỉ định trước bằng cách cài đặt empirical=TRUE. Cụ thể, hàm này mô phỏng dữ liệu từ phân phối có điều kiện của biến phân phối thông thường, với giá trị trung bình mẫu và phương sai (co) bằng với giá trị được chỉ định trước . Lưu ý rằng các phân phối biên kết quả là không bình thường, như được chỉ ra bởi @whuber trong một bình luận cho câu hỏi chính.

Dưới đây là một ví dụ đơn biến đơn giản trong đó giá trị trung bình của mẫu (từ mẫu ) bị ràng buộc là 0 và độ lệch chuẩn của mẫu là 1. Chúng ta có thể thấy rằng phần tử đầu tiên giống với phân phối đồng đều hơn so với bình thường phân phối:$n=4$

library(MASS)
 z = rep(0,10000)
for(i in 1:10000)
{
    x = mvrnorm(n = 4, rep(0,1), 1, tol = 1e-6, empirical = TRUE)
    z[i] = x[1]
}
hist(z, col="blue")

$\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ $

Về yêu cầu giấy tờ của bạn, có:

• Chatterjee, S. & Firat, A. (2007). Tạo dữ liệu với số liệu thống kê giống hệt nhau nhưng đồ họa không giống nhau: Theo dõi bộ dữ liệu Anscombe. Nhà thống kê người Mỹ, 61 , 3, trang 248-254.

Đây không hoàn toàn là những gì bạn đang tìm kiếm, nhưng có thể đóng vai trò là chuyên gia cho nhà máy.

---

Có một chiến lược khác mà dường như không ai đề cập đến. Có thể tạo dữ liệu ngẫu nhiên (giả) từ một tập hợp kích thước sao cho toàn bộ tập hợp đáp ứng các ràng buộc miễn là dữ liệu còn lại được cố định ở các giá trị thích hợp. Các giá trị cần thiết phải có thể giải được với một hệ phương trình , đại số và một ít mỡ khuỷu tay. $N-k$$N$$k$$k$$k$

Ví dụ: để tạo một tập hợp dữ liệu từ phân phối bình thường sẽ có giá trị trung bình mẫu nhất định, và phương sai, , bạn sẽ cần sửa các giá trị của hai điểm: và . Vì giá trị trung bình của mẫu là: phải là: Phương sai mẫu là: do đó (sau khi thay thế ở trên cho , bỏ qua / phân phối và sắp xếp lại ... ) chúng tôi nhận được: $N$$\bar x$$s^2$$y$$z$

$$\bar x = \frac{\sum_{i=1}^{N-2}x_i\; + \;y\!+\!z}{N}$$ $y$ $$y = N\bar x\; - \;\left(\sum_{i=1}^{N-2}x_i\!+\!z\right)$$ $$s^2 = \frac{\sum_{i=1}^{N-2}(x_i - \bar x)^2\; + \;(y - \bar x)^2\!+\!(z - \bar x)^2}{N-1}$$ $y$ a = - 2 b = 2 ( N ˉ x - ∑ N - 2 i = 1 x i ) c $$2(N\bar{x}\! - \!\sum_{i=1}^{N-2}x_i)z - 2z^2 = N\bar{x}^2(N\!-\!1) + \sum_{i=1}^{N-2}x_i^2 + \left[\sum_{i=1}^{N-2}x_i\right]^2 - 2N\bar{x}\sum_{i=1}^{N-2}x_i - (N\!-\!1)s^2$$ Nếu chúng ta lấy , và là phủ định của RHS, chúng ta có thể giải cho bằng công thức bậc hai . Ví dụ: trong , mã sau đây có thể được sử dụng: $a=-2$$b=2(N\bar{x} - \sum_{i=1}^{N-2}x_i)$$c$$z$R

find.yz = function(x, xbar, s2){
  N    = length(x) + 2
  sumx = sum(x)
  sx2  = as.numeric(x%*%x)          # this is the sum of x^2
  a    = -2
  b    = 2*(N*xbar - sumx)
  c    = -N*xbar^2*(N-1) - sx2 - sumx^2 + 2*N*xbar*sumx + (N-1)*s2
  rt   = sqrt(b^2 - 4*a*c)

  z    = (-b + rt)/(2*a)
  y    = N*xbar - (sumx + z)
  newx = c(x, y, z)
  return(newx)
}

set.seed(62)
x    = rnorm(2)
newx = find.yz(x, xbar=0, s2=1)
newx                                # [1] 0.8012701  0.2844567  0.3757358 -1.4614627
mean(newx)                          # [1] 0
var(newx)                           # [1] 1

Có một số điều cần hiểu về phương pháp này. Đầu tiên, nó không được đảm bảo để làm việc. Ví dụ, có thể dữ liệu ban đầu của bạn sao cho không tồn tại giá trị và sẽ làm cho phương sai của tập kết quả bằng . Xem xét: y z s $N-2$$y$$z$$s^2$

set.seed(22)    
x    = rnorm(2)
newx = find.yz(x, xbar=0, s2=1)
Warning message:
In sqrt(b^2 - 4 * a * c) : NaNs produced
newx                                # [1] -0.5121391  2.4851837        NaN        NaN
var(c(x, mean(x), mean(x)))         # [1] 1.497324

Thứ hai, trong khi tiêu chuẩn hóa làm cho các phân phối biên của tất cả các biến thể của bạn đồng đều hơn, cách tiếp cận này chỉ ảnh hưởng đến hai giá trị cuối cùng, nhưng làm cho các phân phối biên của chúng bị sai lệch:

set.seed(82)
xScaled = matrix(NA, ncol=4, nrow=10000)
for(i in 1:10000){
  x           = rnorm(4)
  xScaled[i,] = scale(x)
}

set.seed(82)
xDf = matrix(NA, ncol=4, nrow=10000)
i   = 1
while(i<10001){
  x       = rnorm(2)
  xDf[i,] = try(find.yz(x, xbar=0, s2=2), silent=TRUE)  # keeps the code from crashing
  if(!is.nan(xDf[i,4])){ i = i+1 }                      # increments if worked
}

Thứ ba, mẫu kết quả có thể trông không bình thường; có vẻ như nó có 'ngoại lệ' (nghĩa là các điểm đến từ một quá trình tạo dữ liệu khác với phần còn lại), vì thực chất đó là trường hợp. Điều này ít có khả năng là một vấn đề với kích thước mẫu lớn hơn, vì các thống kê mẫu từ dữ liệu được tạo sẽ hội tụ đến các giá trị cần thiết và do đó cần điều chỉnh ít hơn. Với các mẫu nhỏ hơn, bạn luôn có thể kết hợp phương pháp này với thuật toán chấp nhận / từ chối thử lại nếu mẫu được tạo có số liệu thống kê hình dạng (ví dụ: độ lệch và kurtosis) nằm ngoài giới hạn chấp nhận được (xem, nhận xét của @ cardinal ) hoặc mở rộng phương pháp này để tạo ra một mẫu với giá trị trung bình cố định, phương sai, độ lệch vàKurtosis (Mặc dù vậy, tôi sẽ để lại đại số cho bạn). Ngoài ra, bạn có thể tạo một số lượng nhỏ các mẫu và sử dụng một mẫu có thống kê Kolmogorov-Smirnov nhỏ nhất (giả sử).

library(moments)
set.seed(7900)  
x = rnorm(18)
newx.ss7900 = find.yz(x, xbar=0, s2=1)
skewness(newx.ss7900)                       # [1] 1.832733
kurtosis(newx.ss7900) - 3                   # [1] 4.334414
ks.test(newx.ss7900, "pnorm")$statistic     # 0.1934226

set.seed(200)  
x = rnorm(18)
newx.ss200 = find.yz(x, xbar=0, s2=1)
skewness(newx.ss200)                        # [1] 0.137446
kurtosis(newx.ss200) - 3                    # [1] 0.1148834
ks.test(newx.ss200, "pnorm")$statistic      # 0.1326304 

set.seed(4700)  
x = rnorm(18)
newx.ss4700 = find.yz(x, xbar=0, s2=1)
skewness(newx.ss4700)                       # [1]  0.3258491
kurtosis(newx.ss4700) - 3                   # [1] -0.02997377
ks.test(newx.ss4700, "pnorm")$statistic     # 0.07707929S

Kỹ thuật chung là 'Phương pháp từ chối', trong đó bạn chỉ từ chối các kết quả không đáp ứng các ràng buộc của bạn. Trừ khi bạn có một số loại hướng dẫn (như MCMC), thì bạn có thể tạo ra rất nhiều trường hợp (tùy thuộc vào kịch bản của bạn) bị từ chối!

Khi bạn đang tìm kiếm một thứ gì đó như độ lệch trung bình và độ lệch chuẩn và bạn có thể tạo một số liệu khoảng cách nào đó để nói bạn cách mục tiêu của mình bao xa, bạn có thể sử dụng tối ưu hóa để tìm kiếm các biến đầu vào cung cấp cho bạn đầu ra mong muốn các giá trị.

Như một ví dụ xấu , trong đó chúng ta sẽ tìm một vectơ đồng nhất ngẫu nhiên có độ dài 100 có giá trị trung bình = 0 và độ lệch chuẩn = 1.

# simplistic optimisation example
# I am looking for a mean of zero and a standard deviation of one
# but starting from a plain uniform(0,1) distribution :-)
# create a function to optimise
fun <- function(xvec, N=100) {
  xmin <- xvec[1]
  xmax <- xvec[2]
  x <- runif(N, xmin, xmax)
  xdist <- (mean(x) - 0)^2 + (sd(x) - 1)^2
  xdist
}
xr <- optim(c(0,1), fun)

# now lets test those results
X <- runif(100, xr$par[1], xr$par[2])
mean(X) # approx 0
sd(X)   # approx 1

Có chương trình nào trong R làm điều này không?

Gói Runuran R chứa nhiều phương thức để tạo các biến thể ngẫu nhiên. Nó sử dụng các thư viện C từ dự án UNU.RAN (trình tạo số RAndom Number không đồng nhất). Kiến thức của riêng tôi về lĩnh vực tạo ra phương sai ngẫu nhiên còn hạn chế, nhưng họa tiết Runuran cung cấp một cái nhìn tổng quan đẹp. Dưới đây là các phương thức có sẵn trong gói Runuran, được lấy từ họa tiết:

Phân phối liên tục:

• Lấy mẫu từ chối thích ứng
• Từ chối chuyển đổi mật độ nghịch đảo
• Nội suy đa thức của CDF nghịch đảo
• Phương pháp tỷ lệ đồng phục đơn giản
• Biến đổi mật độ từ chối

Phân phối rời rạc:

• Đảo ngược tự động từ chối
• Phương pháp bí danh
• Phương pháp bảng hướng dẫn cho đảo ngược rời rạc

Phân phối đa biến:

• Thuật toán Hit-and-Run với Phương pháp tỷ lệ đồng phục
• Phương pháp tỷ lệ đồng phục đa biến

Thí dụ:

Ví dụ nhanh, giả sử bạn muốn tạo phân phối Bình thường giới hạn trong khoảng từ 0 đến 100:

require("Runuran")

## Normal distribution bounded between 0 and 100
d1 <- urnorm(n = 1000, mean = 50, sd = 25, lb = 0, ub = 100)

summary(d1)
sd(d1)
hist(d1)

Các urnorm()chức năng là một chức năng bao bọc thuận tiện. Tôi tin rằng đằng sau hậu trường, nó sử dụng phương pháp Nội suy đa thức của phương pháp CDF nghịch đảo nhưng không chắc chắn. Đối với một cái gì đó phức tạp hơn, giả sử, một phân phối Bình thường rời rạc giới hạn trong khoảng từ 0 đến 100:

require("Runuran")

## Discrete normal distribution bounded between 0 and 100
# Create UNU.RAN discrete distribution object
discrete <- unuran.discr.new(pv = dnorm(0:100, mean = 50, sd = 25), lb = 0, ub = 100)

# Create UNU.RAN object using the Guide-Table Method for Discrete Inversion
unr <- unuran.new(distr = discrete, method = "dgt")

# Generate random variates from the UNU.RAN object
d2 <- ur(unr = unr, n = 1000)

summary(d2)
sd(d2)
head(d2)
hist(d2)

Có vẻ như có một gói R đáp ứng yêu cầu của bạn được công bố ngày hôm qua! simstudy của Keith Goldfeld

Mô phỏng các tập dữ liệu để khám phá các kỹ thuật mô hình hóa hoặc hiểu rõ hơn các quy trình tạo dữ liệu. Người dùng chỉ định một tập hợp các mối quan hệ giữa các hiệp phương sai và tạo dữ liệu dựa trên các thông số kỹ thuật này. Các bộ dữ liệu cuối cùng có thể biểu thị dữ liệu từ các thử nghiệm kiểm soát ngẫu nhiên, thiết kế đo lặp lại (theo chiều dọc) và thử nghiệm ngẫu nhiên theo cụm. Mất tích có thể được tạo ra bằng các cơ chế khác nhau (MCAR, MAR, NMAR).

Đây là một câu trả lời đến muộn nên có lẽ là vô nghĩa, nhưng luôn có một giải pháp MCMC cho câu hỏi. Cụ thể, để chiếu mật độ chung của mẫu trên đa tạp được xác định bởi các ràng buộc, ví dụ Vấn đề duy nhất là sau đó là mô phỏng các giá trị trên đa tạp đó, tức là tìm một tham số của kích thước chính xác. Một bài báo năm 2015 của Bornn, Shephard và Solgi nghiên cứu chính vấn đề này (với một câu trả lời thú vị nếu không phải là cuối cùng ).

$$\prod_{i=1}^n f(x_i)$$ $$\sum_{i=1}^n x_i=\mu_0\qquad\sum_{i=1}^n x_i^2=\sigma_0^2$$

Câu trả lời này xem xét một cách tiếp cận khác trong trường hợp bạn muốn buộc các biến thể nằm trong một phạm vi được chỉ định và thêm vào đó là chỉ định trung bình và / hoặc phương sai.

Hạn chế sự chú ý của chúng tôi vào khoảng thời gian đơn vị . Chúng ta hãy sử dụng trung bình có trọng số cho tính tổng quát, vì vậy hãy sửa một số trọng số bằng hoặc đặt nếu bạn muốn tính trọng số chuẩn. Giả sử đại lượng và tương ứng với trung bình (trọng số) mong muốn và phương sai (có trọng số) tương ứng. Giới hạn trên của là cần thiết vì đó là phương sai tối đa có thể có trong một khoảng thời gian đơn vị. Chúng tôi quan tâm đến việc vẽ một số biến thể từ với những hạn chế về thời điểm này.$[0,1]$$w_k\in[0,1]$$\sum_{k=1}^Nw_k=1$$w_k=1/N$$\mu\in(0,1)$$0<\sigma^2<\mu(1-\mu)$$\sigma^2$$x_1,...,x_N$$[0,1]$

Trước tiên, chúng tôi rút ra một số biến thiên từ bất kỳ phân phối nào, như . Phân phối này sẽ ảnh hưởng đến hình dạng của phân phối cuối cùng. Sau đó, chúng tôi giới hạn chúng đến khoảng đơn vị bằng cách sử dụng hàm logistic:$y_1,...,y_N$$N(0,1)$$[0,1]$

$$x_k=\frac{1}{1+e^{-(y_k v-h)}}$$

Tuy nhiên, trước khi chúng ta làm điều đó, như đã thấy trong phương trình trên, chúng ta biến đổi các với bản dịch và thang đo . Điều này tương tự với phương trình đầu tiên trong câu trả lời của @ Macro. Bí quyết bây giờ là chọn và sao cho các biến được chuyển đổi có (các) thời điểm mong muốn. Đó là, chúng tôi yêu cầu một hoặc cả hai điều sau đây để giữ: $y_k$$h$$v$$h$$v$$x_1,...,x_N$

$$\mu=\sum_{k=1}^N \frac{w_k}{1+e^{-(y_k v-h)}} \\ \sigma^2=\sum_{k=1}^N \frac{w_k}{(1+e^{-(y_k v-h)})^2} - \left( \sum_{k=1}^N \frac{w_k}{1+e^{-(y_k v-h)}} \right)^2$$

Đảo ngược các phương trình này cho và phân tích là không khả thi, nhưng làm như vậy là số lượng đơn giản, đặc biệt vì các đạo hàm liên quan đến và rất dễ tính toán; nó chỉ mất vài lần lặp lại phương pháp của Newton.$v$$h$$v$$h$

Lấy ví dụ đầu tiên, giả sử chúng ta chỉ quan tâm đến việc hạn chế giá trị trung bình có trọng số chứ không phải phương sai. Sửa , , , . Sau đó, đối với các phân phối cơ bản , và chúng tôi kết thúc với các biểu đồ sau, tương ứng, và sao cho giá trị trung bình của các biến thể là chính xác (ngay cả đối với nhỏ ):v = 1 w k = 1 / N N = 200000 N ( 0 , 1 ) N ( 0 , 0,1 ) Unif ( 0 , 1 ) 0,8 $\mu=0.8$$v=1$$w_k=1/N$$N=200000$$N(0,1)$$N(0,0.1)$$\text{Unif}(0,1)$ $0.8$$N$

Tiếp theo, hãy hạn chế cả giá trị trung bình và phương sai. Lấy , , và xem xét ba độ lệch chuẩn mong muốn . Sử dụng cùng một phân phối cơ bản , đây là biểu đồ cho mỗi:w k = 1 / N N = 2000 σ = 0,1 , 0,05 , 0,01 N ( 0 , 1 $\mu=0.2$$w_k=1/N$$N=2000$$\sigma=0.1,0.05,0.01$$N(0,1)$

Lưu ý rằng những thứ này có thể trông hơi phân phối beta, nhưng chúng thì không.

Trong câu trả lời của tôi ở đây , tôi đã liệt kê ba gói R để làm điều này:

• SimCorrMix
• SimMultiCorrData
• simrel