Thống kê và dữ liệu lớn sampling

3

Cụm dữ liệu lớn trong R và lấy mẫu có liên quan?

Tôi chưa quen với khoa học dữ liệu và gặp vấn đề khi tìm cụm trong bộ dữ liệu với 200.000 hàng và 50 cột trong R. Vì dữ liệu có cả biến số và biến danh nghĩa, nên các phương thức như K-mean sử dụng thước đo khoảng cách …

13 r clustering sampling large-data

3

Ước tính kích thước của một quần thể được lấy mẫu bằng số lần quan sát lặp lại

Giả sử tôi có dân số 50 triệu thứ duy nhất và tôi lấy 10 triệu mẫu (có thay thế) ... Biểu đồ đầu tiên tôi đính kèm cho thấy tôi đã lấy mẫu cùng một số lần, điều này tương đối hiếm như dân số lớn hơn mẫu của …

13 r sampling expectation-maximization

1

Trình tự Halton vs trình tự Sobol?

Từ một câu trả lời trong một câu hỏi trước đó , tôi đã được hướng tới chuỗi Halton, vì đã tạo ra một tập các vectơ bao phủ một không gian mẫu thống nhất khá đồng đều. Nhưng trang wikipedia đề cập rằng các số nguyên tố cao hơn …

13 sampling small-sample quasi-monte-carlo

5

Tại sao người ta tuyên bố rằng một mẫu thường chính xác hơn so với điều tra dân số?

Khi học quá trình lấy mẫu, tôi gặp hai câu sau: 1) Lỗi lấy mẫu dẫn đến chủ yếu là biến thiên, lỗi không lấy mẫu dẫn đến sai lệch. 2) Do lỗi không lấy mẫu, một mẫu thường chính xác hơn CENSUS. Tôi không biết làm thế nào để …

13 estimation sampling survey bias

3

Tại sao một số (nếu không phải tất cả) các xét nghiệm giả thuyết tham số giả định lấy mẫu ngẫu nhiên?

Các thử nghiệm như Z, t và một số thử nghiệm khác cho rằng dữ liệu được dựa trên một mẫu ngẫu nhiên. Tại sao? Giả sử rằng tôi đang thực hiện nghiên cứu thử nghiệm, nơi tôi quan tâm nhiều hơn đến tính hợp lệ bên trong so với …

12 hypothesis-testing sampling parametric randomness

2

Làm thế nào chúng ta có thể có được phân phối bình thường là

Giả sử chúng ta có một biến ngẫu nhiên với một phạm vi các giá trị được giới hạn bởi aaa và bbb , trong đó aaa là giá trị tối thiểu và bbb là giá trị tối đa. Tôi được nghe kể rằng khi n→∞n→∞n \to \infty , nơi …

12 normal-distribution sampling random-variable central-limit-theorem

3

Xác định xem một quá trình phân phối đuôi nặng đã được cải thiện đáng kể

Tôi quan sát thời gian xử lý của một quy trình trước và sau khi thay đổi để tìm hiểu, nếu quy trình được cải thiện nhờ thay đổi. Quá trình đã được cải thiện, nếu thời gian xử lý giảm. Phân phối thời gian xử lý là chất béo, …

12 sampling nonparametric

1

Sự khác biệt giữa PROC Hỗn hợp và lme / lmer trong R - bậc tự do

Lưu ý: câu hỏi này là một bài đăng lại, vì câu hỏi trước đây của tôi đã bị xóa vì lý do pháp lý. Trong khi so sánh PROC MIXED từ SAS với chức năng lmetừ nlmegói trong R, tôi tình cờ thấy một số khác biệt khá khó …

12 r mixed-model sas degrees-of-freedom pdf unbiased-estimator distance-functions functional-data-analysis hellinger time-series outliers c++ relative-risk absolute-risk rare-events regression t-test multiple-regression survival teaching multiple-regression regression self-study t-distribution machine-learning recommender-system self-study binomial standard-deviation data-visualization r predictive-models pearson-r spearman-rho r regression modeling r categorical-data data-visualization ggplot2 many-categories machine-learning cross-validation weka microarray variance sampling monte-carlo regression cross-validation model-selection feature-selection elastic-net distance-functions information-theory r regression mixed-model random-effects-model fixed-effects-model dataset data-mining

2

Làm thế nào để nhanh chóng lấy mẫu X nếu exp (X) ~ Gamma?

Tôi có một vấn đề lấy mẫu đơn giản, trong đó vòng lặp bên trong của tôi trông như sau: v = sample_gamma(k, a) trong đó sample_gammacác mẫu từ phân phối Gamma để tạo thành mẫu Dirichlet. Nó hoạt động tốt, nhưng đối với một số giá trị của k …

12 sampling gamma-distribution

1

Tại sao định lý giới hạn trung tâm làm việc với một mẫu duy nhất?

Tôi luôn được dạy rằng CLT hoạt động khi bạn lấy mẫu lặp lại, với mỗi mẫu đủ lớn. Ví dụ, hãy tưởng tượng tôi có một đất nước gồm 1.000.000 công dân. Sự hiểu biết của tôi về CLT là ngay cả khi phân phối chiều cao của họ …

12 sampling central-limit-theorem

2

Phương pháp MCMC - đốt mẫu?

Trong các phương pháp MCMC , tôi tiếp tục đọc về burn-inthời gian hoặc số lượng mẫu "burn". Điều này chính xác là gì, và tại sao nó lại cần thiết? Cập nhật: Khi MCMC ổn định, nó có ổn định không? Làm thế nào là khái niệm về burn-inthời …

12 sampling mcmc

1

Ví dụ trực quan về lấy mẫu quan trọng

Nền tảng của tôi là khoa học máy tính. Tôi còn khá mới mẻ với các phương pháp lấy mẫu monte carlo và, mặc dù tôi hiểu toán, tôi gặp khó khăn khi đưa ra các ví dụ trực quan để lấy mẫu quan trọng. Chính xác hơn, ai đó …

12 probability distributions sampling importance-sampling

4

Tại sao tất cả xem xét lấy mẫu mà không thay thế trong một ứng dụng thực tế?

Lấy mẫu với thay thế có hai ưu điểm so với lấy mẫu mà không thay thế như tôi thấy: 1) Bạn không cần phải lo lắng về việc điều chỉnh dân số hữu hạn. 2) Có khả năng các yếu tố trong dân số được rút ra nhiều lần …

12 sampling finite-population

3

Làm thế nào để lấy mẫu lại trong R mà không lặp lại hoán vị?

Trong R, nếu tôi set.seed (), sau đó sử dụng hàm mẫu để chọn ngẫu nhiên một danh sách, tôi có thể đảm bảo tôi sẽ không tạo ra hoán vị tương tự không? I E... set.seed(25) limit <- 3 myindex <- seq(0,limit) for (x in seq(1,factorial(limit))) { permutations <- …

12 r sampling combinatorics resampling

1

Lấy mẫu từ phân phối biên sử dụng phân phối có điều kiện?

Tôi muốn lấy mẫu từ mật độ đơn biến nhưng tôi chỉ biết mối quan hệ:fXfXf_X fX(x)=∫fX|Y(x|y)fY(y)dy.fX(x)=∫fX|Y(x|y)fY(y)dy.f_X(x) = \int f_{X\vert Y}(x\vert y)f_Y(y) dy. Tôi muốn tránh việc sử dụng MCMC (trực tiếp trên biểu diễn tích phân) và, vì và rất dễ lấy mẫu, tôi đã nghĩ đến việc sử …

12 sampling conditional-probability monte-carlo marginal

Câu hỏi được gắn thẻ «sampling»