Thống kê và dữ liệu lớn

Nếu tôi có dữ liệu và tôi chạy phân loại (giả sử rừng ngẫu nhiên trên dữ liệu này) với xác thực chéo (giả sử 5 lần), tôi có thể kết luận rằng không có phương pháp nào phù hợp trong phương pháp của mình không?

17 cross-validation  overfitting 

Câu hỏi: Ý tưởng và trực giác đằng sau ước tính khả năng tối đa gần đúng (QMLE; còn được gọi là ước tính khả năng tối đa giả, PMLE) là gì? Điều gì làm cho công cụ ước tính hoạt động khi phân phối lỗi thực tế không khớp …

17 maximum-likelihood  references  intuition  quasi-likelihood 

Như đã nêu trong câu hỏi này , thứ hạng tối đa của ma trận hiệp phương sai là trong đó là cỡ mẫu và do đó, nếu kích thước của ma trận hiệp phương sai bằng với kích thước mẫu, nó sẽ là số ít. Tôi không thể hiểu …

17 covariance-matrix  linear-algebra 

Khi tôi đã xây dựng mô hình rừng ngẫu nhiên (hồi quy) trong R, cuộc gọi rf$importancecung cấp cho tôi hai biện pháp cho mỗi biến dự đoán %IncMSEvà IncNodePurity. Là sự giải thích rằng các biến dự đoán có %IncMSEgiá trị nhỏ hơn quan trọng hơn các biến dự …

17 r  feature-selection  random-forest 

Supppse và được phân phối đồng đều tiêu chuẩn trong và chúng độc lập, PDF của gì?XXXYYY[0,1][0,1][0, 1]Z=Y/XZ=Y/XZ = Y / X Câu trả lời từ một số sách giáo khoa lý thuyết xác suất là fZ(z)=⎧⎩⎨1/2,1/(2z2),0,if 0≤z≤1if z>1otherwise.fZ(z)={1/2,if 0≤z≤11/(2z2),if z>10,otherwise. f_Z(z) = \begin{cases} 1/2, & \text{if } 0 \le …

17 probability  derived-distributions 

Trong cài đặt khả năng tối đa tiêu chuẩn (iid mẫu từ một số phân phối có mật độ )) và trong trường hợp mô hình được chỉ định chính xác, Fisher thông tin được cung cấp bởiY1,…,YnY1,…,YnY_{1}, \ldots, Y_{n}fy(y|θ0fy(y|θ0f_{y}(y|\theta_{0} I(θ)=−Eθ0[∂2θ2lnfy(θ)]I(θ)=−Eθ0[∂2θ2ln⁡fy(θ)]I(\theta) = -\mathbb{E}_{\theta_{0}}\left[\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta) \right] trong đó kỳ vọng được …

17 maximum-likelihood  fisher-information 

Tôi nghe nói rằng theo giả thuyết null, phân phối giá trị p phải đồng nhất. Tuy nhiên, các mô phỏng kiểm tra nhị thức trong MATLAB trả về các phân phối đồng nhất rất khác với trung bình lớn hơn 0,5 (0,518 trong trường hợp này): coin = [0 …

17 matlab  p-value  binomial  simulation  uniform 

Tôi đã sử dụng xác nhận chéo k-lặp đi lặp lại và đã báo cáo giá trị trung bình (của số liệu đánh giá, ví dụ: độ nhạy, độ đặc hiệu) được tính là giá trị trung bình trong các lần chạy khác nhau của xác thực chéo. Tuy nhiên, …

17 cross-validation 

Tôi luôn được thông báo rằng CDF là duy nhất tuy nhiên PDF / PMF không phải là duy nhất, tại sao vậy? Bạn có thể đưa ra một ví dụ trong đó PDF / PMF không phải là duy nhất?

17 probability  distributions  pdf  cdf 

Giả sử rằng một đồng xu công bằng được tung liên tục cho đến khi thu được một cái đầu lần đầu tiên. Số lượng quăng dự kiến ​​sẽ được yêu cầu là gì? Số lượng đuôi dự kiến ​​sẽ thu được trước khi thu được đầu đầu tiên là …

17 probability  self-study  expected-value  bernoulli-distribution  geometric-distribution 

Câu trả lời cho câu hỏi Mối quan hệ giữa các hệ số tương quan phi, Matthews và Pearson? cho thấy ba phương pháp hệ số là tất cả tương đương. Tôi không từ số liệu thống kê, vì vậy nó sẽ là một câu hỏi dễ. Bài viết của …

17 correlation  interpretation  pearson-r 

Tôi có hình ảnh sau đây mà tôi đã nói là một minh họa về cách phân phối xác suất sau là sự kết hợp của phân phối trước và khả năng. Tôi đã được thông báo rằng có một cái gì đó sai với hình ảnh, cụ thể là …

17 distributions  posterior 

Tôi đang sử dụng FactoMineRđể giảm tập dữ liệu đo của mình xuống các biến tiềm ẩn. Bản đồ biến ở trên rõ ràng đối với tôi để giải thích, nhưng tôi bối rối khi nói đến mối liên hệ giữa các biến và thành phần 1. Nhìn vào bản …

17 correlation  pca  factor-analysis  association-measure  biplot 

Khi nói về dữ liệu theo chiều dọc, chúng ta có thể đề cập đến dữ liệu được thu thập theo thời gian từ cùng một chủ đề / đơn vị nghiên cứu, do đó có mối tương quan cho các quan sát trong cùng một chủ đề, nghĩa là …

17 time-series  terminology  panel-data 

Dữ liệu cơ sở : Tôi có ~ 1.000 người được đánh dấu bằng các đánh giá: '1,' [tốt] '2,' [giữa] hoặc '3' [xấu] - đây là những giá trị tôi đang cố gắng dự đoán cho mọi người trong tương lai . Ngoài ra, tôi có một số thông …

17 r  regression  logistic  missing-data  ordered-logit