Thống kê và dữ liệu lớn

Hôm nay tôi nhận thấy câu hỏi này , và tôi nghĩ rằng nó sẽ rất hữu ích nếu chúng ta có một sợi rằng các nguồn lực được liệt kê mà mọi người có thể thuận tiện truy cập để phân tích năng lượng / tính toán cỡ mẫu, …

18 power-analysis 

Bỏ qua vấn đề rõ ràng về sức mạnh thấp của bình phương trong tình huống này, hãy tưởng tượng thực hiện kiểm tra chi bình phương cho một số mật độ với các tham số không xác định, bằng cách tạo dữ liệu. Để cụ thể, giả sử một …

18 chi-squared  goodness-of-fit  binning 

Tôi có một bộ dữ liệu với hàng chục ngàn quan sát về dữ liệu chi phí y tế. Dữ liệu này rất lệch về bên phải và có rất nhiều số không. Dường như thế này cho hai nhóm người (trong trường hợp này là hai nhóm tuổi với> …

18 t-test  skewness  permutation-test 

Tôi muốn thực hiện một hồi quy tuyến tính rất đơn giản trong R. Công thức đơn giản như . Tuy nhiên, tôi muốn độ dốc ( ) nằm trong một khoảng, giả sử, giữa 1,4 và 1,6.y= a x + by= =mộtx+by = ax + bmộtmộta Điều này có …

18 r  regression  constrained-regression 

Tôi có một không gian gồm 35 kích thước (thuộc tính). Vấn đề phân tích của tôi là một phân loại đơn giản. Trong số 35 thứ nguyên, hơn 25 thứ nguyên được phân loại và mỗi thuộc tính có hơn 50 loại giá trị. Trong kịch bản đó, việc …

18 categorical-data  svm 

Hầu hết mọi thứ tôi đọc về hồi quy tuyến tính và GLM đều hiểu rõ điều này: trong đó là hàm không tăng hoặc không giảm của và là tham số bạn ước tính và kiểm tra các giả thuyết về. Có hàng tá hàm liên kết và biến …

18 generalized-linear-model  nonlinear-regression  link-function 

Để tạo biểu đồ này, tôi đã tạo các mẫu ngẫu nhiên có kích thước khác nhau từ một phân phối bình thường với mean = 0 và sd = 1. Khoảng tin cậy sau đó được tính bằng cách sử dụng các mức cắt alpha từ 0,001 đến 0,999 …

18 r  confidence-interval  profile-likelihood 

Tôi có một câu hỏi của người mới bắt đầu về Định lý giới hạn trung tâm (CLT): Tôi biết rằng CLT nói rằng giá trị trung bình của các biến ngẫu nhiên iid được phân phối xấp xỉ bình thường (đối với , trong đó là chỉ số của …

18 probability  normal-distribution  convergence  central-limit-theorem  law-of-large-numbers 

Tôi biết rằng một trong những lợi thế của các mô hình hỗn hợp là chúng cho phép chỉ định ma trận phương sai hiệp phương sai cho dữ liệu (đối xứng hỗn hợp, tự phát, không cấu trúc, v.v.) Tuy nhiên, lmerhàm trong R không cho phép dễ dàng …

18 r  mixed-model  lme4-nlme  covariance-matrix 

Đặt . Ma trận thông tin Fisher được định nghĩa là:θ∈Rnθ∈Rn\theta \in R^{n} I(θ)i,j=−E[∂2log(f(X|θ))∂θi∂θj∣∣∣θ]I(θ)i,j=−E[∂2log⁡(f(X|θ))∂θi∂θj|θ]I(\theta)_{i,j} = -E\left[\frac{\partial^{2} \log(f(X|\theta))}{\partial \theta_{i} \partial \theta_{j}}\bigg|\theta\right] Làm cách nào tôi có thể chứng minh Ma trận thông tin Fisher là bán chính xác?

18 inference  linear-algebra  fisher-information 

Tôi là một nhà phát triển phần mềm làm việc trên các hệ thống thử nghiệm A / B. Tôi không có một nền tảng thống kê vững chắc nhưng đã tiếp thu kiến ​​thức trong vài tháng qua. Một kịch bản thử nghiệm điển hình liên quan đến việc …

18 power-analysis  ab-test  sequential-analysis  optimal-stopping 

Giả sử bạn có một cái túi có gạch, mỗi cái có một chữ cái trên đó. Có các gạch có chữ 'A', với 'B', v.v. và gạch 'wildcard' (chúng ta có ). Giả sử bạn đã có một từ điển với số lượng từ hữu hạn.nnnnAnAn_AnBnBn_Bn∗n∗n_*n=nA+nB+…+nZ+n∗n=nA+nB+…+nZ+n∗n = n_A + …

18 probability  games  combinatorics 

Tôi cần tính khoảng cách Mahalanobis mẫu trong R giữa mỗi cặp quan sát trong ma trận của hiệp phương sai. Tôi cần một giải pháp hiệu quả, tức là chỉ tính khoảng cách và tốt nhất là thực hiện trong C / RCpp / Fortran, v.v. Tôi giả sử …

18 r  algorithms  distance 

Là ER thực hiện hiệu quả hơn (giống như Extreme Gradient Boostinglà tăng cường độ dốc) - sự khác biệt quan trọng từ quan điểm thực tế? Có gói R thực hiện chúng. Đây có phải là thuật toán mới vượt qua việc thực hiện "chung chung" (gói RandomForest từ …

18 r  machine-learning  algorithms  random-forest 

Tôi hiểu rằng chúng tôi sử dụng các mô hình hiệu ứng ngẫu nhiên (hoặc hiệu ứng hỗn hợp) khi chúng tôi tin rằng một số tham số mô hình thay đổi ngẫu nhiên theo một số yếu tố nhóm. Tôi có mong muốn phù hợp với một mô hình …

18 mixed-model  random-effects-model  fixed-effects-model  lme4-nlme  intraclass-correlation