Thống kê và dữ liệu lớn

Đây có vẻ là một vấn đề phổ biến nhưng tôi không thể tìm ra giải pháp. Tôi có một bộ các quan sát nhị phân và hai mô hình khác nhau, mỗi mô hình có dự đoán cho mỗi quan sát. Tôi muốn so sánh hiệu chuẩn của các …

7 r  machine-learning  logistic  calibration  scoring-rules 

Đặt là một số sự kiện trong quá trình Poisson có tỷ lệ đơn vị ( ) trong khoảng thời gian dài . Được biết, ít nhất một sự kiện đã được quan sát trong khoảng, tôi muốn tìm xác suất có nhiều sự kiện hơn trong khoảng đó.XTXTX_Tλ=1λ=1\lambda = …

7 self-study  conditional-probability  poisson-process  paradox 

Đưa ra hai công thức tương đương của bài toán cho hồi quy LASSO, min(RSS+λ∑|βi|)min(RSS+λ∑|βi|)\min(RSS + \lambda\sum|\beta_i|)và sao cho , làm thế nào chúng ta có thể thể hiện sự tương ứng một-một giữa và ?min(RSS)min(RSS)\min(RSS)∑|βi|≤t∑|βi|≤t\sum|\beta_i|\leq tλλ\lambdattt

7 lasso 

Tôi đang ước lượng mô hình E( Y| X) = Pr ( Y= 1 | X) = =α0+ ( 1 -α0-α1) Φ (X'β) ,E(Y|X)=Pr(Y=1|X)=α0+(1−α0−α1)ϕ(X′β),E(Y|X) = Pr(Y=1|X) = \alpha_0 + (1 - \alpha_0 - \alpha_1)\phi(X'\beta), Ở đâu α0α0\alpha_0 và α1α1\alpha_1 là các tham số, ββ\beta là một pppvectơ chiều dài của …

7 r  maximum-likelihood  nonlinear  nls 

Giả sử ban đầu tôi đang xử lý hàm khả năng , trong đó .đăng nhậpL (θ1, ... ,θm,θm + 1, ... ,θk)đăng nhập⁡L(θ1,Giáo dục,θm,θm+1,Giáo dục,θk)\log L(\theta_1, \ldots, \theta_m, \theta_{m+1}, \ldots, \theta_k)θj∈ Rθj∈R\theta_j \in \mathbb{R} Giả sử vì bất kỳ lý do gì, tôi đã quyết định nhập vào một …

7 estimation  maximum-likelihood  asymptotics 

Có một quy tắc cũ cho thống kê đa biến khuyến nghị tối thiểu 10 trường hợp cho mỗi biến độc lập. Nhưng đó thường là nơi có một tham số phù hợp với từng biến. Tại sao tôi hỏi: Tôi đang làm việc thông qua một ví dụ trong …

7 self-study  neural-networks 

Có phân phối chung tham số sao cho và đều đồng nhất trên (tức là một copula) và là tuyến tính (theo ý tôi là affine) trong ? Đó là, trong khi và mỗi lề .XXXYYY[0,1][0,1][0, 1]E[Y|X=x]E[Y|X=x]\mathbb{E}[Y | X = x]xxxE[Y|X=x]=a+bxE[Y|X=x]=a+bx\mathbb{E}[Y \;|\; X = x] = a + b\,xXXXYYYĐồng phục …

7 uniform  joint-distribution  conditional-expectation  copula 

Theo dõi cách phối hợp cực,θθ\theta, được phân phối khi ( x , y) ~ U( - 1 , 1 ) × U( - 1 , 1 )(x,y)∼U(−1,1)×U(−1,1)(x,y) \sim U(-1,1) \times U(-1,1) và nếu ( x , y) ~ N( 0 , 1 ) × N( 0 , 1 )(x,y)∼N(0,1)×N(0,1)(x,y) …

7 normal-distribution  matlab  pdf  uniform  geometry 

Có một số biện pháp liên kết (hoặc dự phòng hoặc tương quan) giữa hai biến ngẫu nhiên nhị phân và , trong số các biến khácXXXYYY Hệ số phi Pearson Cramér của V Tôi tự hỏi làm thế nào con số sau đây liên quan đến các biện pháp …

7 correlation  binary-data  association-measure 

Tôi có một bộ dữ liệu không được cung cấp là x =x1, ... ,xn,x=x1,…,xn, \boldsymbol{x} = x_1, \dots, x_n, nhưng là cặp xi n t e r v a l= (x( s t a r t )1,x( e n d)1) , Tầm , (x( s t a r t …

7 probability  interval-censoring 

Để cho: U,V∼i.i.d.N(0,1)U,V∼i.i.d.N(0,1)U, V \overset{i.i.d.}{\sim} \mathcal{N}(0,1) , tức là các biến ngẫu nhiên chuẩn thông thường độc lập. X=min(U,V)X=min(U,V)X=\min(U,V) Y=max(U,V)Y=max(U,V)Y=\max(U,V) Hiệp phương sai của XXX và YYY gì? Liên quan: Cov (X, Y) là gì, trong đó X = min (U, V) và Y = max (U, V) cho thống …

7 self-study  normal-distribution  covariance 

Tôi đã thực hiện một ANOVA đơn giản trong R và sau đó tạo ra các so sánh phương tiện TukeyHSD () sau: Tôi có một ý tưởng khá hay (tôi nghĩ) về tất cả những điều này có nghĩa là gì ngoại trừ 'p adj'. Nếu tôi đúng: Sự …

7 r  tukey-hsd 

Giá trị được sử dụng để báo cáo mức độ mạnh mẽ mà chúng ta có thể đoán trước một giả thuyết. Rõ ràng, giá trị này được ước tính từ dữ liệu và nếu dữ liệu mới được thu thập trong cùng điều kiện, giá trị mới sẽ rất …

7 hypothesis-testing  confidence-interval  p-value  bootstrap 

Tôi là một người mới thực sự khi nói về thống kê vì vậy xin đừng phán xét tôi và câu hỏi của tôi;) Tôi đang thực hiện phân tích hồi quy tuyến tính với SPSS và vì dữ liệu của tôi không được phân phối bình thường cũng như …

7 regression  spss  bootstrap 

Trong bài báo " Khi nào là 'Hàng xóm gần nhất' có ý nghĩa? " Chúng ta đã đọc điều đó, Chúng tôi chỉ ra rằng trong các điều kiện rộng nhất định (về phân phối dữ liệu và truy vấn hoặc khối lượng công việc), khi chiều tăng lên, …

7 machine-learning  clustering  dataset  k-nearest-neighbour  high-dimensional