Thống kê và dữ liệu lớn

Tôi có một bộ dữ liệu với 5,818,446 dòng và 51 cột, trong đó 50 trong số đó là các yếu tố dự đoán. Phản ứng của tôi là định lượng, vì vậy tôi quan tâm đến mô hình hồi quy. Tôi đang cố gắng điều chỉnh một khu rừng …

8 r  random-forest  large-data 

Nhược điểm của việc sử dụng lưới đàn hồi so với lasso là gì. Tôi biết rằng mạng đàn hồi có thể chọn các nhóm biến khi chúng có mối tương quan cao. Nó không có vấn đề chọn nhiều hơn dự đoán khi . Trong khi đó Lasso bão …

8 lasso  elastic-net 

Nếu tôi quan tâm đến tác động nhân quả của sự thay đổi của một biến ( ) đối với một số kết quả ( ), làm thế nào tôi biểu thị điều đó trong một biểu đồ chu kỳ có hướng (DAG)?EEEOOO Giả sử , trong đó & xảy …

8 time-series  dag 

Tôi có hai yếu tố dự báo trong mô hình hồi quy logistic nhị phân: Một nhị phân và một liên tục. Mục tiêu chính của tôi là so sánh các hệ số của hai yếu tố dự đoán trong cùng một mô hình. Tôi đã bắt gặp đề xuất …

8 regression  logistic  regression-coefficients  standardization  scales 

Như với hầu hết các phương pháp Monte Carlo, quy tắc cho bootstrapping là số lần sao chép càng lớn, lỗi Monte Carlo càng thấp. Nhưng có lợi nhuận giảm dần, vì vậy sẽ không có ý nghĩa khi chạy càng nhiều bản sao càng tốt. Giả sử bạn muốn …

8 bootstrap 

Gần đây tôi đã có một cuộc thảo luận nhanh với một người bạn am hiểu, người đã đề cập rằng các SVM là giới hạn nhiệt độ bằng không của hồi quy logistic. Cơ sở lý luận liên quan đến polytopes cận biên và nhị nguyên fenchel. Tôi đã …

8 logistic  svm  graphical-model  exponential-family  maximum-entropy 

Giả sử chúng ta có một mô hình hồi quy logistic: P(y=1|x)log(p1−p)=p=βxP(y=1|x)=plog⁡(p1−p)=βx\begin{align} P(y=1\vert\mathbf{x}) &= p \\ \log\left(\frac{p}{1-p}\right) &= \boldsymbol{\beta}\mathbf{x} \end{align} Cho một mẫu ngẫu nhiên có kích thước , chúng ta có thể tính các khoảng tin cậy cho và các khoảng dự đoán tương ứng cho , với một …

8 logistic  binomial  prediction-interval 

Khi nghĩ về biểu đồ như là một ước tính của hàm mật độ, có hợp lý không khi nghĩ kích thước bin là một tham số ràng buộc cấu trúc cục bộ của hàm đó? Ngoài ra, có cách nào tốt hơn để nói rõ lý do này không?

8 machine-learning  distributions  regularization  histogram  binning 

Những con đại bàng được gắn thẻ vệ tinh đang bị mất tích ở Scotland và bảng trên cho thấy số phận thẻ theo mô hình thẻ. Tôi đặc biệt quan tâm đến những thẻ "Dừng lại - không trục trặc", bởi vì rất có thể những con chim này …

8 statistical-significance  categorical-data  missing-data 

Tôi đang xem xét khoảng cách Euclide tối thiểu dự kiến ​​giữa các điểm thống nhất ngẫu nhiên và điểm gốc thay đổi như thế nào khi chúng ta tăng mật độ của các điểm ngẫu nhiên ( điểm trên một đơn vị hình vuông ) xung quanh gốc. Tôi …

8 r  expected-value  monte-carlo  uniform  minimum 

Đây là câu hỏi tiếp theo tôi có sau khi xem bài đăng này: Sự khác biệt về phương tiện kiểm tra thống kê đối với dữ liệu không bình thường, không đồng nhất? Để rõ ràng, tôi đang hỏi từ góc độ thực dụng (không cho rằng các phản …

8 anova  heteroscedasticity  assumptions 

Các trang Wikipedia trên R2 nói có thể đảm nhận một lớn hơn giá trị hơn 1. Tôi không thấy cách này là có thể.R2R2R^2 Các giá trị của nằm ngoài phạm vi 0 đến 1 có thể xảy ra khi sử dụng nó để đo sự thỏa thuận giữa …

8 regression  r-squared 

Tôi có một chuỗi các biến không âm chẳng hạn như: XnXnX_nE(Xn|Cn)=Cnn2E(Xn|Cn)=Cnn2E(X_n|C_n)=\frac{C_n}{n^2} Trong đó là một chuỗi các biến ngẫu nhiên hội tụ gần như chắc chắn thành .CnCnC_n111 Tôi có thể kết luận có xu hướng về 0 gần như chắc chắn không?XnXnX_n Lưu ý: bạn có thể thay …

8 probability  convergence  conditional-expectation 

Tôi đang giải quyết vấn đề sau: Đặt và là các biến ngẫu nhiên độc lập có mật độ chung trong đó . Đặt U = \ min (X, Y) và V = \ max (X, Y) . Tìm mật độ chung của (U, V) và do đó tìm ra …

8 self-study  distributions  mathematical-statistics  random-variable 

TLDR: Các spline hồi quy tấm mỏng có giải thích xác suất / Bayes không? Cho các cặp đầu vào-đầu ra , ; Tôi muốn ước tính hàm như sau trong đó là hàm kernel và là một vectơ đặc trưng có kích thước . Các hệ số và có …

8 regression  bayesian  gaussian-process  smoothing  semiparametric