Thống kê và dữ liệu lớn

Trong trường hợp nào người ta nên xem xét sử dụng các phương pháp chính quy (hồi quy, lasso hoặc hồi quy góc nhỏ nhất) thay vì OLS? Trong trường hợp điều này giúp điều khiển cuộc thảo luận, mối quan tâm chính của tôi là cải thiện độ chính …

83 regression  least-squares  lasso  ridge-regression  fused-lasso 

Làm thế nào để các phương pháp xác thực chéo khác nhau so sánh về phương sai và sai lệch mô hình? Câu hỏi của tôi một phần được thúc đẩy bởi chủ đề này: Số lần tối ưu trong xác thực chéo -Fold: CV rời đi luôn là sự …

83 machine-learning  variance  cross-validation  bias  bias-variance-tradeoff 

Sự khác biệt giữa ba điều khoản dưới đây là gì? phân vị lượng tử phần tư

83 descriptive-statistics  quantiles  median  percentage 

Khi giải quyết các vấn đề kinh doanh bằng cách sử dụng dữ liệu, thông thường có ít nhất một giả định chính rằng số liệu thống kê cổ điển dưới chân không hợp lệ. Hầu hết thời gian, không ai bận tâm để kiểm tra các giả định đó …

82 model-selection  nonparametric  outliers  robust  philosophical 

Hãy nhìn vào biểu đồ Excel này: Dòng 'phù hợp nhất' phù hợp nhất sẽ xuất hiện là một đường gần như thẳng đứng xuyên qua tâm của các điểm (được chỉnh sửa bằng tay màu đỏ). Tuy nhiên, đường xu hướng tuyến tính theo quyết định của Excel là …

82 regression  excel  intuition 

Hàm kích hoạt tanh là: t một n h ( x ) = 2 ⋅ σ( 2 x ) - 1tanh(x)=2⋅σ(2x)−1tanh \left( x \right) = 2 \cdot \sigma \left( 2 x \right) - 1 Trong đó , hàm sigmoid, được định nghĩa là: .σ ( x ) = e xσ( …

82 machine-learning  neural-networks  optimization  cost-maximization 

Tôi đã bắt gặp thuật ngữ "giải pháp dạng đóng" khá thường xuyên. Một giải pháp dạng đóng có nghĩa là gì? Làm thế nào để xác định xem một giải pháp dạng gần tồn tại cho một vấn đề nhất định? Tìm kiếm trực tuyến, tôi tìm thấy một …

82 regression  machine-learning  probability  terminology  stochastic-processes 

Tôi biết điều này là từ một truyện tranh nổi tiếng vì đã tận dụng các xu hướng phân tích nhất định , nhưng nó thực sự có vẻ hợp lý sau vài phút nhìn chằm chằm. Bất cứ ai có thể phác thảo cho tôi " định lý Bayes …

81 bayesian  hierarchical-bayesian 

Tôi tự hỏi liệu có sự khác biệt rõ ràng giữa các phân phối (mô hình) được gọi là không phân phối (mô hình) và được gọi là phân phối vượt rào (mô hình) không? Các thuật ngữ xảy ra khá thường xuyên trong tài liệu và tôi nghi ngờ …

81 zero-inflation 

Tôi đang tìm kiếm một định nghĩa phi kỹ thuật về Lasso và nó được sử dụng để làm gì.

81 regression  lasso  regularization  shrinkage 

Được rồi, vì vậy tôi nghĩ rằng tôi có một mẫu đủ tốt, có tính đến quy tắc 20: 1: một mẫu khá lớn (N = 374) cho tổng số 7 biến dự đoán ứng viên. Vấn đề của tôi là như sau: bất kỳ tập hợp các biến dự …

81 regression  logistic  sample-size  unbalanced-classes 

Cách sạch nhất, dễ nhất để giải thích cho ai đó về khái niệm phương sai là gì? Nó có nghĩa là trực giác? Nếu một người giải thích điều này với con họ, người ta sẽ làm thế nào? Đó là một khái niệm mà tôi gặp khó khăn …

81 distributions  variance  standard-deviation  inference  intuition 

Một câu hỏi gần đây về sự khác biệt giữa sự tự tin và khoảng tin cậy đã khiến tôi bắt đầu đọc lại bài viết của Edwin Jaynes về chủ đề đó: Jaynes, ET, 1976. `Khoảng tin cậy so với khoảng thời gian Bayes, 'trong các nền tảng của …

81 bayesian  confidence-interval 

Về giá trị p , tôi tự hỏi tại sao % và % dường như là tiêu chuẩn vàng cho . Tại sao không phải là các giá trị khác, như % hoặc %?111555"statistical significance"666101010 Có một lý do toán học cơ bản cho điều này, hay đây chỉ là …

80 hypothesis-testing  statistical-significance  p-value  history 

Đối với khoảng dự đoán trong hồi quy tuyến tính, bạn vẫn sử dụng để tạo khoảng. Bạn cũng sử dụng điều này để tạo khoảng tin cậy của . Sự khác biệt giữa hai là gì?E^[Y|x]=β0^+β^1xE^[Y|x]=β0^+β^1x\hat{E}[Y|x] = \hat{\beta_0}+\hat{\beta}_{1}xE[Y|x0]E[Y|x0]E[Y|x_0]

80 regression  confidence-interval  predictive-models  prediction-interval