Thống kê và dữ liệu lớn

Tôi nhận ra điều này là chủ quan, nhưng tôi nghĩ sẽ thật tuyệt khi nói về các bộ dữ liệu yêu thích của chúng tôi và những gì chúng tôi nghĩ làm cho chúng thú vị. Có rất nhiều dữ liệu ngoài đó và với tất cả các API …

16 dataset 

Tôi có dữ liệu đếm (phân tích nhu cầu / cung cấp với số lượng khách hàng, tùy thuộc vào - có thể - nhiều yếu tố). Tôi đã thử hồi quy tuyến tính với các lỗi thông thường, nhưng cốt truyện QQ của tôi không thực sự tốt. Tôi …

16 count-data  poisson-regression  overdispersion  quasi-likelihood 

Tôi đã được giao nhiệm vụ chuyển một trong những mô hình ngẫu nhiên lớn hiện tại của chúng tôi ra khỏi SAS và sang một ngôn ngữ mới. Cá nhân, tôi thích một ngôn ngữ được biên dịch truyền thống, nhưng PI muốn tôi kiểm tra R, thứ mà …

16 r  computing 

Xem xét hồi quy tuyến tính với một số chính quy: Ví dụ: Tìm giảm thiểuxxx||Ax−b||2+λ||x||1||Ax−b||2+λ||x||1||Ax - b||^2+\lambda||x||_1 Thông thường, các cột của A được chuẩn hóa để có giá trị trung bình và đơn vị bằng 0, trong khi được căn giữa để có giá trị trung bình bằng …

16 regression  lasso  regularization  standardization 

Tôi còn khá mới với điều này, vì vậy tôi hy vọng bạn tha thứ cho tôi nếu câu hỏi ngây thơ. (Bối cảnh: Tôi đang học kinh tế lượng từ cuốn sách "Lý thuyết và phương pháp kinh tế lượng" của Davidson & MacKinnon , và dường như họ …

16 regression  least-squares 

Tôi có một mô hình tuyến tính cổ điển, với 5 biến hồi quy có thể. Chúng không tương quan với nhau và có mối tương quan khá thấp với phản ứng. Tôi đã đến một mô hình trong đó 3 trong số các biến hồi quy có hệ số …

16 r  regression  self-study  linear-model 

Tôi có một bộ dữ liệu trong đó mỗi dữ liệu bao gồm biện pháp khác nhau. Đối với mỗi biện pháp, tôi có một giá trị điểm chuẩn. Tôi muốn biết mức độ gần nhau của từng dữ liệu với giá trị chuẩn.nnn Tôi đã nghĩ đến việc sử …

16 distance-functions 

Đây là một phần của câu hỏi của người mới bắt đầu, nhưng làm thế nào để diễn giải kết quả exp (B) của 6.012 trong mô hình hồi quy logistic đa phương thức? 1) có phải là 6.012-1.0 = 5.012 = 5012% rủi ro tăng không? hoặc là 2) …

16 multinomial 

Tôi được yêu cầu viết một bài giới thiệu về thống kê và tôi đang đấu tranh làm thế nào để hiển thị đồ họa cách liên quan đến giá trị p và sức mạnh. Tôi đã đưa ra biểu đồ này: Câu hỏi của tôi: Có cách nào tốt …

16 r  teaching  power 

Tôi là một dược sĩ và, theo kinh nghiệm của tôi, hầu hết tất cả các bài báo trong nghiên cứu y sinh cơ bản đều sử dụng bài kiểm tra t của Sinh viên (để hỗ trợ suy luận hoặc phù hợp với mong đợi ...). Cách đây vài …

16 hypothesis-testing  teaching  statistical-significance 

Bản phân phối KolmogorovTHER Smirnov được biết đến từ bài kiểm tra KolmogorovTHER Smirnov . Tuy nhiên, nó cũng là sự phân phối của supremum của cây cầu Brown. Vì điều này không rõ ràng (với tôi), tôi muốn hỏi bạn một lời giải thích trực quan về sự trùng …

16 distributions  hypothesis-testing  mathematical-statistics  stochastic-processes 

Tôi đang tìm kiếm một số kỹ thuật mạnh mẽ để loại bỏ các ngoại lệ và lỗi (bất kể nguyên nhân nào) khỏi dữ liệu chuỗi thời gian tài chính (ví dụ: tickdata). Dữ liệu chuỗi thời gian tài chính tick-by-tick rất lộn xộn. Nó chứa những khoảng trống …

16 time-series  outliers 

Có rất nhiều bài đăng trên blog, video trên YouTube, v.v. về ý tưởng đóng bao hoặc tăng cường cây xanh. Hiểu biết chung của tôi là mã giả cho mỗi loại là: Đóng bao: Lấy N mẫu ngẫu nhiên là x% số mẫu và y% của các tính năng …

16 cart  boosting  xgboost  bagging 

Tôi không hiểu chính xác sự khác biệt giữa dự đoán "trong mẫu" và "ngoài mẫu" là gì? Dự báo trong mẫu sử dụng tập hợp con của dữ liệu có sẵn để dự báo các giá trị ngoài thời gian ước tính. Thay vào đó là một dự báo …

16 forecasting 

Tôi hiểu P(A∩B)/P(B)=P(A|B)P(A∩B)/P(B)=P(A|B)P(A\cap B)/P(B) = P(A|B) . Điều kiện là giao điểm của A và B chia cho toàn bộ diện tích của B. Nhưng tại sao là P(A∩B|C)/P(B|C)=P(A|B∩C)P(A∩B|C)/P(B|C)=P(A|B∩C)P(A\cap B|C)/P(B|C) = P(A|B \cap C) ? Bạn có thể cho một số trực giác? Không nên nó là: P(A∩B∩C)/P(B,C)=P(A|B∩C)P(A∩B∩C)/P(B,C)=P(A|B∩C)P(A\cap B \cap …

16 probability  conditional-probability