Thống kê và dữ liệu lớn

Làm thế nào để bạn tính toán thích hợp trước nếu bạn có lỗi đo lường của một công cụ? Đoạn này trích từ cuốn sách "Thống kê dữ liệu tạm thời" của Cressie: Thông thường có một số thông tin trước có sẵn về phương sai lỗi đo lường, …

9 bayesian  standard-error  error  prior  measurement-error 

Dưới đây là một biểu đồ từ p. 202 của Christian Rudder Dataclysm , mặc dù nó được tạo bởi James Dowdell. Nó minh họa các mối quan hệ song song với 200 subreddits khác nhau, đó là các lĩnh vực quan tâm trên reddit.com nơi người dùng có thể …

9 clustering  data-visualization 

Từ "Trong Tất cả Khả năng: thống kê Modeling và suy luận Sử dụng Khả năng" của Y. Pawitan, khả năng xảy ra tái tham số được định nghĩa là L * ( ψ ) = max { θ : g ( θ ) = ψ } L ( θ …

9 mathematical-statistics  inference  likelihood  fisher-information 

LLLminβ∥y−Xβ∥22+λ∥β∥1minβ‖y−Xβ‖22+λ‖β‖1 \min_\beta \|y - X \beta\|_2^2 + \lambda \|\beta\|_1 \; Nhưng thường thì tôi thấy công cụ ước tính Lasso có thể được viết là β^n(λ)=argminβ{12n∥y−Xβ∥22+λ∥β∥1}β^n(λ)=arg⁡minβ{12n‖y−Xβ‖22+λ‖β‖1} \hat{\beta}_n(\lambda) = \displaystyle\arg \min_{\beta} \{\frac {1}{2n} \|y - X \beta\|_2^2 + \lambda \|\beta\|_1 \} Câu hỏi của tôi là, tương đương? Thuật ngữ 12n12n\frac …

9 lasso 

Tôi đã nhận được từ các bài đăng khác rằng người ta không thể gán thuộc tính 'tầm quan trọng' hoặc 'tầm quan trọng' cho các biến dự đoán nhập vào mô hình Lasso vì việc tính giá trị p của các biến đó hoặc độ lệch chuẩn vẫn đang …

9 statistical-significance  bootstrap  simulation  lasso  regression-strategies 

Hãy nói rằng tôi có N quả bóng trong một cái túi. Trong lần rút thăm đầu tiên, tôi đánh dấu quả bóng và thay thế nó trong túi. Trong lần rút thăm thứ hai của tôi, nếu tôi nhặt được một quả bóng được đánh dấu, tôi sẽ trả …

9 probability  estimation  population  combinatorics  capture-mark-recapture 

Tôi đã có một bài tập về nhà để thể hiện phân phối nhị thức âm như một họ phân phối theo cấp số nhân cho rằng tham số phân tán là một hằng số đã biết. Điều này khá dễ, nhưng tôi tự hỏi tại sao họ lại yêu …

9 self-study  mathematical-statistics  negative-binomial  proof  exponential-family 

Tôi muốn chạy hồi quy với 4 đến 5 biến giải thích, nhưng tôi chỉ có 15 quan sát. Không thể giả sử các biến này được phân phối bình thường, có phương pháp hồi quy không tham số hoặc bất kỳ phương pháp hồi quy hợp lệ nào khác …

9 regression  small-sample 

Tôi là người mới tham gia phân tích sinh tồn, mặc dù tôi có một số kiến ​​thức về phân loại và hồi quy. Để hồi quy, chúng ta có số liệu thống kê MSE và R vuông. Nhưng làm thế nào chúng ta có thể nói rằng mô hình …

9 regression  survival  goodness-of-fit  cart  rpart 

Tôi thường xuyên sử dụng các bài kiểm tra hoán vị và yêu thích sự đơn giản của chúng. Tôi đã học được nhiều nhất từ ​​cuốn sách "Phương pháp lấy mẫu lại" của Good, trong đó tác giả có vẻ khá sáng tạo trong việc lựa chọn thống kê …

9 hypothesis-testing  permutation-test 

Một người bạn thống kê của tôi nói với tôi về một kỹ thuật thú vị được sử dụng để có được phản hồi trung thực trong các cuộc khảo sát liên quan đến các vấn đề nhạy cảm. Tôi nhớ lại ý chính chung của phương pháp, nhưng tôi …

9 categorical-data  survey 

Trong học máy, người ta thường cho rằng một tập dữ liệu nằm trên một đa tạp chiều thấp (giả định đa tạp), nhưng có cách nào để chứng minh rằng giả sử một số điều kiện được thỏa mãn, thì tập dữ liệu thực sự được tạo ra từ …

9 machine-learning  dimensionality-reduction  manifold-learning 

Đã đóng cửa . Câu hỏi này dựa trên ý kiến . Nó hiện không chấp nhận câu trả lời. Bạn muốn cải thiện câu hỏi này? Cập nhật câu hỏi để có thể trả lời bằng sự kiện và trích dẫn bằng cách chỉnh sửa bài đăng này . …

9 sas  minitab 

Giả sử tôi có một số chức năng chưa được biết với miền ℝ , mà tôi biết để thực hiện đầy đủ một số điều kiện hợp lý như liên tục. Tôi biết các giá trị chính xác của f (vì dữ liệu đến từ một mô phỏng) tại …

9 time-series  hypothesis-testing  exact-test 

Tôi có một bộ dữ liệu gồm hàng triệu phân đoạn dòng được định hướng. Các phân đoạn dòng là tuần tự - đó là một biến khí hậu (nhiệt độ hợp lý), với các giá trị được quan sát và mô phỏng trong khoảng thời gian nửa giờ. Tôi …

9 descriptive-statistics  vector-fields  data-visualization