Thống kê và dữ liệu lớn

Tôi cố gắng tái tạo với optimcác kết quả từ hồi quy tuyến tính đơn giản được trang bị glmhoặc thậm chí các nlshàm R. Các ước tính tham số là như nhau nhưng ước tính phương sai dư và sai số chuẩn của các tham số khác không giống …

16 r  maximum-likelihood  optimization 

Hãy xem xét một vấn đề tiêu chuẩn OLS hồi quy \newcommand{\Y}{\mathbf Y}\newcommand{\X}{\mathbf X}\newcommand{\B}{\boldsymbol\beta}\DeclareMathOperator*{argmin}{argmin} : Tôi có ma trận YY\Y và XX\X và tôi muốn tìm ββ\B để thu nhỏ L=∥Y−Xβ∥2.L=‖Y−Xβ‖2.L=\|\Y-\X\B\|^2. Giải pháp được đưa ra bởi β^=argminβ{L}=(X⊤X)+X⊤Y.β^=argminβ⁡{L}=(X⊤X)+X⊤Y.\hat\B=\argmin_\B\{L\} = (\X^\top\X)^+\X^\top \Y. Tôi cũng có thể đặt ra vấn đề "đảo …

16 regression  least-squares  ridge-regression 

(Ban đầu được đăng trên MSE.) Tôi đã thấy nhiều cuộc thảo luận heuristic của định lý giới hạn trung tâm cổ điển nói về phân phối chuẩn (hoặc bất kỳ phân phối ổn định nào) như là một "điểm thu hút" trong không gian của mật độ xác suất. …

16 probability  mathematical-statistics  convergence  central-limit-theorem  convolution 

Có ai ngoài Egon Pearson truy cập báo cáo năm 1904 của William Sealy Gosset "Ứng dụng của 'Luật lỗi' đối với công việc của nhà máy bia"? Tôi đoán đó là tài sản của Guinness, nhưng với ý nghĩa lịch sử của nó, nó sẽ là một cuốn sách …

16 statistical-significance  history 

Tôi bối rối về phương trình đóng vai trò là định nghĩa về tỷ lệ nguy hiểm. Tôi có ý tưởng về tỷ lệ nguy hiểm là gì, nhưng tôi không thấy phương trình biểu thị trực giác đó như thế nào. Nếu xxx là biến ngẫu nhiên đại diện …

16 survival  intuition  hazard 

Tại sao F -test cho sự khác biệt về phương sai rất nhạy cảm với giả định phân phối bình thường, ngay cả đối với lớn ?NNN Tôi đã cố gắng tìm kiếm trên web và ghé thăm thư viện, nhưng không ai trong số đó đưa ra bất kỳ …

16 normality-assumption  f-test 

Tôi cảm thấy như tôi đã thấy chủ đề này được thảo luận ở đây trước đây, nhưng tôi không thể tìm thấy bất cứ điều gì cụ thể. Sau đó, một lần nữa, tôi cũng không thực sự chắc chắn những gì để tìm kiếm. Tôi có một bộ …

16 hypothesis-testing  distributions  mixture 

Tôi đang cố gắng tìm hiểu bối cảnh của cuốn sách "Perceptrons" nổi tiếng của Minsky và Papert từ năm 1969, rất quan trọng đối với các mạng lưới thần kinh. Theo như tôi biết, chưa có thuật toán học có giám sát chung nào khác ngoại trừ perceptron: cây …

16 classification  neural-networks  history 

Các caret gói là một thư viện R rực rỡ cho việc xây dựng nhiều mô hình học máy, và có một số chức năng để xây dựng và đánh giá mô hình. Để điều chỉnh tham số và đào tạo mô hình, gói caret cung cấp 'repeatcv' là một …

16 cross-validation  caret 

Tôi cần một chút trợ giúp để cứu vãn dữ liệu từ bảng câu hỏi. Một trong những đồng nghiệp của tôi đã áp dụng một bảng câu hỏi, nhưng vô tình, thay vì sử dụng thang đo Likert 5 điểm ban đầu (không đồng ý mạnh mẽ để đồng …

16 likert  data-imputation 

Vì vậy, chúng ta biết rằng một khoản nnn poissons với tham số λλ\lambda là chính nó một Poisson với nλnλn\lambda . Vì vậy, giả thuyết, người ta có thể mất x∼poisson(λ=1)x∼poisson(λ=1)x \sim poisson(\lambda = 1) và nói rằng nó thực sự là ∑n1xi∼poisson(λ=1)∑1nxi∼poisson(λ=1)\sum_1^n x_i \sim poisson(\lambda = 1) trong …

16 poisson-distribution  central-limit-theorem  asymptotics 

Tôi có một câu hỏi đơn giản - và có thể rõ ràng tầm thường - tại sao độ lệch chuẩn được gọi là " tiêu chuẩn "? Có phải vì nó chuẩn hóa việc so sánh các tập dữ liệu và kết quả liên quan đến sự phân tán …

16 standard-deviation  terminology  history  etymology 

Tôi đã xem qua bài viết năm 2012 này của Gitte Vanwinckelen và Hendrik Blockeel khi đặt câu hỏi về tiện ích của việc xác thực chéo nhiều lần, đã trở thành một kỹ thuật phổ biến để giảm phương sai của xác thực chéo. Các tác giả đã chứng …

16 cross-validation 

Sau khi đọc câu hỏi này liên quan đến arXiv và tìm thấy một liên kết đến GitXiv mà trước đây tôi không biết, tôi tự hỏi, mọi người sử dụng trang web / tài nguyên nào để cập nhật các nghiên cứu mới nhất trong khu vực của họ?

16 academia 

Tôi biết rằng Pearson Residuals được tiêu chuẩn hóa thu được theo cách xác suất truyền thống: ri=yi−πiπi(1−πi)−−−−−−−−√ri=yi−πiπi(1−πi) r_i = \frac{y_i-\pi_i}{\sqrt{\pi_i(1-\pi_i)}} và Deviance Residuals có được thông qua một cách thống kê hơn (sự đóng góp của từng điểm vào khả năng): di=si−2[yilogπi^+(1−yi)log(1−πi)]−−−−−−−−−−−−−−−−−−−−−−−−−−√di=si−2[yilog⁡πi^+(1−yi)log⁡(1−πi)] d_i = s_i \sqrt{-2[y_i \log \hat{\pi_i} + …

16 regression  logistic  generalized-linear-model  residuals  deviance