Thống kê và dữ liệu lớn

Làm thế nào tôi có thể định lượng lượng phân tán trong một vectơ đếm từ? Tôi đang tìm kiếm một thống kê sẽ cao cho tài liệu A, bởi vì nó chứa nhiều từ khác nhau xảy ra không thường xuyên và thấp cho tài liệu B, vì nó …

10 variance  natural-language  gini  dispersion  bag-of-words 

tl; dr: Bắt đầu với một tập dữ liệu được tạo dưới dạng null, tôi đã ghép lại các trường hợp với sự thay thế và tiến hành kiểm tra giả thuyết trên mỗi tập dữ liệu được lấy mẫu lại. Các thử nghiệm giả thuyết này từ chối null …

10 r  bootstrap  simulation  resampling 

Tôi muốn tìm một số "ví dụ thực tế" để dạy số liệu thống kê Bayes. Thống kê Bayes cho phép một người chính thức kết hợp kiến ​​thức trước vào phân tích. Tôi muốn cung cấp cho sinh viên một số ví dụ thực tế đơn giản về các …

10 bayesian  teaching 

Hiểu biết của tôi về hồi quy LASSO là các hệ số hồi quy được chọn để giải quyết vấn đề tối thiểu hóa: minβ∥y−Xβ∥22 s.t.∥β∥1≤tminβ‖y−Xβ‖22 s.t.‖β‖1≤t\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t Trong thực tế, điều này được thực hiện bằng cách sử dụng hệ số …

10 optimization  lasso  regularization  lagrange-multipliers 

Tôi có một số quan sát và tôi muốn bắt chước lấy mẫu dựa trên những quan sát này. Ở đây tôi xem xét một mô hình không tham số, cụ thể, tôi sử dụng làm mịn kernel để ước tính CDF từ các quan sát hạn chế. Sau đó, …

10 sampling  matlab  kernel-smoothing  density-estimation 

Khi tôi đọc qua trang web, hầu hết các câu trả lời cho thấy nên xác thực chéo trong các thuật toán học máy. Tuy nhiên khi tôi đọc cuốn sách "Tìm hiểu về học máy", tôi thấy có một bài tập đôi khi không nên sử dụng xác nhận …

10 machine-learning  self-study  cross-validation 

Về mặt định nghĩa, xác suất là hàm gán một số thực cho mỗi sự kiện nếu nó thỏa mãn ba giả định cơ bản (giả định của Kolmogorov):P ( A ) APPPP( A )P(A)P(A)MộtAA P( Một ) ≥ 0 cho mỗi Một P(A)≥0 for everyAP(A) \geq 0 \ \text{for …

10 probability  kolmogorov-axioms 

Tôi đang sửa đổi hồi quy tuyến tính. Sách giáo khoa của Greene tuyên bố: Bây giờ, tất nhiên sẽ có các giả định khác về mô hình hồi quy tuyến tính, chẳng hạn như . Giả định này kết hợp với giả định tuyến tính (có hiệu lực xác …

10 econometrics  linear-model  assumptions  causality  definition 

Dạy học tiêu chuẩn nói rằng độ nhạy và độ đặc hiệu là thuộc tính của bài kiểm tra và không phụ thuộc vào mức độ phổ biến. Nhưng đây không chỉ là một giả định sao? Nguyên tắc nội khoa của Harrison 19 ed nói Từ lâu, người ta …

10 bayesian  epidemiology  diagnostic  sensitivity-specificity 

Hiểu biết của tôi về công cụ ước tính và ước tính là gì: Công cụ ước tính: Quy tắc tính toán ước tính Ước tính: Giá trị được tính từ một tập hợp dữ liệu dựa trên công cụ ước tính Giữa hai thuật ngữ này, nếu tôi được …

10 mathematical-statistics  inference  random-variable  estimators 

Tôi quan tâm đến tình trạng hiện tại của nghệ thuật để chọn hạt giống ban đầu (trung tâm cụm) cho phương tiện K. Googling dẫn đến hai lựa chọn phổ biến: lựa chọn ngẫu nhiên các hạt giống ban đầu, và, sử dụng kỹ thuật lựa chọn KMeans ++: …

10 clustering  k-means 

Tôi không có một ví dụ cụ thể hoặc nhiệm vụ trong tâm trí. Tôi chỉ mới sử dụng b-splines và tôi muốn hiểu rõ hơn về chức năng này trong bối cảnh hồi quy. Giả sử rằng chúng tôi muốn đánh giá mối quan hệ giữa biến trả lời …

10 regression  multiple-regression  splines  polynomial  penalized 

Định lý Darmois của Pitman về việc nói rằng nếu một mẫu iid từ một họ phân phối xác suất tham số thừa nhận một thống kê đầy đủ có số lượng thành phần vô hướng không tăng theo kích thước mẫu, thì đó là một họ theo cấp số …

10 mathematical-statistics  references 

Điều này được trích dẫn rất thường xuyên khi đề cập đến lời nguyền của chiều và đi (công thức tay phải gọi là tương phản) limd→ ∞var ( | | Xd| |kE[ | | Xd| |k]) =0,sau đó: Dtối đakd- Đtối thiểukdDtối thiểukd→ 0limd→∞var(||Xd||kE[||Xd||k])= =0,sau đó:Dtối đadk-Dtối thiểudkDtối thiểudk→0 …

10 machine-learning  distance-functions  high-dimensional 

Một sự đơn giản hóa thường xuyên trong mô hình hóa và mô phỏng là thay thế một biến ngẫu nhiên bằng giá trị trung bình của nó. Khi nào sự đơn giản hóa này sẽ dẫn đến kết luận sai?

10 modeling  mean  random-variable