Thống kê và dữ liệu lớn

Tôi thực sự bối rối về sự khác biệt về ý nghĩa liên quan đến bối cảnh hồi quy tuyến tính của các thuật ngữ sau: Thống kê F R bình phương Lỗi tiêu chuẩn dư Tôi tìm thấy webstie này đã cho tôi cái nhìn sâu sắc về các …

14 linear-model  nonlinear-regression  linear  f-statistic 

Các cuộc thăm dò ngoài kia (giả sử, Gallup) lấy mẫu một số người thấp một cách vô lý so với quy mô dân số (ví dụ có thể một ngàn người trong số hàng trăm triệu người). Bây giờ, với tôi, lấy mẫu dân số làm phương tiện để …

14 sampling  sample-size 

Tôi hiểu các thủ tục và những gì nó kiểm soát. Vậy công thức của giá trị p được điều chỉnh trong quy trình BH cho nhiều so sánh là gì? Ngay bây giờ tôi nhận ra BH ban đầu không tạo ra các giá trị p được điều chỉnh, …

14 hypothesis-testing  p-value  multiple-comparisons  false-discovery-rate 

Tôi đã thấy toán tử ở khắp mọi nơi trong một số đánh giá tài liệu tôi đang làm về Nhân quả (xem, ví dụ như mục wikipedia này ). Tuy nhiên, tôi không thể tìm thấy một định nghĩa chính thức và chung về toán tử này.do(x)do(x)do(x) Ai đó …

14 references  causality  definition 

Tôi gặp một số khó khăn trong việc hiểu cách giải thích của 2 bài kiểm tra mẫu KS và nó khác với bài kiểm tra t thông thường giữa 2 nhóm. Hãy nói rằng tôi có nam và nữ làm một số nhiệm vụ và tôi thu thập một …

14 distributions  t-test  interpretation  kolmogorov-smirnov 

Tôi biết rằng R có thư viện gam và mgcv cho các mô hình phụ gia tổng quát. Nhưng tôi gặp khó khăn trong việc tìm kiếm các đối tác của họ trong hệ sinh thái Python (thống kê chỉ có nguyên mẫu trong hộp cát). Có ai biết các …

14 gam 

Tôi đang thực hiện phân tích dữ liệu thăm dò (EDA) trên một tập dữ liệu. Sau đó, tôi sẽ chọn một số tính năng để dự đoán một biến phụ thuộc. Câu hỏi là: Tôi có nên làm EDA trên tập dữ liệu huấn luyện của mình không? Hoặc …

14 dataset  feature-selection  feature-construction  eda 

Trong hồi quy sườn núi, hàm mục tiêu để được giảm thiểu là: RSS+λ∑β2j.RSS+λ∑βj2.\text{RSS}+\lambda \sum\beta_j^2. Điều này có thể được tối ưu hóa bằng phương pháp số nhân Lagrange không? Hay là sự khác biệt thẳng?

14 regression  regularization  ridge-regression 

Bối cảnh : Tôi muốn vẽ một đường trong một phân tán mà không xuất hiện tham số, do đó tôi đang sử dụng geom_smooth()ở ggplottrong R. Nó tự động trả về geom_smooth: method="auto" and size of largest group is >=1000, so using gam with formula: y ~ s(x, bs …

14 r  gam  splines  loess  r  data-visualization  boxplot  mathematical-statistics  theory  sufficient-statistics  machine-learning  classification  correlation  svm  feature-selection  probability  stochastic-processes  machine-learning  reinforcement-learning 

Tôi không thể hiểu được Lấy mẫu của Thompson và cách thức hoạt động của nó. Tôi đã đọc về Multi Arm Bandit và sau khi đọc Thuật toán giới hạn niềm tin trên, nhiều văn bản cho rằng Thompson Sampling hoạt động tốt hơn UCB. Thompson Sampling là gì, …

14 machine-learning  definition  multiarmed-bandit 

Là một phần của đầu ra của một mô hình tuyến tính tổng quát, độ lệch rỗng và độ lệch còn lại được sử dụng để đánh giá mô hình. Tôi thường thấy các công thức cho các đại lượng này được biểu thị theo khả năng ghi nhật ký …

14 regression  generalized-linear-model  deviance  log-likelihood 

Lấy cảm hứng từ câu hỏi khác của tôi , tôi muốn hỏi làm thế nào để tìm thấy chế độ của hàm mật độ xác suất (PDF) của hàm ?f(x)f(x)f(x) Có bất kỳ thủ tục "sách nấu ăn" cho việc này? Rõ ràng, nhiệm vụ này khó khăn hơn …

14 pdf  function  mode  shortest-half 

Tôi đã tạo Hồi quy logistic bằng mã sau: full.model.f = lm(Ft_45 ~ ., LOG_D) base.model.f = lm(Ft_45 ~ IP_util_E2pl_m02_flg) step(base.model.f, scope=list(upper=full.model.f, lower=~1), direction="forward", trace=FALSE) Sau đó tôi đã sử dụng đầu ra để tạo ra một mô hình cuối cùng: final.model.f = lm(Ft_45 ~ IP_util_E2pl_m02_flg + IP_util_E2_m02_flg + AE_NumVisit1_flg …

14 r  probability  logistic 

Từ các bài đọc về các bản phân phối nặng và đuôi dài, tôi hiểu rằng tất cả các bản phân phối đuôi dài đều có đuôi nặng , nhưng không phải tất cả các bản phân phối có đuôi nặng đều có đuôi dài . Ai đó có thể …

14 distributions  heavy-tailed 

Câu hỏi: có thể đào tạo một NN để phân biệt giữa các số lẻ và số chẵn chỉ sử dụng làm đầu vào cho các số đó không? Tôi có bộ dữ liệu sau: Number Target 1 0 2 1 3 0 4 1 5 0 6 1 ... …

14 machine-learning  classification  categorical-data  neural-networks  genetic-algorithms