Thống kê và dữ liệu lớn

Tôi đã tự hỏi những tiêu chí để sử dụng Kolmogorov-Smirnov, Cramer-von-Mises và Anderson-Darling là gì khi so sánh 2 ECDFS. Tôi biết toán học về mỗi loại khác nhau như thế nào, nhưng nếu tôi có một số dữ liệu ECDF, làm thế nào tôi biết thử nghiệm nào …

14 kolmogorov-smirnov  anderson-darling  two-sample 

Câu hỏi này liên quan đến ước tính khả năng tối đa hạn chế (REML) trong một phiên bản cụ thể của mô hình tuyến tính, cụ thể là: Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)),Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)), Y = X(\alpha)\beta + \epsilon, \\ \epsilon\sim N_n(0, \Sigma(\alpha)), nơi là một ( n × p ) ma trận parametrized …

14 mixed-model  maximum-likelihood  linear-model  optimization  reml 

Tôi có một số dữ liệu mà tôi muốn làm mịn để các điểm được làm mịn giảm đi một cách đơn điệu. Dữ liệu của tôi giảm mạnh và sau đó bắt đầu lên cao nguyên. Đây là một ví dụ sử dụng R df <- data.frame(x=1:10, y=c(100,41,22,10,6,7,2,1,3,1)) ggplot(df, …

14 regression  smoothing 

Tôi đã đọc về tối ưu hóa cho một vấn đề đặt ra trong tầm nhìn máy tính và tìm thấy lời giải thích bên dưới về tối ưu hóa trên Wikipedia. Điều tôi không hiểu là tại sao họ gọi việc tối ưu hóa này là " Giảm thiểu …

14 machine-learning  optimization  computer-vision 

Câu hỏi này được đặt ra từ câu hỏi: Khi nào (nếu có) là một cách tiếp cận thường xuyên tốt hơn đáng kể so với Bayes? Như tôi đã đăng trong giải pháp của mình cho câu hỏi đó, theo ý kiến ​​của tôi, nếu bạn là người thường …

14 bayesian  likelihood  likelihood-principle 

Chúng ta hãy tổng hợp một luồng các biến ngẫu nhiên, X i i i d ∼ U ( 0 , 1 )Xi∼iidU(0,1)X_i \overset{iid}\sim \mathcal{U}(0,1) ; Đặt YYY là số lượng số hạng chúng ta cần cho tổng số vượt quá một, nghĩa là YYY là số nhỏ nhất sao …

14 probability  self-study  expected-value  uniform 

Các mô hình hỗn hợp Gaussian (GMM) rất hấp dẫn bởi vì chúng đơn giản để làm việc với cả trong phân tích và thực tế và có khả năng mô hình hóa một số phân phối kỳ lạ mà không quá phức tạp. Có một vài thuộc tính phân …

14 probability  normal-distribution  references  gaussian-mixture  information-theory 

Trong suy nghĩ, nhanh và chậm , Daniel Kahneman đặt ra câu hỏi giả thuyết sau: (P. 186) Julie hiện đang là sinh viên năm cuối của một trường đại học công lập. Cô đọc trôi chảy khi cô bốn tuổi. Điểm trung bình của cô ấy (GPA) là bao …

14 standard-deviation  regression-coefficients  regression-to-the-mean 

Để giải thích lý do tại sao không tương quan không ngụ ý độc lập, có một số ví dụ liên quan đến một loạt các biến ngẫu nhiên, nhưng tất cả chúng có vẻ rất trừu tượng: 1 2 3 4 . Câu trả lời này dường như có …

14 correlation  independence  non-independent  garch  intuition 

Cách xử lý cổ điển của suy luận thống kê dựa trên giả định rằng tồn tại một thống kê được chỉ định chính xác. Đó là, sự phân bố P∗(Y)P∗(Y)\mathbb{P}^*(Y) đã tạo ra dữ liệu quan sát được yyy là một phần của mô hình thống kê MM\mathcal{M} : …

14 hypothesis-testing  confidence-interval  model  frequentist  misspecification 

Tôi đã đọc một số bài báo và tôi không rõ về các định nghĩa cụ thể về Hiệu quả điều trị trung bình (ATE) và Hiệu quả điều trị cận biên (MTE). Họ có giống nhau không? Theo Austin ... Một hiệu ứng có điều kiện là hiệu ứng …

14 causality  hazard  propensity-scores  marginal-effect  marginal-model 

Khi nhìn vào các hàm riêng của ma trận hiệp phương sai, chúng ta sẽ nhận được các hướng của phương sai tối đa (hàm riêng đầu tiên là hướng mà dữ liệu thay đổi nhiều nhất, v.v.); đây được gọi là phân tích thành phần chính (PCA). Tôi đã …

14 pca  entropy  mutual-information  eigenvalues 

Tất cả các ví dụ tôi tìm thấy bằng cách sử dụng niềm tin sâu sắc hoặc mạng lưới thần kinh tích chập sử dụng chúng để phân loại hình ảnh, phát hiện vi khuẩn hoặc nhận dạng giọng nói. Các mạng nơ ron sâu cũng có ích cho các …

14 regression  machine-learning  neural-networks  deep-learning 

Tôi đang làm phân loại hình ảnh bằng cách sử dụng máy học. Giả sử tôi có một số dữ liệu đào tạo (hình ảnh) và sẽ chia dữ liệu thành các bộ đào tạo và xác nhận. Và tôi cũng muốn tăng dữ liệu (tạo ra hình ảnh mới …

14 machine-learning  classification  cross-validation  dataset  data-augmentation 

Đào tạo thống kê của tôi bắt nguồn từ thống kê toán học, và tham gia các lớp phương pháp này trong MS của tôi là một chút sốc tại thời điểm này; hiện tại rất khó để tôi có thể hiểu một số phương pháp "áp dụng" này vì …

14 references  experiment-design