Thống kê và dữ liệu lớn

Tôi đã đọc qua Phân loại Naive Bayes ngày hôm nay. Tôi đọc, dưới tiêu đề Ước tính tham số với thêm 1 làm mịn : Hãy để ccc tham khảo một lớp (chẳng hạn như Tích cực hoặc Tiêu cực) và để www tham khảo mã thông báo hoặc …

27 machine-learning  classification  text-mining  naive-bayes  laplace-smoothing 

Nếu xx\mathbf{x} và yy\mathbf{y} là hai vectơ đơn vị ngẫu nhiên độc lập trong RDRD\mathbb{R}^D (phân bố đồng đều trên một mặt cầu đơn vị), thì phân phối của sản phẩm vô hướng của chúng (sản phẩm chấm) x⋅yx⋅y\mathbf x \cdot \mathbf y gì? DDDlimD→∞σ2(D)→0,limD→∞σ2(D)→0,\lim_{D\to\infty}\sigma^2(D) \to 0,σ2(D)σ2(D)\sigma^2(D) Cập nhật Tôi …

27 mathematical-statistics  linear-algebra  beta-distribution 

Theo câu hỏi của tôi ở đây , tôi tự hỏi liệu có quan điểm mạnh đối với việc chống lại việc sử dụng độ lệch chuẩn để phát hiện các ngoại lệ hay không (ví dụ: bất kỳ dữ liệu nào có nhiều hơn 2 độ lệch chuẩn là …

27 outliers 

Trong thuật toán rừng ngẫu nhiên, Breiman (tác giả) xây dựng ma trận tương tự như sau: Gửi tất cả các ví dụ học tập xuống từng cây trong rừng Nếu hai ví dụ hạ cánh trong cùng một phần tử tăng tương ứng trong ma trận tương tự bằng …

27 random-forest  distance  similarities  euclidean 

Tôi đang chạy GEE trên dữ liệu không cân bằng 3 cấp, sử dụng liên kết logit. Điều này khác nhau như thế nào (về các kết luận tôi có thể rút ra và ý nghĩa của các hệ số) từ GLM với các hiệu ứng hỗn hợp (GLMM) và …

27 logistic  mixed-model  generalized-linear-model  interpretation  gee 

Xác thực chéo K-Fold có thể được sử dụng để ước tính khả năng khái quát hóa của một bộ phân loại nhất định. Tôi có thể (hoặc tôi) cũng có thể tính toán phương sai gộp từ tất cả các lần xác thực để có được ước tính tốt …

27 machine-learning  cross-validation 

Một bước tiền xử lý phổ biến cho các thuật toán học máy là làm trắng dữ liệu. Có vẻ như nó luôn luôn tốt để làm trắng vì nó không tương quan dữ liệu, làm cho nó đơn giản hơn để mô hình hóa. Khi nào nên tẩy trắng …

27 data-transformation 

Tôi đã học được rằng tôi phải kiểm tra tính thông thường không phải trên dữ liệu thô mà là phần dư của chúng. Tôi có nên tính toán số dư và sau đó làm bài kiểm tra W của Shapiro tầm Wilk không? Là số dư được tính là: …

27 normality-assumption  residuals  assumptions 

Tôi tự hỏi nếu có một cách đơn giản để tạo danh sách các biến bằng vòng lặp for và đưa ra giá trị của nó. for(i in 1:3) { noquote(paste("a",i,sep=""))=i } Trong đoạn mã trên, tôi cố gắng tạo a1, a2, a3, mà gán cho giá trị của 1, …

27 r 

Có 99 phần trăm, hay 100 phần trăm? Và chúng có phải là nhóm số, hoặc dòng chia, hoặc con trỏ đến số riêng lẻ? Tôi cho rằng cùng một câu hỏi sẽ áp dụng cho tứ phân vị hoặc bất kỳ lượng tử nào. Tôi đã đọc rằng chỉ …

27 quantiles 

Tôi ngạc nhiên khi điều này chưa được hỏi trước đây, nhưng tôi không thể tìm thấy câu hỏi trên stats.stackexchange. Đây là công thức để tính toán phương sai của một mẫu phân phối thông thường: Σ ( X- X¯)2n - 1∑(X−X¯)2n−1\frac{\sum(X - \bar{X}) ^2}{n-1} Đây là công thức …

27 variance  error 

Bất cứ ai có thể cho tôi biết làm thế nào để đánh giá nếu một mô hình học máy được giám sát là quá mức hay không? Nếu tôi không có bộ dữ liệu xác nhận bên ngoài, tôi muốn biết liệu tôi có thể sử dụng ROC gồm …

27 machine-learning 

Sự khác biệt giữa thử nghiệm Kwiatkowski ăn Phillips Phillips SchmidtTHER Shin (KPSS) và thử nghiệm Dickey-Fuller (ADF) tăng cường là gì? Họ đang thử nghiệm điều tương tự? Hay chúng ta cần sử dụng chúng trong các tình huống khác nhau?

27 time-series  stationarity  unit-root  augmented-dickey-fuller  kpss-test 

Sự khác biệt về ý nghĩa giữa ký hiệu và thường được sử dụng trong nhiều sách và giấy tờ là gì?P(z;d,w)P(z;d,w)P(z;d,w)P(z|d,w)P(z|d,w)P(z|d,w)

27 probability  notation 

Khi đào tạo một mạng nơ ron phân đoạn pixel, chẳng hạn như mạng tích chập hoàn toàn, làm thế nào để bạn đưa ra quyết định sử dụng chức năng mất entropy chéo so với chức năng mất hệ số Dice? Tôi nhận ra đây là một câu hỏi …

27 neural-networks  loss-functions  cross-entropy