Thống kê và dữ liệu lớn

Câu hỏi này đã được hỏi trên CV một số năm trước, có vẻ như đáng để đăng lại theo thứ tự 1) công nghệ điện toán tốt hơn (ví dụ: tính toán song song, HPC, v.v.) và 2) các kỹ thuật mới hơn, ví dụ [3]. Đầu tiên, một …

67 machine-learning  modeling  feature-selection  model-selection  prediction 

Tôi chưa quen với Phân tích thành phần độc lập (ICA) và có hiểu biết sơ bộ về phương pháp này. Đối với tôi, ICA tương tự như Phân tích nhân tố (FA) với một ngoại lệ: ICA giả định rằng các biến ngẫu nhiên quan sát được là sự …

67 multivariate-analysis  factor-analysis  ica 

Nó nói trên Wikipedia rằng: toán học [về xác suất] phần lớn không phụ thuộc vào bất kỳ sự giải thích nào về xác suất. Câu hỏi: Sau đó, nếu chúng ta muốn chính xác về mặt toán học, chúng ta có nên không cho phép bất kỳ giải thích …

67 probability  bayesian  frequentist  philosophical  kolmogorov-axioms 

Mạng thần kinh tái phát khác với mạng "thông thường" bởi thực tế là chúng có lớp "bộ nhớ". Do lớp này, NN tái phát được cho là hữu ích trong mô hình chuỗi thời gian. Tuy nhiên, tôi không chắc tôi hiểu chính xác cách sử dụng chúng. Giả …

67 time-series  machine-learning  neural-networks 

Tôi chưa bao giờ thực sự hiểu được sự khác biệt giữa hai biện pháp hội tụ này. (Hoặc, trên thực tế, bất kỳ loại hội tụ nào khác nhau, nhưng tôi đặc biệt đề cập đến hai loại này vì các định luật yếu và mạnh về số lượng …

67 probability  random-variable 

Tôi có một số dữ liệu thứ tự thu được từ các câu hỏi khảo sát. Trong trường hợp của tôi, họ là những phản ứng theo kiểu Likert (Rất không đồng ý-Không đồng ý-Trung lập-Đồng ý-Rất đồng ý). Trong dữ liệu của tôi, chúng được mã hóa là 1-5. …

67 descriptive-statistics  likert  ordinal-data 

Có ai biết tại sao bù trong hồi quy Poisson được sử dụng không? Bạn đạt được gì bởi điều này?

67 poisson-regression  offset 

Công thức tính toán phương sai có trong mẫu số:(n−1)(n−1)(n-1) s2=∑Ni=1(xi−x¯)2n−1s2=∑i=1N(xi−x¯)2n−1s^2 = \frac{\sum_{i=1}^N (x_i - \bar{x})^2}{n-1} Tôi đã luôn tự hỏi tại sao. Tuy nhiên, đọc và xem một vài video hay về "tại sao", có vẻ như, là một công cụ ước tính không thiên vị tốt về phương …

67 variance  unbiased-estimator  proof  history 

Trong phân tích thành phần chính (PCA), chúng ta có các hàm riêng (vectơ đơn vị) và giá trị riêng. Bây giờ, chúng ta hãy định nghĩa các tải làLoadings=Eigenvectors⋅Eigenvalues−−−−−−−−−−√.Loadings=Eigenvectors⋅Eigenvalues.\text{Loadings} = \text{Eigenvectors} \cdot \sqrt{\text{Eigenvalues}}. Tôi biết rằng các hàm riêng chỉ là các hướng và tải (như được định nghĩa …

67 pca 

Tôi đã đọc về kernel PCA ( 1 , 2 , 3 ) với các hạt nhân Gaussian và đa thức. Làm thế nào để hạt nhân Gaussian tách biệt dường như bất kỳ loại dữ liệu phi tuyến nào đặc biệt tốt? Vui lòng đưa ra một phân tích …

67 machine-learning  pca  svm  kernel-trick 

Tôi đang thực hiện một số tính toán trên các ma trận khác nhau (chủ yếu là hồi quy logistic) và tôi thường gặp lỗi "Ma trận là số ít", trong đó tôi phải quay lại và loại bỏ các biến tương quan. Câu hỏi của tôi ở đây là …

66 regression  correlation  matrix  multicollinearity  singular 

Tôi đang nhìn thấy hình ảnh này được truyền qua rất nhiều. Tôi có cảm giác đặc biệt rằng thông tin được cung cấp theo cách này không hoàn chỉnh hoặc thậm chí sai sót, nhưng tôi không đủ thông thạo về thống kê để phản hồi. Nó khiến tôi …

66 probability  interpretation  prediction 

Tôi có vài trăm phép đo. Bây giờ, tôi đang xem xét sử dụng một số loại phần mềm để tương quan mọi biện pháp với mọi biện pháp. Điều này có nghĩa là có hàng ngàn mối tương quan. Trong số này phải có (về mặt thống kê) có …

66 correlation  multiple-comparisons  permutation-test 

Đây không phải là một câu hỏi làm việc tại nhà mà là vấn đề thực sự mà công ty chúng tôi phải đối mặt. Rất gần đây (2 ngày trước) chúng tôi đã đặt hàng sản xuất 10000 nhãn sản phẩm cho một đại lý. Đại lý là người …

66 probability  bayesian  model  decision-theory 

Trong hầu hết các tác vụ học máy mà bạn có thể tạo ra một số xác suất cần được tối đa hóa, chúng tôi thực sự sẽ tối ưu hóa xác suất thay vì xác suất cho một số tham số . Ví dụ, trong đào tạo khả năng …

66 probability  optimization  log-likelihood