Thống kê và dữ liệu lớn

Theo như tôi có thể nói, các SOM theo phong cách Kohonen đã đạt đỉnh trở lại vào khoảng năm 2005 và gần đây không được ưa chuộng nhiều. Tôi chưa tìm thấy bất kỳ bài báo nào nói rằng các SOM đã được thay thế bằng một phương pháp …

33 clustering  self-organizing-maps 

Tôi đã theo dõi các cuộc thi của Kaggle trong một thời gian dài và tôi nhận ra rằng nhiều chiến lược chiến thắng liên quan đến việc sử dụng ít nhất một trong số "ba lô lớn": đóng gói, tăng cường và xếp chồng. Đối với hồi quy, thay …

33 predictive-models  boosting  bagging  stacking  model-averaging 

Có ai nhìn thấy bất kỳ tài liệu về đào tạo trước trong mạng lưới thần kinh tích chập sâu? Tôi chỉ thấy đào tạo trước không được giám sát trong bộ tự động mã hóa hoặc máy Boltzman bị hạn chế.

33 machine-learning  neural-networks  deep-learning  conv-neural-network  autoencoders 

Những câu hỏi của tôi Lý do trực quan đằng sau việc thực hiện luân chuyển các yếu tố trong phân tích nhân tố (hoặc các thành phần trong PCA) là gì? Sự hiểu biết của tôi là, nếu các biến được tải gần như bằng nhau trong các thành …

33 pca  interpretation  factor-analysis  dimensionality-reduction  factor-rotation 

Tôi đang làm việc thông qua sách giáo khoa thống kê khi học R và tôi gặp phải một vấp ngã trong ví dụ sau: Sau khi nhìn vào ?quantiletôi đã cố gắng tạo lại điều này trong R bằng cách sau: > nuclear <- c(7, 20, 16, 6, 58, …

33 r  quantiles 

Tôi đang tìm kiếm một lời giải thích trực quan cho các câu hỏi sau: Trong thống kê và lý thuyết thông tin, sự khác biệt giữa khoảng cách Bhattacharyya và phân kỳ KL, là thước đo của sự khác biệt giữa hai phân phối xác suất rời rạc? Họ …

33 mathematical-statistics  information-theory  kullback-leibler  bhattacharyya 

Tôi đã tìm cách để loại bỏ các ngoại lệ khỏi bộ dữ liệu và tôi đã tìm thấy câu hỏi này . Tuy nhiên, trong một số ý kiến ​​và câu trả lời cho câu hỏi này, mọi người đã đề cập rằng việc loại bỏ các ngoại lệ …

33 outliers 

Thống kê thử nghiệm cho thử nghiệm Hosmer-Lemeshow (HLT) về mức độ phù hợp (GOF) của mô hình hồi quy logistic được định nghĩa như sau: Sau đó, mẫu được chia thành deciles, , mỗi decile sẽ tính các đại lượng sau:d=10d=10d=10D1,D2,…,DdD1,D2,…,DdD_1, D_2, \dots , D_{d} O1d=∑i∈DdyiO1d=∑i∈DdyiO_{1d}=\displaystyle \sum_{i \in D_d} …

33 regression  logistic  goodness-of-fit  degrees-of-freedom  hosmer-lemeshow-test 

Tôi chia sẻ cùng ngày sinh với bạn trai của tôi, cùng ngày nhưng cũng cùng năm, ngày sinh của chúng tôi được cách ly chỉ sau 5 giờ hoặc lâu hơn. Tôi biết rằng cơ hội gặp một người sinh ra cùng ngày với tôi là khá cao và …

33 probability  birthday-paradox 

Sự khác biệt giữa phương sai hữu hạn và vô hạn là gì? Kiến thức thống kê của tôi là khá cơ bản; Wikipedia / Google không giúp được gì nhiều ở đây.

33 variance  intuition  partial-moments 

Tôi tưởng tượng rằng một hệ số trên một biến càng lớn thì mô hình càng có khả năng "xoay" theo chiều đó, mang lại cơ hội gia tăng để phù hợp với tiếng ồn. Mặc dù tôi nghĩ rằng tôi đã có ý thức hợp lý về mối quan …

33 regression  variance  linear-model  bias  regularization 

Tôi đang tìm hướng dẫn về cách diễn giải các lô dư của các mô hình glm. Đặc biệt là poisson, nhị thức âm, mô hình nhị thức. Chúng ta có thể mong đợi gì từ những mảnh đất này khi các mô hình "chính xác"? (ví dụ: chúng tôi …

33 generalized-linear-model  diagnostic  residuals 

Khi tính toán ma trận hiệp phương sai của một mẫu, sau đó có đảm bảo có được ma trận đối xứng và xác định dương không? Hiện tại vấn đề của tôi có một mẫu gồm 4600 vectơ quan sát và 24 chiều.

33 sampling  covariance 

Giả sử bạn quan sát trình tự: 7, 9, 0, 5, 5, 5, 4, 8, 0, 6, 9, 5, 3, 8, 7, 8, 5, 4, 0, 0, 6, 6, 4, 5, 3, 3, 7, 5, 9, 8, 1, 8, 6, 2, 8, 4, 6, 4, 1, 9, 9, 0, 5, …

33 random-generation  randomness 

Tôi biết rằng có rất nhiều tài liệu giải thích giá trị p. Tuy nhiên, khái niệm này không dễ nắm bắt mà không cần làm rõ thêm. Dưới đây là định nghĩa về giá trị p từ Wikipedia: Giá trị p là xác suất để có được một thống …

33 hypothesis-testing  p-value  interpretation