Thống kê và dữ liệu lớn

Tôi đã xem qua tài liệu Stan có thể tải về từ đây . Tôi đặc biệt quan tâm đến việc họ thực hiện chẩn đoán Gelman-Rubin. Bài báo gốc Gelman & Rubin (1992) xác định hệ số giảm quy mô tiềm năng (PSRF) như sau: Hãy Xi,1,…,Xi,NXi,1,…,Xi,NX_{i,1}, \dots , …

16 mcmc  convergence  gibbs  metropolis-hastings  stan 

Tôi đang cố gắng đọc lên các nghiên cứu trong lĩnh vực hồi quy chiều cao; khi ppp lớn hơn nnn , có nghĩa là, p>>np>>np >> n . Có vẻ như thuật ngữ logp/nlog⁡p/n\log p/nxuất hiện thường xuyên về mặt tốc độ hội tụ cho các ước tính hồi …

16 regression  lasso  convergence  high-dimensional 

Tôi đang cố gắng tìm ra cách thực hiện một số thử nghiệm giả thuyết trên hồi quy tuyến tính (giả thuyết null không có tương quan). Mọi hướng dẫn và trang về chủ đề tôi chạy vào dường như đang sử dụng bài kiểm tra t. Nhưng tôi không …

16 regression  t-test 

Đây là một câu hỏi về thuật ngữ. Đôi khi tôi thấy mọi người gọi các mạng lưới thần kinh sâu là "tri giác đa tầng", tại sao lại như vậy? Một perceptron, tôi đã được dạy, là một bộ phân loại một lớp (hoặc biến hồi quy) với đầu …

16 neural-networks  perceptron 

Tôi đang tìm kiếm các linh mục không thông tin để phân phối beta để làm việc với quy trình nhị thức (Hit / Miss). Tại lần đầu tiên tôi nghĩ về việc sử dụng tạo ra một PDF thống nhất, hoặc Jeffrey trước α = 0,5 , β = …

16 bayesian  prior  beta-distribution  uninformative-prior 

Trong thực tế, sử dụng phép thử T tiêu chuẩn để kiểm tra tầm quan trọng của hệ số hồi quy tuyến tính là cách làm phổ biến. Các cơ chế tính toán có ý nghĩa với tôi. Tại sao phân phối T có thể được sử dụng để mô …

16 regression  hypothesis-testing  linear-model  t-distribution 

Tôi có một bộ gồm 150 tính năng và nhiều trong số chúng có mối tương quan cao với nhau. Mục tiêu của tôi là dự đoán giá trị của một biến rời rạc, có phạm vi là 1-8 . Cỡ mẫu của tôi là 550 và tôi đang sử …

16 regression  lasso  regularization  ridge-regression  elastic-net 

Câu hỏi của tôi là: mối quan hệ toán học giữa phân phối Beta và các hệ số của mô hình hồi quy logistic là gì? Để minh họa: logistic (sigmoid) chức năng được cho bởi f(x)=11+exp(−x)f(x)=11+exp⁡(−x)f(x) = \frac{1}{1+\exp(-x)} và nó được sử dụng để mô hình xác suất trong …

16 regression  logistic  mathematical-statistics  beta-distribution 

Tôi có một bộ dữ liệu ô nhiễm lớn được ghi lại cứ sau 10 phút trong suốt 2 năm, tuy nhiên có một số lỗ hổng trong dữ liệu (bao gồm một số dữ liệu diễn ra trong vài tuần một lần). Dữ liệu dường như khá theo mùa …

16 time-series  missing-data  data-imputation 

Sự khác biệt giữa chuỗi Markov và quy trình Markov là gì? Tôi đang đọc thông tin mâu thuẫn: đôi khi định nghĩa dựa trên việc không gian trạng thái là rời rạc hay liên tục, và đôi khi nó dựa trên việc thời gian có rời rạc liên tục …

16 terminology  stochastic-processes  markov-process 

Tôi đã xây dựng một đường cong ROC cho một hệ thống chẩn đoán. Khu vực dưới đường cong sau đó được ước tính không tham số là AUC = 0,89. Khi tôi cố gắng tính toán độ chính xác ở cài đặt ngưỡng tối ưu (điểm gần điểm nhất …

16 roc  reliability  accuracy  auc 

Nếu dữ liệu là 1d, phương sai cho thấy mức độ mà các điểm dữ liệu khác nhau. Nếu dữ liệu là đa chiều, chúng ta sẽ có một ma trận hiệp phương sai. Có một biện pháp nào đưa ra một số lượng duy nhất các điểm dữ liệu …

16 variance  covariance  covariance-matrix 

Là giảm hồi quy xếp hạng và hồi quy thành phần chính chỉ là trường hợp đặc biệt của bình phương nhỏ nhất một phần? Hướng dẫn này (Trang 6, "So sánh các mục tiêu") nói rằng khi chúng ta thực hiện bình phương tối thiểu một phần mà không …

16 regression  pca  dimensionality-reduction  partial-least-squares  reduced-rank-regression 

Có một số giải thích trực quan cho thuật ngữ này? Tại sao nó lại theo cách này mà không phải (các) người dự đoán bị thụt lùi về kết quả? Lý tưởng nhất là tôi hy vọng rằng một lời giải thích phù hợp về lý do tại sao …

16 regression  terminology  teaching 

Hình 1. Hàm logistic Hình 2. Chức năng Sigmoid nó giống như kiểu hàm sigmoid tổng quát hơn mà bạn có thể có giá trị tối đa cao hơn?

16 logistic