Thống kê và dữ liệu lớn

Tiêu đề là câu hỏi. Tôi được cho biết rằng tỷ lệ và nghịch đảo của các biến ngẫu nhiên thường có vấn đề. Điều đó có nghĩa là kỳ vọng thường không tồn tại. Có một giải thích đơn giản, chung chung về điều đó?

24 probability  distributions  random-variable  expected-value  ratio 

Phân phối nhị thức âm (NB) được xác định trên các số nguyên không âm và có hàm khối lượng xác suấtCó ý nghĩa gì khi xem xét phân phối liên tục trên các thực không âm được xác định bởi cùng một công thức (thay thế bằng )? Hệ …

24 distributions  negative-binomial  count-data  continuous-data  bioinformatics 

Tôi đang viết một bài luận lý thuyết ngắn cho một khóa học Thống kê Bayes (trong Kinh tế học Hoa Kỳ) về các linh mục không thông tin và tôi đang cố gắng hiểu đó là những bước trong sự phát triển của lý thuyết này. Đến bây giờ, …

24 bayesian  references  prior  history 

Tôi đang cố gắng theo dõi ai đã phát minh ra cấu trúc và thuật toán dữ liệu cây quyết định. Trong mục Wikipedia về học cây quyết định, có một tuyên bố rằng "ID3 và GIỎI được phát minh độc lập cùng một lúc (giữa 1970 và 1980)". ID3 …

24 cart  history 

Tôi hiện đang làm việc về một vấn đề, trong đó tôi cần phát triển thuật toán Markov chuỗi Monte Carlo (MCMC) cho mô hình không gian trạng thái. Để có thể giải quyết vấn đề, tôi đã được đưa ra xác suất sau ττ\tau : p ( ττ\tau ) …

24 distributions  bayesian  prior  state-space-models  cauchy 

Tôi đang đọc về trình tối ưu hóa Adam cho Deep Learning và tình cờ thấy câu sau trong cuốn sách mới Deep Learning của Bengio, Goodfellow và Courville: Adam thường được coi là khá mạnh mẽ đối với việc lựa chọn các tham số siêu, mặc dù tốc độ …

24 neural-networks  deep-learning  optimization  hyperparameter  adam 

Có bất cứ điều gì có ý nghĩa về một ý nghĩa hình học và số học có nghĩa là rất gần với nhau, nói ~ 0,1%? Những phỏng đoán nào có thể được thực hiện về một tập dữ liệu như vậy? Tôi đã làm việc để phân tích …

24 descriptive-statistics  mean  geometric-mean 

Cảm hứng cho câu hỏi này đến từ bài viết nổi tiếng của Leo-Breiman, mô hình thống kê: Hai nền văn hóa (truy cập mở có sẵn). Tác giả so sánh những gì ông thấy là hai cách tiếp cận khác nhau để phân tích dữ liệu, chạm vào những …

24 references 

ANOVA vs nhiều hồi quy tuyến tính? Tôi hiểu rằng cả hai phương pháp này dường như sử dụng cùng một mô hình thống kê. Tuy nhiên trong hoàn cảnh nào tôi nên sử dụng phương pháp nào? Những lợi thế và bất lợi của các phương pháp này khi …

24 anova  multiple-regression  least-squares 

Đây là một câu hỏi định kỳ (xem bài này , bài này và bài này ), nhưng tôi có một spin khác. Giả sử tôi có một loạt các mẫu từ bộ lấy mẫu MCMC chung. Đối với mỗi mẫu , tôi biết giá trị của khả năng ghi …

24 machine-learning  bayesian  sampling  mcmc  likelihood 

Chúng tôi biết rằng chúng tôi phải áp dụng các hiệu chỉnh giống như Stewamini Hochberg cho thử nghiệm nhiều giả thuyết cho các thử nghiệm dựa trên một bộ dữ liệu duy nhất, để kiểm soát tỷ lệ phát hiện sai, nếu không tất cả các thử nghiệm cho …

24 hypothesis-testing  multiple-comparisons  bonferroni  false-discovery-rate 

\newcommand{\P}{\mathbb{P}} Chúng tôi có một quy trình ngẫu nhiên có thể hoặc không thể xảy ra nhiều lần trong một khoảng thời gian . Chúng tôi có nguồn cấp dữ liệu từ một mô hình có sẵn của quy trình này, cung cấp xác suất của một số sự kiện …

24 negative-binomial  kalman-filter  poisson-process  state-space-models 

Như chúng ta đã biết, có 2 phương pháp để đánh giá mô hình hồi quy logistic và chúng đang thử nghiệm những thứ rất khác nhau Sức mạnh dự đoán: Lấy một thống kê đo lường mức độ bạn có thể dự đoán biến phụ thuộc dựa trên các …

24 r  logistic  goodness-of-fit  regression-strategies  model-evaluation 

Một cách tiếp cận phổ biến để phân loại văn bản là đào tạo một trình phân loại khỏi 'túi từ'. Người dùng lấy văn bản để được phân loại và đếm tần số của các từ trong mỗi đối tượng, theo sau là một số cách cắt xén để …

24 machine-learning  classification  text-mining 

Theo như kiến ​​thức tổng hợp (và khan hiếm) của tôi về các số liệu thống kê cho phép, tôi hiểu rằng nếu là các biến ngẫu nhiên, thì thuật ngữ này có nghĩa là chúng độc lập và phân phối giống hệt nhau.X1,X2,...,XnX1,X2,...,XnX_1, X_2,..., X_n Mối quan tâm của …

24 sampling  conditional-probability  independence