Thống kê và dữ liệu lớn

A có liên quan tích cực đến B. C là kết quả của A và B, nhưng ảnh hưởng của A đối với C là âm tính và tác động của B đối với C là tích cực. Điều này có thể xảy ra không?

22 regression  correlation 

Đã bao gồm một mô hình hồi quy lượng tử trong một bài báo, các nhà đánh giá muốn tôi đưa điều chỉnh vào bài báo. Tôi đã tính toán giả giây (từ bài báo JASA 1999 của Koenker và Machado ) cho ba lượng tử quan tâm cho nghiên …

22 goodness-of-fit  r-squared  quantile-regression 

Tôi có một bộ dữ liệu. Nói quan sát và biến:3101010333 obs A B C 1 0 0 1 2 0 1 0 3 1 0 1 4 1 1 0 5 1 0 1 6 1 0 0 7 1 1 0 8 0 0 1 9 0 1 …

22 proportion  descriptive-statistics  paradox 

Tôi đã chơi với một Mạng thần kinh đơn giản chỉ có một lớp ẩn, bởi Tensorflow, và sau đó tôi đã thử các kích hoạt khác nhau cho lớp ẩn: Relu Sigmoid Softmax (tốt, thường là softmax được sử dụng ở lớp cuối cùng ..) Relu cung cấp độ …

22 machine-learning  neural-networks  conv-neural-network  tensorflow  sigmoid-curve 

Tôi biết đối với các vấn đề thường xuyên, nếu chúng ta có một công cụ ước tính không thiên vị thường xuyên tốt nhất, nó phải là công cụ ước tính khả năng tối đa (MLE). Nhưng nhìn chung, nếu chúng ta có một MLE không thiên vị, nó …

22 mathematical-statistics  maximum-likelihood  unbiased-estimator 

Một số chức năng phạt và các xấp xỉ được nghiên cứu kỹ, chẳng hạn như LASSO ( ) và ( ) và cách so sánh chúng trong hồi quy.L1L1L_1L2L2L_2 Tôi đã đọc về hình phạt Cầu, đó là hình phạt tổng quát . So sánh với LASSO, có \ …

22 regression  lasso  regularization  ridge-regression  elastic-net 

Andrew Gelman đã viết một bài viết rộng rãi về lý do tại sao thử nghiệm Bayesian AB không yêu cầu sửa chữa nhiều giả thuyết: Tại sao chúng tôi (Thông thường) không phải lo lắng về nhiều so sánh , 2012. Tôi hoàn toàn không hiểu: tại sao các …

22 hypothesis-testing  bayesian  multiple-comparisons 

Hình ảnh dưới đây cho thấy một đường cong liên tục của tỷ lệ dương tính giả so với tỷ lệ dương thực sự: Tuy nhiên, điều tôi không nhận được ngay lập tức là cách tính các mức giá này. Nếu một phương thức được áp dụng cho tập …

22 machine-learning  data-visualization  roc  auc 

Khi đào tạo một mạng lưới thần kinh bằng thuật toán lan truyền ngược, phương pháp giảm độ dốc được sử dụng để xác định các cập nhật trọng lượng. Câu hỏi của tôi là: Thay vì sử dụng phương pháp giảm độ dốc để từ từ xác định điểm …

22 neural-networks  gradient-descent  backpropagation 

Theo Xác suất và Thống kê dành cho Kỹ sư của Miller và Freund, 8ed (tr.217-218), chức năng khả năng được tối đa hóa để phân phối nhị thức (thử nghiệm Bernoulli) được đưa ra là L(p)=∏ni=1pxi(1−p)1−xiL(p)=∏i=1npxi(1−p)1−xiL(p) = \prod_{i=1}^np^{x_i}(1-p)^{1-x_i} Làm thế nào để đến phương trình này? Nó có vẻ …

22 estimation  maximum-likelihood  bernoulli-distribution  point-estimation 

Sự khác biệt giữa phân phối nhị thức âm và phân phối nhị thức là gì? Tôi đã thử đọc trực tuyến và tôi thấy rằng phân phối nhị thức âm được sử dụng khi các điểm dữ liệu rời rạc, nhưng tôi nghĩ ngay cả phân phối nhị thức …

22 categorical-data  data-mining  binomial  negative-binomial 

Tôi muốn phân cụm phân cấp dữ liệu của mình, nhưng thay vì sử dụng khoảng cách Euclide, tôi muốn sử dụng tương quan. Ngoài ra, vì hệ số tương quan nằm trong khoảng từ -1 đến 1, với cả -1 và 1 biểu thị "đồng quy định" trong nghiên …

22 correlation  clustering  distance  hierarchical-clustering 

Tôi đã xem qua các tài liệu về chính quy hóa, và thường thấy các đoạn liên kết điều chỉnh L2 với Gaussian trước và L1 với Laplace tập trung vào số không. Tôi biết những linh mục này trông như thế nào, nhưng tôi không hiểu, ví dụ như …

22 regression  bayesian  prior  regularization  laplace-distribution 

Câu hỏi này hơi trái một chút, nhưng tôi đoán rằng cộng đồng ở đây có lẽ có quan điểm mạnh mẽ về chủ đề này! Tôi đang viết luận án tiến sĩ. Một cách nhất quán, khi nói về số lượng có liên quan chính thức đến phân phối …

22 normal-distribution  terminology 

Trong suy luận Bayes, một phân phối dự đoán cho dữ liệu trong tương lai được lấy bằng cách tích hợp các tham số chưa biết; tích hợp trên phân phối sau của các tham số đó cung cấp phân phối dự báo sau, một phân phối cho dữ liệu …

22 prediction  inference  prediction-interval