Câu hỏi được gắn thẻ «information-theory»

Một nhánh của toán học / thống kê được sử dụng để xác định khả năng mang thông tin của một kênh, cho dù một kênh được sử dụng cho truyền thông hay một kênh được định nghĩa theo nghĩa trừu tượng. Entropy là một trong những biện pháp mà theo đó các nhà lý thuyết thông tin có thể định lượng được sự không chắc chắn liên quan đến việc dự đoán một biến ngẫu nhiên.

5
Thu thập thông tin, thông tin lẫn nhau và các biện pháp liên quan
Andrew More định nghĩa thông tin đạt được là: IG(Y|X)=H(Y)−H(Y|X)IG(Y|X)=H(Y)−H(Y|X)IG(Y|X) = H(Y) - H(Y|X) Trong đó là entropy có điều kiện . Tuy nhiên, Wikipedia gọi số lượng thông tin lẫn nhau ở trên .H(Y|X)H(Y|X)H(Y|X) Mặt khác, Wikipedia định nghĩa mức tăng thông tin là phân kỳ KullbackTHER Leibler (còn …
4
Các biện pháp tương tự hoặc khoảng cách giữa hai ma trận hiệp phương sai
Có bất kỳ thước đo tương tự hoặc khoảng cách giữa hai ma trận hiệp phương sai đối xứng (cả hai đều có cùng kích thước) không? Tôi đang suy nghĩ ở đây về sự tương tự với phân kỳ KL của hai phân phối xác suất hoặc khoảng cách …
4
Giá trị chính xác cho độ chính xác và thu hồi trong trường hợp cạnh là gì?
Độ chính xác được định nghĩa là: p = true positives / (true positives + false positives) Có đúng không, như true positivesvà false positivescách tiếp cận 0, độ chính xác tiếp cận 1? Câu hỏi tương tự để nhớ lại: r = true positives / (true positives + false …
20 precision-recall  data-visualization  logarithm  references  r  networks  data-visualization  standard-deviation  probability  binomial  negative-binomial  r  categorical-data  aggregation  plyr  survival  python  regression  r  t-test  bayesian  logistic  data-transformation  confidence-interval  t-test  interpretation  distributions  data-visualization  pca  genetics  r  finance  maximum  probability  standard-deviation  probability  r  information-theory  references  computational-statistics  computing  references  engineering-statistics  t-test  hypothesis-testing  independence  definition  r  censoring  negative-binomial  poisson-distribution  variance  mixed-model  correlation  intraclass-correlation  aggregation  interpretation  effect-size  hypothesis-testing  goodness-of-fit  normality-assumption  small-sample  distributions  regression  normality-assumption  t-test  anova  confidence-interval  z-statistic  finance  hypothesis-testing  mean  model-selection  information-geometry  bayesian  frequentist  terminology  type-i-and-ii-errors  cross-validation  smoothing  splines  data-transformation  normality-assumption  variance-stabilizing  r  spss  stata  python  correlation  logistic  logit  link-function  regression  predictor  pca  factor-analysis  r  bayesian  maximum-likelihood  mcmc  conditional-probability  statistical-significance  chi-squared  proportion  estimation  error  shrinkage  application  steins-phenomenon 
3
Thuật toán MIC để phát hiện các mối tương quan phi tuyến tính có thể được giải thích bằng trực giác?
Gần đây, tôi đọc hai bài báo. Đầu tiên là về lịch sử của mối tương quan và thứ hai là về phương pháp mới gọi là Hệ số thông tin tối đa (MIC). Tôi cần sự giúp đỡ của bạn để hiểu phương pháp MIC để ước tính mối …
2
Entropy theo kinh nghiệm là gì?
Trong định nghĩa của các tập hợp điển hình chung (trong "Các yếu tố của lý thuyết thông tin", ch. 7.6, trang 195), chúng tôi sử dụng np(xn)=∏ n i = 1 p(xi)- 1nđăng nhậpp ( xn)-1nđăng nhập⁡p(xn)-\frac{1}{n} \log{p(x^n)} là entropy theo kinh nghiệm của một hệ quả với . …
1
Tại sao phân kỳ KL không âm?
Tại sao phân kỳ KL không âm? Từ quan điểm của lý thuyết thông tin, tôi có một sự hiểu biết trực quan như vậy: Giả sử có hai nhóm AAA và BBB được tạo thành từ cùng một tập hợp các phần tử được dán nhãn bởi xxx . …
2
Tính toán AIC bằng tay bằng tay trong R
Tôi đã thử tính AIC của hồi quy tuyến tính trong R nhưng không sử dụng AIChàm, như thế này: lm_mtcars <- lm(mpg ~ drat, mtcars) nrow(mtcars)*(log((sum(lm_mtcars$residuals^2)/nrow(mtcars))))+(length(lm_mtcars$coefficients)*2) [1] 97.98786 Tuy nhiên, AICđưa ra một giá trị khác: AIC(lm_mtcars) [1] 190.7999 Ai đó có thể cho tôi biết những gì tôi …
1
Trực giác đằng sau các mẫu trao đổi theo giả thuyết null là gì?
Các thử nghiệm hoán vị (còn gọi là thử nghiệm ngẫu nhiên, thử nghiệm ngẫu nhiên lại hoặc thử nghiệm chính xác) rất hữu ích và có ích khi giả định phân phối bình thường theo yêu cầu, t-testkhông được đáp ứng và khi chuyển đổi các giá trị theo …
15 hypothesis-testing  permutation-test  exchangeability  r  statistical-significance  loess  data-visualization  normal-distribution  pdf  ggplot2  kernel-smoothing  probability  self-study  expected-value  normal-distribution  prior  correlation  time-series  regression  heteroscedasticity  estimation  estimators  fisher-information  data-visualization  repeated-measures  binary-data  panel-data  mathematical-statistics  coefficient-of-variation  normal-distribution  order-statistics  regression  machine-learning  one-class  probability  estimators  forecasting  prediction  validation  finance  measurement-error  variance  mean  spatial  monte-carlo  data-visualization  boxplot  sampling  uniform  chi-squared  goodness-of-fit  probability  mixture  theory  gaussian-mixture  regression  statistical-significance  p-value  bootstrap  regression  multicollinearity  correlation  r  poisson-distribution  survival  regression  categorical-data  ordinal-data  ordered-logit  regression  interaction  time-series  machine-learning  forecasting  cross-validation  binomial  multiple-comparisons  simulation  false-discovery-rate  r  clustering  frequency  wilcoxon-mann-whitney  wilcoxon-signed-rank  r  svm  t-test  missing-data  excel  r  numerical-integration  r  random-variable  lme4-nlme  mixed-model  weighted-regression  power-law  errors-in-variables  machine-learning  classification  entropy  information-theory  mutual-information 
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookie và Chính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.