Câu hỏi được gắn thẻ «information-theory»

Một nhánh của toán học / thống kê được sử dụng để xác định khả năng mang thông tin của một kênh, cho dù một kênh được sử dụng cho truyền thông hay một kênh được định nghĩa theo nghĩa trừu tượng. Entropy là một trong những biện pháp mà theo đó các nhà lý thuyết thông tin có thể định lượng được sự không chắc chắn liên quan đến việc dự đoán một biến ngẫu nhiên.

1
Làm thế nào để so sánh các sự kiện quan sát so với dự kiến?
Giả sử tôi có một mẫu tần số gồm 4 sự kiện có thể xảy ra: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 và tôi có xác suất dự kiến ​​của các sự kiện của tôi sẽ xảy ra: p1 - 0.2 p2 - 0.1 …
9 r  statistical-significance  chi-squared  multivariate-analysis  exponential  joint-distribution  statistical-significance  self-study  standard-deviation  probability  normal-distribution  spss  interpretation  assumptions  cox-model  reporting  cox-model  statistical-significance  reliability  method-comparison  classification  boosting  ensemble  adaboost  confidence-interval  cross-validation  prediction  prediction-interval  regression  machine-learning  svm  regularization  regression  sampling  survey  probit  matlab  feature-selection  information-theory  mutual-information  time-series  forecasting  simulation  classification  boosting  ensemble  adaboost  normal-distribution  multivariate-analysis  covariance  gini  clustering  text-mining  distance-functions  information-retrieval  similarities  regression  logistic  stata  group-differences  r  anova  confidence-interval  repeated-measures  r  logistic  lme4-nlme  inference  fiducial  kalman-filter  classification  discriminant-analysis  linear-algebra  computing  statistical-significance  time-series  panel-data  missing-data  uncertainty  probability  multivariate-analysis  r  classification  spss  k-means  discriminant-analysis  poisson-distribution  average  r  random-forest  importance  probability  conditional-probability  distributions  standard-deviation  time-series  machine-learning  online  forecasting  r  pca  dataset  data-visualization  bayes  distributions  mathematical-statistics  degrees-of-freedom 
2
Giải thích entropy cho phân phối liên tục?
"Entropy" đại khái nắm bắt mức độ "thông tin" trong phân phối xác suất. Đối với các phân phối rời rạc, có một cách giải thích chính xác hơn nhiều: entropy của một biến ngẫu nhiên rời rạc là giới hạn thấp hơn trên số bit dự kiến ​​cần thiết …
1
Có sự đồng thuận hiện tại về giá trị của Nguyên tắc tắc nghẽn thông tin để hiểu Deep Learning không?
Vào năm 2015, Tishby và Zaslavsky đã xuất bản một bài báo nổi tiếng tuyên bố rằng cái gọi là Nguyên tắc thắt cổ chai thông tin có thể được sử dụng để hiểu một số hành vi của các mạng lưới thần kinh sâu sắc. Trong một bài báo …
1
Entropy phân phối với phân phối phụ thống nhất
Để cho XXX là một biến ngẫu nhiên lấy các giá trị trong một tập hợp XX\mathcal{X}. Sự phân phối củaXXXlà không thống nhất, nhưng có một tập hợp conMột ∈ XA∈XA\in\mathcal{X} đó là "đồng phục": tất cả các sự kiện trong MộtAA xảy ra với xác suất bằng nhau. …
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookie và Chính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.