Câu hỏi được gắn thẻ «information-theory»

Một nhánh của toán học / thống kê được sử dụng để xác định khả năng mang thông tin của một kênh, cho dù một kênh được sử dụng cho truyền thông hay một kênh được định nghĩa theo nghĩa trừu tượng. Entropy là một trong những biện pháp mà theo đó các nhà lý thuyết thông tin có thể định lượng được sự không chắc chắn liên quan đến việc dự đoán một biến ngẫu nhiên.

3
Định nghĩa và nguồn gốc của entropy chéo Cross
Không cần trích dẫn nguồn, Wikipedia định nghĩa entropy chéo của các phân phối rời rạc và Q làPPPQQQ H×( P; Q )= - Σxp ( x )đăng nhậpq( x ) .H×(P;Q)= =-Σxp(x)đăng nhập⁡q(x).\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} Ai là người đầu tiên bắt đầu sử …
1
Định tính chéo là gì Entropy
Câu hỏi này đưa ra một định nghĩa định lượng về entropy chéo, theo công thức của nó. Tôi đang tìm kiếm một định nghĩa nổi tiếng hơn, wikipedia nói: Trong lý thuyết thông tin, entropy chéo giữa hai phân phối xác suất đo số bit trung bình cần thiết …
4
Khái niệm tập điển hình
Tôi nghĩ rằng khái niệm về bộ điển hình khá trực quan: một chuỗi độ dài nnn sẽ thuộc về bộ điển hình nếu xác suất của chuỗi xuất hiện cao. Vì vậy, bất kỳ chuỗi nào có khả năng sẽ có trong . (Tôi đang tránh định nghĩa chính …
1
Entropy vi sai
Entropy khác biệt của Gaussian RV là . Điều này phụ thuộc vàoσ, là độ lệch chuẩn.đăng nhập2( σ2 πe---√)đăng nhập2⁡(σ2πe)\log_2(\sigma \sqrt{2\pi e})σσ\sigma Nếu chúng ta bình thường hóa biến ngẫu nhiên để nó có phương sai đơn vị giảm entropy của nó. Đối với tôi điều này là phản …
2
Các định nghĩa AIC khác nhau
Từ Wikipedia có định nghĩa về Tiêu chí Thông tin (AIC) của Akaike là AIC=2k−2logLAIC=2k−2log⁡L AIC = 2k -2 \log L , trong đó kkk là số lượng tham số và là khả năng đăng nhập của mô hình.logLlog⁡L\log L Tuy nhiên, Kinh tế lượng của chúng tôi lưu ý …
1
Sự khác biệt giữa PROC Hỗn hợp và lme / lmer trong R - bậc tự do
Lưu ý: câu hỏi này là một bài đăng lại, vì câu hỏi trước đây của tôi đã bị xóa vì lý do pháp lý. Trong khi so sánh PROC MIXED từ SAS với chức năng lmetừ nlmegói trong R, tôi tình cờ thấy một số khác biệt khá khó …
12 r  mixed-model  sas  degrees-of-freedom  pdf  unbiased-estimator  distance-functions  functional-data-analysis  hellinger  time-series  outliers  c++  relative-risk  absolute-risk  rare-events  regression  t-test  multiple-regression  survival  teaching  multiple-regression  regression  self-study  t-distribution  machine-learning  recommender-system  self-study  binomial  standard-deviation  data-visualization  r  predictive-models  pearson-r  spearman-rho  r  regression  modeling  r  categorical-data  data-visualization  ggplot2  many-categories  machine-learning  cross-validation  weka  microarray  variance  sampling  monte-carlo  regression  cross-validation  model-selection  feature-selection  elastic-net  distance-functions  information-theory  r  regression  mixed-model  random-effects-model  fixed-effects-model  dataset  data-mining 
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookie và Chính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.