Câu hỏi được gắn thẻ «kullback-leibler»

Chọn để parameterize phân phối gamma Γ(b,c)Γ(b,c)\Gamma(b,c) bởi pdf g(x;b,c)=1Γ(c)xc−1bce−x/bg(x;b,c)=1Γ(c)xc−1bce−x/bg(x;b,c) = \frac{1}{\Gamma(c)}\frac{x^{c-1}}{b^c}e^{-x/b} Các Kullback-Leibler phân kỳ giữaΓ(bq,cq)Γ(bq,cq)\Gamma(b_q,c_q)vàΓ(bp,cp)Γ(bp,cp)\Gamma(b_p,c_p)được cho bởi [1] như KLGa(bq,cq;bp,cp)=(cq−1)Ψ(cq)−logbq−cq−logΓ(cq)+logΓ(cp)+cplogbp−(cp−1)(Ψ(cq)+logbq)+bqcqbpKLGa(bq,cq;bp,cp)=(cq−1)Ψ(cq)−log⁡bq−cq−log⁡Γ(cq)+log⁡Γ(cp)+cplog⁡bp−(cp−1)(Ψ(cq)+log⁡bq)+bqcqbp\begin{align} KL_{Ga}(b_q,c_q;b_p,c_p) &= (c_q-1)\Psi(c_q) - \log b_q - c_q - \log\Gamma(c_q) + \log\Gamma(c_p)\\ &\qquad+ c_p\log b_p - (c_p-1)(\Psi(c_q) + \log b_q) + \frac{b_qc_q}{b_p} \end{align} Tôi đoán rằng Ψ(x):=Γ′(x)/Γ(x)Ψ(x):=Γ′(x)/Γ(x)\Psi(x):= \Gamma'(x)/\Gamma(x) …

15 kullback-leibler  gamma-distribution  exponential-family 

Tôi đang sử dụng Phân kỳ KL làm thước đo cho sự khác biệt giữa 2 p.m.f.p.m.f.p.m.f. PPP và QQQ . =-∑P(Xi)ln(Q(Xi))+∑P(Xi)ln(P(Xi))DKL(P||Q)=∑i=1Nln(PiQi)PiDKL(P||Q)=∑i=1Nln⁡(PiQi)PiD_{KL}(P||Q) = \sum_{i=1}^N \ln \left( \frac{P_i}{Q_i} \right) P_i =−∑P(Xi)ln(Q(Xi))+∑P(Xi)ln(P(Xi))=−∑P(Xi)ln(Q(Xi))+∑P(Xi)ln(P(Xi))=-\sum P(X_i)ln\left(Q(X_i)\right) + \sum P(X_i)ln\left(P(X_i)\right) Nếu thì chúng ta có thể dễ dàng tính được rằng P ( X i ) …

14 distributions  distance  kullback-leibler 

Tôi đang so sánh hai phân phối với phân kỳ KL trả về cho tôi một số không được chuẩn hóa, theo những gì tôi đọc về biện pháp này, là lượng thông tin cần thiết để chuyển đổi một giả thuyết sang giả thuyết khác. Tôi có hai câu …

14 distributions  kullback-leibler  information-geometry 

Tôi sẽ sử dụng phân kỳ KL trong mã python của tôi và tôi đã nhận được hướng dẫn này . Trong hướng dẫn đó, để thực hiện phân kỳ KL khá đơn giản. kl = (model * np.log(model/actual)).sum() Theo tôi hiểu, phân phối xác suất của modelvà actualnên <= …

14 machine-learning  distance  kullback-leibler 

Tôi biết rằng Phân kỳ KL không đối xứng và nó không thể được coi là một số liệu nghiêm ngặt. Nếu vậy, tại sao nó được sử dụng khi Phân kỳ JS thỏa mãn các thuộc tính cần thiết cho một số liệu? Có kịch bản nào có thể …

14 probability  distributions  kullback-leibler  metric 

Nếu là phân phối xác suất có giá trị khác không trên , thì loại nào tồn tại hằng số sao cho với mọi ?p ( x ) p(x)p(x)[ 0 , + ∞ ) [0,+∞)[0,+\infty)p ( x ) p(x)p(x)c > 0 c>0c\gt 0∫ ∞ 0 p ( x ) log …

12 probability  stochastic-processes  kullback-leibler  probability-inequalities 

Tôi không phải là nhà toán học. Tôi đã tìm kiếm trên internet về KL Divergence. Những gì tôi học được là phân kỳ KL đo lường thông tin bị mất khi chúng ta phân phối gần đúng một mô hình liên quan đến phân phối đầu vào. Tôi đã …

12 distributions  mathematical-statistics  kullback-leibler 

Ở một số điểm tôi đã thấy việc sử dụng đạo hàm Radon-Nikodym của một thước đo xác suất đối với một thước đo xác suất khác, đáng chú ý nhất là trong phân kỳ Kullback-Leibler, trong đó nó là đạo hàm của phép đo xác suất của một mô …

11 mathematical-statistics  kullback-leibler  derivative  measure-theory 

Các mgcvgói cho Rcó hai chức năng cho phù hợp tương tác sản phẩm tensor: te()và ti(). Tôi hiểu sự phân công lao động cơ bản giữa hai người (phù hợp với sự tương tác phi tuyến tính so với việc phân tách tương tác này thành các hiệu ứng …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

Tôi đang chạy một mô phỏng nhanh để so sánh các phương pháp phân cụm khác nhau và hiện đang gặp khó khăn khi cố gắng đánh giá các giải pháp cụm. Tôi biết các số liệu xác nhận khác nhau (nhiều số được tìm thấy trong cluster.stats () trong …

11 clustering  kullback-leibler  gaussian-mixture 

Tôi đã cố gắng thực hiện một ước tính bằng số của Phân kỳ Kullback-Leibler cho hai mẫu. Để gỡ lỗi triển khai, hãy vẽ các mẫu từ hai bản phân phối bình thường và .N ( 1 , 2 )N(0,1)N(0,1)\mathcal N (0,1)N(1,2)N(1,2)\mathcal N (1,2) Đối với một ước tính …

10 estimation  intuition  kullback-leibler  numerics 

Tôi có ba bộ dữ liệu X, Y và Z. Mỗi bộ dữ liệu xác định tần suất của một sự kiện xảy ra. Ví dụ: Tập dữ liệu X: E1: 4, E2: 0, E3: 10, E4: 5, E5: 0, E6: 0, v.v. .. Tập dữ liệu Y: E1: 2, …

10 kullback-leibler 

Trong nghiên cứu của tôi, tôi đã gặp phải vấn đề chung sau: Tôi có hai phân phối và Q trên cùng một miền và một số lượng lớn (nhưng hữu hạn) các mẫu từ các phân phối đó. Các mẫu được phân phối độc lập và giống hệt nhau …

10 hypothesis-testing  mathematical-statistics  kullback-leibler  information-theory  bounds 

Tôi đã triển khai VAE và tôi nhận thấy hai cách triển khai trực tuyến khác nhau về phân kỳ gaussian đơn biến đơn giản. Phân kỳ ban đầu theo ở đây là Nếu chúng tôi giả sử trước là đơn vị gaussian tức là và , điều này đơn …

10 inference  kullback-leibler  autoencoders  variational-bayes 

Đây chỉ là một ví dụ mà tôi đã bắt gặp nhiều lần, vì vậy tôi không có bất kỳ dữ liệu mẫu nào. Chạy mô hình hồi quy tuyến tính trong R: a.lm = lm(Y ~ x1 + x2) x1là một biến liên tục. x2là phân loại và có …

10 r  regression  categorical-data  regression-coefficients  categorical-encoding  machine-learning  random-forest  anova  spss  r  self-study  bootstrap  monte-carlo  r  multiple-regression  partitioning  neural-networks  normalization  machine-learning  svm  kernel-trick  self-study  survival  cox-model  repeated-measures  survey  likert  correlation  variance  sampling  meta-analysis  anova  independence  sample  assumptions  bayesian  covariance  r  regression  time-series  mathematical-statistics  graphical-model  machine-learning  linear-model  kernel-trick  linear-algebra  self-study  moments  function  correlation  spss  probability  confidence-interval  sampling  mean  population  r  generalized-linear-model  prediction  offset  data-visualization  clustering  sas  cart  binning  sas  logistic  causality  regression  self-study  standard-error  r  distributions  r  regression  time-series  multiple-regression  python  chi-squared  independence  sample  clustering  data-mining  rapidminer  probability  stochastic-processes  clustering  binary-data  dimensionality-reduction  svd  correspondence-analysis  data-visualization  excel  c#  hypothesis-testing  econometrics  survey  rating  composite  regression  least-squares  mcmc  markov-process  kullback-leibler  convergence  predictive-models  r  regression  anova  confidence-interval  survival  cox-model  hazard  normal-distribution  autoregressive  mixed-model  r  mixed-model  sas  hypothesis-testing  mediation  interaction