Câu hỏi được gắn thẻ «fisher-information»

Thông tin Fisher đo lường độ cong của khả năng xảy ra log và có thể được sử dụng để đánh giá hiệu quả của các công cụ ước tính.

3
Kết nối giữa số liệu Fisher và entropy tương đối
Ai đó có thể chứng minh mối liên hệ sau đây giữa số liệu thông tin của Fisher và entropy tương đối (hoặc phân kỳ KL) một cách thuần túy toán học không? D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(∥da∥3)D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(‖da‖3)D( p(\cdot , a+da) \parallel p(\cdot,a) ) =\frac{1}{2} g_{i,j} \, da^i \, da^j + (O( \|da\|^3) trong …
2
Tại sao ma trận thông tin Fisher là semidefinite tích cực?
Đặt . Ma trận thông tin Fisher được định nghĩa là:θ∈Rnθ∈Rn\theta \in R^{n} I(θ)i,j=−E[∂2log(f(X|θ))∂θi∂θj∣∣∣θ]I(θ)i,j=−E[∂2log⁡(f(X|θ))∂θi∂θj|θ]I(\theta)_{i,j} = -E\left[\frac{\partial^{2} \log(f(X|\theta))}{\partial \theta_{i} \partial \theta_{j}}\bigg|\theta\right] Làm cách nào tôi có thể chứng minh Ma trận thông tin Fisher là bán chính xác?
2
Ví dụ cho một ưu tiên, không giống như Jeffreys, dẫn đến một hậu thế không phải là bất biến
Tôi đang đăng lại một "câu trả lời" cho một câu hỏi mà tôi đã đưa ra hai tuần trước tại đây: Tại sao Jeffreys trước lại hữu ích? Tuy nhiên, đây thực sự là một câu hỏi (và tôi cũng không có quyền đăng bình luận), vì vậy tôi …
2
Tại sao chính xác thông tin quan sát được sử dụng?
Trong cài đặt khả năng tối đa tiêu chuẩn (iid mẫu từ một số phân phối có mật độ )) và trong trường hợp mô hình được chỉ định chính xác, Fisher thông tin được cung cấp bởiY1,…,YnY1,…,YnY_{1}, \ldots, Y_{n}fy(y|θ0fy(y|θ0f_{y}(y|\theta_{0} I(θ)=−Eθ0[∂2θ2lnfy(θ)]I(θ)=−Eθ0[∂2θ2ln⁡fy(θ)]I(\theta) = -\mathbb{E}_{\theta_{0}}\left[\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta) \right] trong đó kỳ vọng được …
1
Trực giác đằng sau các mẫu trao đổi theo giả thuyết null là gì?
Các thử nghiệm hoán vị (còn gọi là thử nghiệm ngẫu nhiên, thử nghiệm ngẫu nhiên lại hoặc thử nghiệm chính xác) rất hữu ích và có ích khi giả định phân phối bình thường theo yêu cầu, t-testkhông được đáp ứng và khi chuyển đổi các giá trị theo …
15 hypothesis-testing  permutation-test  exchangeability  r  statistical-significance  loess  data-visualization  normal-distribution  pdf  ggplot2  kernel-smoothing  probability  self-study  expected-value  normal-distribution  prior  correlation  time-series  regression  heteroscedasticity  estimation  estimators  fisher-information  data-visualization  repeated-measures  binary-data  panel-data  mathematical-statistics  coefficient-of-variation  normal-distribution  order-statistics  regression  machine-learning  one-class  probability  estimators  forecasting  prediction  validation  finance  measurement-error  variance  mean  spatial  monte-carlo  data-visualization  boxplot  sampling  uniform  chi-squared  goodness-of-fit  probability  mixture  theory  gaussian-mixture  regression  statistical-significance  p-value  bootstrap  regression  multicollinearity  correlation  r  poisson-distribution  survival  regression  categorical-data  ordinal-data  ordered-logit  regression  interaction  time-series  machine-learning  forecasting  cross-validation  binomial  multiple-comparisons  simulation  false-discovery-rate  r  clustering  frequency  wilcoxon-mann-whitney  wilcoxon-signed-rank  r  svm  t-test  missing-data  excel  r  numerical-integration  r  random-variable  lme4-nlme  mixed-model  weighted-regression  power-law  errors-in-variables  machine-learning  classification  entropy  information-theory  mutual-information 
1
Điều kiện tồn tại của ma trận thông tin Fisher
Các sách giáo khoa khác nhau trích dẫn các điều kiện khác nhau cho sự tồn tại của ma trận thông tin Fisher. Một số điều kiện như vậy được liệt kê dưới đây, mỗi điều kiện xuất hiện trong một số, nhưng không phải tất cả, các định nghĩa …
2
Xác định ma trận thông tin Fisher cho một mô hình quá tham số
Hãy xem xét một biến ngẫu nhiên Bernoulli với tham số (xác suất thành công). Hàm khả năng và thông tin Fisher ( ma trận ) là:θ 1 × 1X∈{0,1}X∈{0,1}X\in\{0,1\}θθ\theta1×11×11 \times 1 L1(θ;X)I1(θ)=p(X|θ)=θX(1−θ)1−X=detI1(θ)=1θ(1−θ)L1(θ;X)=p(X|θ)=θX(1−θ)1−XI1(θ)=detI1(θ)=1θ(1−θ) \begin{align} \mathcal{L}_1(\theta;X) &= p(\left.X\right|\theta) = \theta^{X}(1-\theta)^{1-X} \\ \mathcal{I}_1(\theta) &= \det \mathcal{I}_1(\theta) = \frac{1}{\theta(1-\theta)} \end{align} Bây giờ hãy …
1
Mô hình học sâu nào có thể phân loại các danh mục không loại trừ lẫn nhau
Ví dụ: Tôi có một câu trong mô tả công việc: "Kỹ sư cao cấp Java ở Anh". Tôi muốn sử dụng một mô hình học tập sâu để dự đoán nó thành 2 loại: English và IT jobs. Nếu tôi sử dụng mô hình phân loại truyền thống, nó …
9 machine-learning  deep-learning  natural-language  tensorflow  sampling  distance  non-independent  application  regression  machine-learning  logistic  mixed-model  control-group  crossover  r  multivariate-analysis  ecology  procrustes-analysis  vegan  regression  hypothesis-testing  interpretation  chi-squared  bootstrap  r  bioinformatics  bayesian  exponential  beta-distribution  bernoulli-distribution  conjugate-prior  distributions  bayesian  prior  beta-distribution  covariance  naive-bayes  smoothing  laplace-smoothing  distributions  data-visualization  regression  probit  penalized  estimation  unbiased-estimator  fisher-information  unbalanced-classes  bayesian  model-selection  aic  multiple-regression  cross-validation  regression-coefficients  nonlinear-regression  standardization  naive-bayes  trend  machine-learning  clustering  unsupervised-learning  wilcoxon-mann-whitney  z-score  econometrics  generalized-moments  method-of-moments  machine-learning  conv-neural-network  image-processing  ocr  machine-learning  neural-networks  conv-neural-network  tensorflow  r  logistic  scoring-rules  probability  self-study  pdf  cdf  classification  svm  resampling  forecasting  rms  volatility-forecasting  diebold-mariano  neural-networks  prediction-interval  uncertainty 
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookie và Chính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.