Câu hỏi được gắn thẻ «kullback-leibler»

Tôi cần xác định sự phân kỳ KL giữa hai Gaussian. Tôi đang so sánh kết quả của mình với những kết quả này , nhưng tôi không thể sao chép kết quả của chúng. Kết quả của tôi rõ ràng là sai, vì KL không phải là 0 đối …

79 normal-distribution  kullback-leibler 

Tôi đã tìm hiểu về trực giác đằng sau Phân kỳ KL khi hàm phân phối mô hình khác nhau bao nhiêu so với phân phối lý thuyết / thực của dữ liệu. Nguồn Tôi đọc tiếp tục nói rằng sự hiểu biết trực quan của 'khoảng cách' giữa hai …

47 distributions  distance  intuition  kullback-leibler 

Tôi gặp khó khăn khi lấy công thức phân kỳ KL giả sử hai phân phối bình thường đa biến. Tôi đã thực hiện trường hợp đơn biến khá dễ dàng. Tuy nhiên, đã khá lâu kể từ khi tôi lấy chỉ số toán học, vì vậy tôi gặp một …

46 normal-distribution  kullback-leibler  proof 

Trong tâm trí của tôi, phân kỳ KL từ phân phối mẫu sang phân phối thực sự chỉ đơn giản là sự khác biệt giữa entropy chéo và entropy chéo. Tại sao chúng ta sử dụng entropy chéo là hàm chi phí trong nhiều mô hình học máy, nhưng sử …

39 kullback-leibler  tsne  cross-entropy 

Tôi có thể thấy rằng có rất nhiều sự khác biệt chính thức giữa các biện pháp khoảng cách Kullback Mitch Leibler vs Kolmogorov-Smirnov. Tuy nhiên, cả hai đều được sử dụng để đo khoảng cách giữa các bản phân phối. Có một tình huống điển hình mà một người …

37 distributions  distance-functions  kolmogorov-smirnov  kullback-leibler 

Tôi đang tìm kiếm một lời giải thích trực quan cho các câu hỏi sau: Trong thống kê và lý thuyết thông tin, sự khác biệt giữa khoảng cách Bhattacharyya và phân kỳ KL, là thước đo của sự khác biệt giữa hai phân phối xác suất rời rạc? Họ …

33 mathematical-statistics  information-theory  kullback-leibler  bhattacharyya 

Có bất kỳ thước đo tương tự hoặc khoảng cách giữa hai ma trận hiệp phương sai đối xứng (cả hai đều có cùng kích thước) không? Tôi đang suy nghĩ ở đây về sự tương tự với phân kỳ KL của hai phân phối xác suất hoặc khoảng cách …

28 distributions  hypothesis-testing  covariance-matrix  kullback-leibler  information-theory 

Nhìn vào bức ảnh này: Nếu chúng ta vẽ một mẫu từ mật độ màu đỏ thì một số giá trị được dự kiến ​​sẽ nhỏ hơn 0,25 trong khi không thể tạo ra một mẫu như vậy từ phân phối màu xanh. Kết quả là, khoảng cách Kullback-Leibler từ …

28 kullback-leibler 

Sự khác biệt thực tế giữa số liệu Wasserstein và phân kỳ Kullback-Leibler là gì? Số liệu của Wasserstein cũng được gọi là khoảng cách của Trái đất . Từ Wikipedia: Số liệu Wasserstein (hoặc Vaserstein) là một hàm khoảng cách được xác định giữa các phân phối xác suất …

25 distributions  kullback-leibler  metric  wasserstein 

Cả hai phân kỳ Cross-entropy và KL là các công cụ để đo khoảng cách giữa hai phân phối xác suất. Sự khác biệt là gì? Hơn nữa, tối thiểu hóa KL tương đương với tối thiểu hóa Entropy chéo.K L ( P | Q ) = ∑ x P …

24 entropy  kullback-leibler  cross-entropy 

Sau nhiều lần thử nghiệm Xác thực chéo, tôi vẫn không cảm thấy mình gần gũi hơn với việc hiểu phân kỳ KL ngoài phạm vi của lý thuyết thông tin. Thật kỳ lạ khi ai đó có nền tảng Toán học để tìm hiểu giải thích lý thuyết thông …

23 inference  entropy  information-theory  kullback-leibler  compression 

Tôi đang nghiên cứu cây phân loại và hồi quy, và một trong những biện pháp cho vị trí phân tách là điểm GINI. Bây giờ tôi đã quen với việc xác định vị trí phân chia tốt nhất khi nhật ký tỷ lệ khả năng của cùng một dữ …

21 cart  likelihood-ratio  information-theory  kullback-leibler  gini 

Ai đó có thể chứng minh mối liên hệ sau đây giữa số liệu thông tin của Fisher và entropy tương đối (hoặc phân kỳ KL) một cách thuần túy toán học không? D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(∥da∥3)D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(‖da‖3)D( p(\cdot , a+da) \parallel p(\cdot,a) ) =\frac{1}{2} g_{i,j} \, da^i \, da^j + (O( \|da\|^3) trong …

20 mathematical-statistics  kullback-leibler  fisher-information 

Chúng ta hãy xem xét hai phân phối xác suất sau đây P Q 0.01 0.002 0.02 0.004 0.03 0.006 0.04 0.008 0.05 0.01 0.06 0.012 0.07 0.014 0.08 0.016 0.64 0.928 Tôi đã tính toán phân kỳ Kullback-Leibler bằng , tôi muốn biết nói chung con số này cho …

18 interpretation  information-theory  kullback-leibler 

Tại sao phân kỳ KL không âm? Từ quan điểm của lý thuyết thông tin, tôi có một sự hiểu biết trực quan như vậy: Giả sử có hai nhóm AAA và BBB được tạo thành từ cùng một tập hợp các phần tử được dán nhãn bởi xxx . …

17 information-theory  kullback-leibler