Câu hỏi được gắn thẻ «cross-entropy»

Tôi đang đào tạo một mạng lưới thần kinh để phân loại một tập hợp các đối tượng thành các lớp n. Mỗi đối tượng có thể thuộc nhiều lớp cùng một lúc (đa lớp, đa nhãn). Tôi đọc rằng đối với các vấn đề đa lớp, thông thường nên …

64 neural-networks  python  loss-functions  keras  cross-entropy 

Tôi đang cố gắng hiểu làm thế nào backpropagation hoạt động cho lớp đầu ra softmax / cross-entropy. Hàm lỗi entropy chéo là E(t,o)=−∑jtjlogojE(t,o)=−∑jtjlog⁡ojE(t,o)=-\sum_j t_j \log o_j với và là mục tiêu và đầu ra tại nơron , tương ứng. Tổng là trên mỗi nơ ron trong lớp đầu ra. …

40 backpropagation  derivative  softmax  cross-entropy 

Trong tâm trí của tôi, phân kỳ KL từ phân phối mẫu sang phân phối thực sự chỉ đơn giản là sự khác biệt giữa entropy chéo và entropy chéo. Tại sao chúng ta sử dụng entropy chéo là hàm chi phí trong nhiều mô hình học máy, nhưng sử …

39 kullback-leibler  tsne  cross-entropy 

Trước hết, tôi nhận ra nếu tôi cần thực hiện dự đoán nhị phân, tôi phải tạo ít nhất hai lớp thông qua thực hiện mã hóa một nóng. Điều này có đúng không? Tuy nhiên, có phải entropy chéo nhị phân chỉ dành cho dự đoán chỉ có một …

36 machine-learning  neural-networks  loss-functions  tensorflow  cross-entropy 

Trong 5.5, Deep Learning (của Ian Goodfellow, Yoshua Bengio và Aaron Courville), nó nói rằng Bất kỳ tổn thất nào bao gồm khả năng đăng nhập âm là một entropy chéo giữa phân phối theo kinh nghiệm được xác định bởi tập huấn luyện và phân phối xác suất được …

28 machine-learning  normal-distribution  cross-entropy 

Khi đào tạo một mạng nơ ron phân đoạn pixel, chẳng hạn như mạng tích chập hoàn toàn, làm thế nào để bạn đưa ra quyết định sử dụng chức năng mất entropy chéo so với chức năng mất hệ số Dice? Tôi nhận ra đây là một câu hỏi …

27 neural-networks  loss-functions  cross-entropy 

Cả hai phân kỳ Cross-entropy và KL là các công cụ để đo khoảng cách giữa hai phân phối xác suất. Sự khác biệt là gì? Hơn nữa, tối thiểu hóa KL tương đương với tối thiểu hóa Entropy chéo.K L ( P | Q ) = ∑ x P …

24 entropy  kullback-leibler  cross-entropy 

Tôi đang thử nghiệm một bộ tạo tự động bit, và với tenorflow tôi đã tạo ra một mô hình cố gắng xây dựng lại bộ dữ liệu MNIST. Mạng của tôi rất đơn giản: X, e1, e2, d1, Y, trong đó e1 và e2 là các lớp mã hóa, …

19 mse  autoencoders  tensorflow  cross-entropy 

Liệu chi phí entropy chéo có ý nghĩa trong bối cảnh hồi quy (trái ngược với phân loại)? Nếu vậy, bạn có thể đưa ra một ví dụ đồ chơi thông qua TensorFlow không? Nếu không, tai sao không? Tôi đã đọc về entropy chéo trong Mạng nơ-ron và Học …

13 regression  entropy  tensorflow  cross-entropy 

Tôi bắt đầu học về các mạng nơ-ron với hướng dẫn chấm com nơ-ron thần kinh. Cụ thể trong chương 3 có một phần về hàm entropy chéo và định nghĩa mất entropy chéo là: C= - 1nΣxΣj( yjlnmộtLj+ ( 1 - yj) ln( 1 - mộtLj) )C=−1n∑x∑j(yjln⁡ajL+(1−yj)ln⁡(1−ajL))C = -\frac{1}{n} …

12 neural-networks  loss-functions  softmax  cross-entropy 

Tôi hiểu rằng đã đưa ra một tập hợp các quan sát độc lập các Maximum Likelihood Estimator (hay tương đương, MAP với TV / thống nhất trước đó) xác định các thông số \ mathbf {θ} sản xuất phân phối model p_ {model} \ bên trái (\, \ cdot …

12 maximum-likelihood  deep-learning  cross-entropy 

Đối với hai phân phối rời rạc và , entropy chéo được định nghĩa làqpppqqq H( p , q) = - Σxnhật ký p ( x )q( x ) .H(p,q)= =-Σxp(x)đăng nhập⁡q(x).H(p,q)=-\sum_x p(x)\log q(x). Tôi tự hỏi tại sao điều này sẽ là một thước đo trực quan về khoảng …

11 probability  distributions  cross-entropy 

Tôi đã cố gắng tạo ra một chương trình đào tạo Mạng nơ-ron trên máy tính của mình. Đối với Mạng được đề cập, tôi đã quyết định sử dụng chức năng Lỗi Entropy chéo: E= - ΣjtjlnojE=−∑jtjln⁡ojE = -\sum_jt_j\ln o_j Trong đó là đầu ra đích của Neuron và …

9 machine-learning  neural-networks  derivative  cross-entropy  differential-equations 

Có một tuyên bố rằng tối đa hóa khả năng là tương đương với giảm thiểu entropy chéo. Có bằng chứng nào cho tuyên bố này không?

9 machine-learning  mathematical-statistics  maximum-likelihood  cross-entropy 

Tôi đã bắt đầu trải qua các hướng dẫn của TensorFlow ở đây và tôi có một câu hỏi nhỏ về các tính toán entropy chéo. Hầu hết các địa điểm tôi đã thấy entropy chéo được tính bằng nhật ký cơ sở 2, nhưng tf.log là cơ sở e. …

8 tensorflow  cross-entropy