Câu hỏi được gắn thẻ «entropy»

Entropy của Shannon là âm của tổng xác suất của mỗi kết quả nhân với logarit của xác suất cho mỗi kết quả. Mục đích nào của logarit phục vụ trong phương trình này? Một câu trả lời trực quan hoặc trực quan (trái ngược với câu trả lời toán …

72 entropy  intuition  sequence-analysis 

Tôi muốn đo mật độ entropy / thông tin / độ giống mẫu của ma trận nhị phân hai chiều. Hãy để tôi hiển thị một số hình ảnh để làm rõ: Màn hình này phải có một entropy khá cao: A) Điều này nên có entropy trung bình: B) …

53 algorithms  binary-data  entropy  pattern-recognition  information 

Tôi đã thấy một số câu hỏi ở đây về ý nghĩa của các giáo dân, nhưng đây là những giáo dân quá cho mục đích của tôi ở đây. Tôi đang cố gắng để hiểu một cách toán học điểm AIC có nghĩa là gì. Nhưng đồng thời, tôi …

34 self-study  model-selection  aic  entropy  information-theory 

Tôi đang đọc về entropy và đang gặp khó khăn trong việc khái niệm ý nghĩa của nó trong trường hợp liên tục. Trang wiki nêu rõ như sau: Phân phối xác suất của các sự kiện, cùng với lượng thông tin của mọi sự kiện, tạo thành một biến …

32 entropy 

Tôi biết rằng entropy là thước đo tính ngẫu nhiên của một quá trình / biến và nó có thể được định nghĩa như sau. cho một biến ngẫu nhiên tập : - . Trong cuốn sách về Entropy và Lý thuyết thông tin của MacKay, ông cung cấp tuyên …

32 uniform  entropy  maximum-entropy 

Trong bài báo này , nhà nghiên cứu tài năng Cosma Shalizi lập luận rằng để chấp nhận hoàn toàn một quan điểm Bayes chủ quan, người ta cũng phải chấp nhận một kết quả phi vật lý rằng mũi tên thời gian (được đưa ra bởi dòng chảy entropy) …

31 bayesian  entropy  maximum-entropy  philosophical 

Cả hai phân kỳ Cross-entropy và KL là các công cụ để đo khoảng cách giữa hai phân phối xác suất. Sự khác biệt là gì? Hơn nữa, tối thiểu hóa KL tương đương với tối thiểu hóa Entropy chéo.K L ( P | Q ) = ∑ x P …

24 entropy  kullback-leibler  cross-entropy 

Sau nhiều lần thử nghiệm Xác thực chéo, tôi vẫn không cảm thấy mình gần gũi hơn với việc hiểu phân kỳ KL ngoài phạm vi của lý thuyết thông tin. Thật kỳ lạ khi ai đó có nền tảng Toán học để tìm hiểu giải thích lý thuyết thông …

23 inference  entropy  information-theory  kullback-leibler  compression 

Tôi đã sử dụng nguyên tắc entropy tối đa để biện minh cho việc sử dụng một số bản phân phối trong các cài đặt khác nhau; tuy nhiên, tôi vẫn chưa thể xây dựng một thống kê, trái ngược với lý thuyết thông tin, giải thích về entropy tối …

23 distributions  entropy  intuition  information-theory  maximum-entropy 

Tôi không phải là một nhà thống kê (tôi đã có một khóa học về thống kê toán học nhưng không có gì hơn thế), và gần đây, trong khi nghiên cứu lý thuyết thông tin và cơ học thống kê, tôi đã gặp một thứ gọi là "thước đo …

21 entropy  inference 

Cách chính xác nhất về thông tin / vật lý để tính toán entropy của hình ảnh là gì? Tôi không quan tâm đến hiệu quả tính toán ngay bây giờ - tôi muốn nó về mặt lý thuyết càng chính xác càng tốt. Hãy bắt đầu với một hình …

21 spatial  entropy  image-processing 

Trong định nghĩa của các tập hợp điển hình chung (trong "Các yếu tố của lý thuyết thông tin", ch. 7.6, trang 195), chúng tôi sử dụng np(xn)=∏ n i = 1 p(xi)- 1nđăng nhậpp ( xn)-1nđăng nhập⁡p(xn)-\frac{1}{n} \log{p(x^n)} là entropy theo kinh nghiệm của một hệ quả với . …

19 information-theory  entropy 

Tôi đang tìm kiếm một cuốn sách hoặc tài nguyên trực tuyến giải thích các loại entropy khác nhau, chẳng hạn như Entropy mẫu và Entropy Shannon, những ưu điểm và nhược điểm của chúng. Ai đó có thể chỉ cho tôi đi đúng hướng?

18 references  entropy 

Giả sử tôi có hai bộ và và phân phối xác suất chung trên các bộ . Đặt và lần lượt là các phân phối biên trên vàXXXYYYp(x,y)p(x,y)p(x,y)p(x)p(x)p(x)p ( y)p(y)p(y)XXXYYY Thông tin lẫn nhau giữa và được xác định là: XXXYYYTôi( X; Y) = ∑x , yp ( x , …

17 entropy  mutual-information  information-theory 

Tôi muốn biết liệu rừng ngẫu nhiên của Breiman (rừng ngẫu nhiên trong gói R RandomForest) sử dụng làm tiêu chí chia tách (tiêu chí lựa chọn thuộc tính) hay chỉ số Gini? Tôi đã cố gắng tìm ra nó trên http: //www.stat.ber siêu.edu / ~zonamiman/RandomForests/cc_home.htmlm và trong tài liệu …

15 r  random-forest  entropy  gini