Câu hỏi được gắn thẻ «entropy»

Ý tưởng này xảy ra với tôi khi còn bé học lập trình và lần đầu tiên gặp PRNG. Tôi vẫn không biết nó thực tế như thế nào, nhưng bây giờ có trao đổi ngăn xếp. Đây là sơ đồ của một đứa trẻ 14 tuổi cho một thuật …

38 information-theory  randomness  data-compression  pseudo-random-generators  entropy 

Theo Wikipedia : Entropy của Shannon đo lường thông tin chứa trong một tin nhắn trái ngược với phần của thông điệp được xác định (hoặc có thể dự đoán được). Các ví dụ sau này bao gồm sự dư thừa trong cấu trúc ngôn ngữ hoặc thuộc tính thống …

35 information-theory  data-compression  entropy 

Nói rằng tôi cần mô phỏng phân phối rời rạc sau đây: P(X=k)={12N,1−12N,if k=1if k=0P(X=k)={12N,if k=11−12N,if k=0 P(X = k) = \begin{cases} \frac{1}{2^N}, & \text{if $k = 1$} \\ 1 - \frac{1}{2^N}, & \text{if $k = 0$} \end{cases} Cách rõ ràng nhất là vẽ bit ngẫu nhiên và kiểm tra …

31 algorithms  information-theory  randomness  pseudo-random-generators  entropy 

Alan Turing đã đề xuất một mô hình cho một máy (Máy Turing, TM) tính toán (số, hàm, v.v.) và chứng minh Định lý Dừng . TM là một khái niệm trừu tượng về máy (hoặc động cơ nếu bạn muốn). Định lý dừng là một kết quả không thể. …

31 turing-machines  halting-problem  entropy 

Một số chap nói như sau: Tất cả những ai cố gắng tạo ra các số ngẫu nhiên bằng các phương tiện xác định, tất nhiên, sống trong tình trạng tội lỗi. Điều đó luôn có nghĩa là bạn không thể tạo ra các số ngẫu nhiên thực sự chỉ …

25 randomness  data-compression  entropy  random-number-generator 

Trên Linux, các tệp /dev/randomvà/dev/urandom tệp là nguồn chặn và không chặn (tương ứng) của các byte giả ngẫu nhiên. Chúng có thể được đọc như các tệp bình thường: $ hexdump /dev/random 0000000 28eb d9e7 44bb 1ac9 d06f b943 f904 8ffa 0000010 5652 1f08 ccb8 9ee2 d85c 7c6b ddb2 …

19 operating-systems  cryptography  randomness  security  entropy 

Bạn có một mảng gồm phần tử riêng biệt. Bạn có quyền truy cập vào một bộ so sánh (hàm hộp đen lấy hai phần tử và và trả về đúng iff ) và nguồn bit thực sự ngẫu nhiên (hàm hộp đen không có đối số và trả về …

18 algorithms  algorithm-analysis  information-theory  permutations  entropy 

Đưa ra một chuỗi các giá trị , Shannon Entropy trong cơ sở nhật ký là . Theo những gì tôi hiểu, trong cơ sở , Shannon Entropy được làm tròn là số bit tối thiểu trong nhị phân để biểu diễn một trong các giá trị.A A A A …

14 information-theory  mathematical-foundations  entropy  binary 

Tại nơi làm việc, tôi được giao nhiệm vụ suy luận một số thông tin về ngôn ngữ động. Tôi viết lại các chuỗi các câu lệnh thành các letbiểu thức lồng nhau , như vậy: return x; Z => x var x; Z => let x = undefined in …

11 programming-languages  logic  type-theory  type-inference  machine-learning  data-mining  clustering  order-theory  reference-request  information-theory  entropy  algorithms  algorithm-analysis  space-complexity  lower-bounds  formal-languages  computability  formal-grammars  context-free  parsing  complexity-theory  time-complexity  terminology  turing-machines  nondeterminism  programming-languages  semantics  operational-semantics  complexity-theory  time-complexity  complexity-theory  reference-request  turing-machines  machine-models  simulation  graphs  probability-theory  data-structures  terminology  distributed-systems  hash-tables  history  terminology  programming-languages  meta-programming  terminology  formal-grammars  compilers  algorithms  search-algorithms  formal-languages  regular-languages  complexity-theory  satisfiability  sat-solvers  factoring  algorithms  randomized-algorithms  streaming-algorithm  in-place  algorithms  numerical-analysis  regular-languages  automata  finite-automata  regular-expressions  algorithms  data-structures  efficiency  coding-theory  algorithms  graph-theory  reference-request  education  books  formal-languages  context-free  proof-techniques  algorithms  graph-theory  greedy-algorithms  matroids  complexity-theory  graph-theory  np-complete  intuition  complexity-theory  np-complete  traveling-salesman  algorithms  graphs  probabilistic-algorithms  weighted-graphs  data-structures  time-complexity  priority-queues  computability  turing-machines  automata  pushdown-automata  algorithms  graphs  binary-trees  algorithms  algorithm-analysis  spanning-trees  terminology  asymptotics  landau-notation  algorithms  graph-theory  network-flow  terminology  computability  undecidability  rice-theorem  algorithms  data-structures  computational-geometry 

Khi cố gắng tìm hiểu các mối quan hệ giữa Mã hóa Huffman, Mã hóa số học và Mã hóa phạm vi, tôi bắt đầu nghĩ về những thiếu sót của mã hóa Huffman có liên quan đến vấn đề đóng gói phân đoạn . Nghĩa là, giả sử bạn …

11 information-theory  data-compression  coding-theory  entropy  huffman-coding 

Tôi có một vấn đề tối ưu hóa bị ràng buộc trong entropy ma trận (Shannon) . Ma trận có thể được viết dưới dạng tổng của ma trận hạng 1 có dạng trong đó là một vectơ chuẩn hóa đã cho. Các hệ số của ma trận hạng một …

10 optimization  entropy 

Tôi đang cố gắng đo lường nhiều thông tin không thực tế (thực tế) mà tập tin của tôi chứa. Một số người gọi đây là lượng entropy. Tất nhiên có nhật ký p (x) {p (x)} tiêu chuẩn, nhưng tôi nghĩ rằng Shannon chỉ xem xét nó từ quan …

9 entropy 

Tôi đang đọc một bài báo đề cập đến giới hạn khi n đi đến vô tận của entropy Rényi. Nó định nghĩa nó là Hn(X)=11−nlog2(∑i=1Npni)Hn(X)=11−nlog2⁡(∑i=1Npin){{H}_{n}}\left( X \right)=\dfrac{1}{1-n} \log_2 \left( \sum\limits_{i=1}^{N}{p_{i}^{n}} \right). Sau đó nó nói rằng giới hạn nhưn→∞n→∞n\to \infty là−log2(p1)−log2⁡(p1)-\log_2 \left( p_1 \right). Tôi lại thấy một bài …

8 information-theory  entropy 

Trong nhiều bài báo tôi đã đọc rằng ai cũng biết rằng entropy Shannon của một biến ngẫu nhiên có thể được chuyển đổi thành entropy tối thiểu (tối đa khoảng cách thống kê nhỏ) bằng cách lấy các bản sao của biến độc lập. Bất cứ ai có thể …

7 terminology  probability-theory  entropy 

Entropy của Shannon [plog (1 / p)] cho hình ảnh là phương pháp xác suất để so sánh hai pixel hoặc một nhóm pixel. Giả sử hình ảnh có ma trận 3x3 có giá trị cường độ pixel 1 1 2 2 3 3 4 4 5 và một hình …

7 pattern-recognition  image-processing  entropy  computer-vision