Mã nhị phân có ràng buộc

Giả sử tôi có một bảng chữ cái của n ký hiệu. Tôi có thể mã hóa chúng một cách hiệu quả với các -bits. Chẳng hạn nếu n = 8: A: 0 0 0 B: 0 0 1 C: 0 1 0 D: 0 1 1 E: 1 0 0 F: 1 0 1 G: 1 1 0 H: 1 1 1 $\lceil \log_2n\rceil$

Bây giờ tôi có các ràng buộc bổ sung mà mỗi cột phải chứa tối đa các bit p được đặt thành 1. Ví dụ cho p = 2 (và n = 8), một giải pháp có thể là:
A: 0 0 0 0
B: 0 0 0 0 1
C: 0 0 1 0 0
D: 0 0 1 1 0
E: 0 1 0 0 0
F: 0 1 0 1 0
G: 1 0 0 0 0
H: 1 0 0 0 1

Cho n và p, thuật toán có tồn tại để tìm một mã hóa tối ưu (độ dài ngắn nhất) không? (và có thể chứng minh rằng nó tính toán một giải pháp tối ưu không?)

BIÊN TẬP

Hai cách tiếp cận đã được đề xuất cho đến nay để ước tính giới hạn thấp hơn về số lượng bit $m$. Mục tiêu của phần này là cung cấp một phân tích và một sự kết hợp của hai câu trả lời, để giải thích sự lựa chọn cho câu trả lời tốt nhất .

Cách tiếp cận của Yuval dựa trên entropy và cung cấp giới hạn dưới rất đẹp:$\frac{logn}{h(p/n)}$ Ở đâu $h(x) = xlogx + (1-x)log(x)$.

Cách tiếp cận của Alex dựa trên tổ hợp. Nếu chúng ta phát triển lý luận của mình nhiều hơn một chút, cũng có thể tính được giới hạn dưới rất tốt:

Được $m$ số lượng bit $\geq\lceil log_2(n)\rceil$, tồn tại một sự độc đáo $k$sao cho Người ta có thể tự thuyết phục rằng một giải pháp tối ưu sẽ sử dụng từ mã với tất cả các bit thấp, sau đó các từ mã có độ cao 1 bit, cao 2 bit, ..., k bit cao . Đối với các ký hiệu còn lại để mã hóa, không rõ ràng về việc sử dụng từ mã nào là tối ưu để sử dụng nhưng chắc chắn là trọng số của mỗi cột sẽ lớn hơn mức có thể nếu chúng ta chỉ có thể sử dụng các từ mã có bit cao và có cho tất cả . Do đó, người ta có thể hạ thấp ràng buộc với

$$1+\binom{m}{1} + ... +\binom{m}{k} \lt n \leq 1+\binom{m}{1} + ... + \binom{m}{k}+\binom{m}{k+1}$$ $n-1-\binom{m}{1}-...-\binom{m}{k}$$w_i$$k+1$$|w_i - w_j| \leq 1$$i, j$$p=max(w_i)$ $$p_m = 0 + 1 + \binom{m-1}{2} +... + \binom{m-1}{k-1} + \lceil \frac{(n-1-\binom{m}{1}-...-\binom{m}{k}) (k+1)}{m} \rceil$$

Bây giờ, cho và , cố gắng ước tính . Chúng ta biết rằng vì vậy nếu , thì . Điều này cho giới hạn dưới cho . Đầu tiên tính sau đó tìm lớn nhất sao cho$n$$p$$m$$p_m \leq p$$p \lt p_{m'}$$m' \lt m$$m$$p_m$$m'$$p \lt p_{m'}$

Đây là những gì chúng ta có được nếu chúng ta vẽ, với , hai giới hạn dưới cùng nhau, giới hạn dưới dựa trên entropy màu xanh lá cây, một giới hạn dựa trên tổ hợp lý do ở trên màu xanh lam, chúng ta có được:$n=1000$

Cả hai trông rất giống nhau. Tuy nhiên, nếu chúng ta vẽ sự khác biệt giữa hai giới hạn dưới, rõ ràng là giới hạn dưới dựa trên lý luận tổ hợp là tổng thể tốt hơn, đặc biệt là đối với các giá trị nhỏ của .$p$

Tôi tin rằng vấn đề xuất phát từ thực tế là bất đẳng thức yếu hơn khi trở nên nhỏ hơn, bởi vì các tọa độ riêng lẻ trở nên tương quan với nhỏ . Tuy nhiên, đây vẫn là giới hạn dưới rất tốt khi .$H(X) \leq \sum H(X_i)$$p$$p$$p=\Omega(n)$

Đây là tập lệnh (python3) đã được sử dụng để tính các giới hạn dưới:

from scipy.misc import comb
from math import log, ceil, floor
from matplotlib.pyplot import plot, show, legend, xlabel, ylabel

# compute p_m 
def lowerp(n, m):
  acc = 1
  k = 0
  while acc + comb(m, k+1) < n:
    acc+=comb(m, k+1)
    k+=1

  pm = 0
  for i in range(k):
    pm += comb(m-1, i)

  return pm + ceil((n-acc)*(k+1)/m)

if __name__ == '__main__':
  n = 100

  # compute lower bound based on combinatorics
  pm = [lowerp(n, m) for m in range(ceil(log(n)/log(2)), n)]
  mp  = []
  p = 1
  i = len(pm) - 1
  while i>= 0:
    while i>=0 and pm[i] <= p: i-=1
    mp.append(i+ceil(log(n)/log(2)))
    p+=1
  plot(range(1, p), mp)

  # compute lower bound based on entropy
  lb = [ceil(log(n)/(p/n*log(n/p)+(n-p)/n*log(n/(n-p)))) for p in range(1,p)]
  plot(range(1, p), lb)

  xlabel('p')
  ylabel('m')
  show()

  # plot diff
  plot(range(1, p), [a-b for a, b in zip(mp, lb)])
  xlabel('p')
  ylabel('m')
  show()

Có một giới hạn thấp hơn mà chúng ta có thể xây dựng, sẽ giải quyết các trường hợp như những gì @ user3017842 đã đề cập trong nhận xét của họ về câu trả lời của Yuval. (Các trường hợp . Đặc biệt nhỏ) Giả sử chúng ta biết đã: Sau đó chúng ta có bit tổng cao trên tất cả các từ mã. Vì chúng tôi quan tâm đến các trường hợp nhỏ, chúng tôi xem các bit cao này là tài nguyên giới hạn của chúng tôi và muốn xây dựng mã với nó (và xem chúng tôi có thể rút ra bao nhiêu từ mã). Chúng ta có thể có 1 từ mã với tất cả 0, sau đó từ mã với 1, sau đó với hai 1, v.v. Nếu chúng ta gọi số bit cao nhất trong từ mã , thì $p$$m$$pm$$p$$m$$m \choose 2$$k$

$$pm = 0\cdot 1 + 1\cdot m + 2\cdot {m \choose 2}+... \le \sum_i^k i{m \choose i}$$ Trong khi số lượng từ mã của chúng tôi $n$ bị ràng buộc tương tự bởi $$n \le \sum_i^k {m \choose i}$$ Nếu chúng ta nhìn vào trường hợp $p \le m$, sau đó $k \le 2$đã được ngụ ý bởi sự bất bình đẳng đầu tiên. ($pm = m^2 = m + 2{m \choose 2}$). Vì vậy, mã sẽ bao gồm$0$từ $m$ Độc thân-$1$-từ và $(p-1)m/2$ hai-$1$-từ ngữ. Như vậy $$n \le 1 + m + (p-1)m/2$$ hoặc đảo ngược $$m \ge \frac{2(n-1)}{p+1} .$$ Điều này sẽ mang lại giới hạn dưới chặt chẽ của $m\ge 5$ về ví dụ bạn cung cấp, nhưng như đã đề cập trước đây, có lẽ sẽ chỉ rất hữu ích trong khi $p \approx m$ (hoặc là $p \approx \sqrt n$).

Dưới đây là một cấu trúc ràng buộc thấp hơn và phù hợp không có triệu chứng, ít nhất là đối với một số phạm vi của các tham số. Biểu thị bởi$m$ số lượng cột và giả sử cho đơn giản $p \leq n/2$.

Chúng tôi bắt đầu với một giới hạn thấp hơn trên $m$. Để cho$X$là mã hóa của biểu tượng được chọn thống nhất một cách ngẫu nhiên. Để cho$X_1,\ldots,X_m$ là tọa độ riêng và để $w_i \leq p$ là trọng lượng của $i$cột thứ. Sau đó

$$\log n = H(X) \leq \sum_{i=1}^m H(X_i) = \sum_{i=1}^m h(w_i/n) \leq m h(p/n).$$ vì thế $$m \geq \frac{\log n}{h(p/n)}.$$ Đây $H$ là entropy của một biến ngẫu nhiên $H(X) = -\sum_x \Pr[X=x] \log \Pr[X=x]$ và $h$ là hàm entropy $h(x) = -x\log x-(1-x)\log(1-x)$. (Bạn có thể sử dụng bất cứ cơ sở nào cho logarit mà bạn muốn.)

Việc xây dựng phù hợp không có triệu chứng, sẽ làm việc cho $p = \Omega(n)$, chọn $m$ lớn hơn một chút so với giới hạn dưới này và chọn sơ đồ mã hóa ngẫu nhiên, mỗi bit được đặt thành $1$ với một số xác suất $q/n$ nhỏ hơn một chút $p/n$. Chọn các tham số chính xác, chúng ta sẽ nhận được kết quả này trong một mã hóa hợp pháp (tất cả các từ mã đều khác nhau và tất cả các trọng số cột đều nhiều nhất$p$) với xác suất dương.

Đây là một phương pháp tìm kiếm đơn giản. Chúng tôi bắt đầu từ một số giới hạn thấp hơn về số lượng bit và sau đó cố gắng tìm một mã hóa hợp pháp. Đặc biệt.

Gọi m là số bit hiện tại. Ký hiệu mã hóa i là bi1, bi2, ..., bim.

Các ràng buộc: bi xor bj không phải là 0 - nói cách khác, mỗi mã hóa của ký hiệu là duy nhất

Đối với tất cả j: sum_i bij <= p.

Đây là một vấn đề thỏa mãn giả-boolean (cũng có thể dễ dàng được mã hóa thành một vấn đề bão hòa tiêu chuẩn). Vì vậy, chỉ cần tiếp tục tăng m cho đến khi bạn tìm thấy một thỏa đáng (hoặc thực hiện tìm kiếm nhị phân bằng cách sử dụng giới hạn dưới và trên để tìm m tối thiểu).

Tất nhiên, điều này không đảm bảo rằng trong thực tế bạn sẽ có thể thực sự tìm thấy m tối thiểu, kiểm tra SAT có thể hết thời gian.