PRNG có thể được sử dụng để nén công cụ một cách kỳ diệu?

Ý tưởng này xảy ra với tôi khi còn bé học lập trình và lần đầu tiên gặp PRNG. Tôi vẫn không biết nó thực tế như thế nào, nhưng bây giờ có trao đổi ngăn xếp.

Đây là sơ đồ của một đứa trẻ 14 tuổi cho một thuật toán nén tuyệt vời:

Lấy một PRNG và gieo nó bằng hạt giống sđể có được một chuỗi dài các byte giả ngẫu nhiên. Để truyền chuỗi đó cho một bên khác, bạn chỉ cần truyền đạt một mô tả về PRNG, hạt giống thích hợp và độ dài của tin nhắn. Đối với một chuỗi đủ dài, mô tả đó sẽ ngắn hơn nhiều so với chính chuỗi đó.

Bây giờ giả sử tôi có thể đảo ngược quá trình. Có đủ thời gian và tài nguyên tính toán, tôi có thể thực hiện tìm kiếm vũ phu và tìm hạt giống (và PRNG, hay nói cách khác: một chương trình) tạo ra chuỗi mong muốn của tôi (Giả sử một bức ảnh thú vị về những chú mèo tinh nghịch).

Các PRNG lặp lại sau khi đã tạo ra một số lượng bit đủ lớn, nhưng so với các chu kỳ "thông thường" thì thông điệp của tôi khá ngắn nên điều này dường như không có vấn đề gì.

Voila, một cách hiệu quả (nếu rube-Goldbergian) để nén dữ liệu.

Vì vậy, giả sử:

• Trình tự tôi muốn nén là hữu hạn và được biết trước.
• Tôi không thiếu tiền mặt hoặc thời gian (Chỉ cần một lượng hữu hạn của cả hai)

Tôi muốn biết:

• Có một lỗ hổng cơ bản trong lý luận đằng sau kế hoạch này?
• Cách tiêu chuẩn để phân tích các loại thí nghiệm suy nghĩ này là gì?

Tóm lược

Đó thường là trường hợp câu trả lời tốt làm rõ không chỉ câu trả lời, mà đó là điều tôi thực sự hỏi. Cảm ơn sự kiên nhẫn và câu trả lời chi tiết của mọi người.

Đây là nỗ lực thứ n của tôi trong phần tóm tắt các câu trả lời:

• Góc PRNG / hạt giống không đóng góp gì cả, nó không khác gì một chương trình tạo ra chuỗi mong muốn làm đầu ra.
• Nguyên tắc pigeonhole: Có nhiều thông điệp có độ dài> k hơn so với các chương trình (tạo tin nhắn) có độ dài <= k. Vì vậy, một số chuỗi đơn giản không thể là đầu ra của một chương trình ngắn hơn thông báo.
• Điều đáng nói là trình thông dịch của chương trình (tin nhắn) nhất thiết phải được sửa trước. Và thiết kế của nó xác định tập hợp con (nhỏ) của các tin nhắn có thể được tạo khi nhận được tin nhắn có độ dài k.

Tại thời điểm này, ý tưởng PRNG ban đầu đã chết, nhưng có ít nhất một câu hỏi cuối cùng để giải quyết:

• H: Tôi có thể gặp may mắn và thấy rằng tin nhắn dài (nhưng hữu hạn) của tôi chỉ là đầu ra của một chương trình có độ dài <k bit?

Nói đúng ra, đó không phải là vấn đề may rủi vì ý nghĩa của mọi thông điệp (chương trình) có thể phải được biết trước. Đó là ý nghĩa của một số thông điệp của <k bit hoặc không .

Nếu tôi chọn một tin nhắn ngẫu nhiên> = k bit một cách ngẫu nhiên (tại sao tôi lại như vậy?), Trong mọi trường hợp tôi sẽ có xác suất biến mất khi có thể gửi nó bằng cách sử dụng ít hơn k bit và gần như chắc chắn không thể gửi nó hoàn toàn sử dụng ít hơn k bit.

OTOH, nếu tôi chọn một thông báo cụ thể> = k bit từ những bit là đầu ra của chương trình có ít hơn k bit (giả sử có một thông báo như vậy), thì thực tế tôi đang tận dụng các bit đã được truyền đến người nhận (thiết kế của trình thông dịch), được tính là một phần của thông điệp được chuyển.

Cuối cùng:

• Q: Tất cả những gì kinh doanh phức tạp entropy / kolmogorov này là gì?

Cuối cùng, cả hai đều nói với chúng ta điều tương tự như nguyên tắc pigeonhole (đơn giản hơn) cho chúng ta biết về mức độ chúng ta có thể nén: có lẽ không phải, có lẽ một số, nhưng chắc chắn không nhiều như chúng ta ưa thích (trừ khi chúng ta gian lận).

Bạn đã có một chương trình nén mới tuyệt vời, eh? Alrighty sau đó...

Tất cả hãy chơi, trò chơi entropy

Để đơn giản, tôi sẽ giả sử bạn muốn nén các tin nhắn có chính xác bit, đối với một số n cố định . Tuy nhiên, bạn muốn có thể sử dụng nó cho các tin nhắn dài hơn, vì vậy bạn cần một số cách phân biệt tin nhắn đầu tiên của bạn với tin nhắn thứ hai (không thể mơ hồ những gì bạn đã nén).$n$$n$

Vì vậy, kế hoạch của bạn là xác định một số họ PRNG / hạt sao cho nếu bạn muốn nén, giả sử, , sau đó bạn chỉ cần viết một số số k , xác định một số tổ hợp hạt giống / PRNG được tính toán trước (và chia sẻ) tạo ra các bit đó sau n truy vấn. Ổn thỏa. Có bao nhiêu chuỗi bit khác nhau có độ dài n ? 2 n (bạn có n lựa chọn giữa hai mục; 0 và 1 ). Điều đó có nghĩa là bạn sẽ phải tính 2 n trong số các combo này. Không vấn đề gì. Tuy nhiên, bạn cần phải viết ra k trong nhị phân để tôi đọc nó. Làm thế nào lớn k có thể nhận được? Chà, nó có thể lớn bằng $01000111001$$k$$n$$n$$2^n$$0$$1$$2^n$$k$$k$ . Tôi cần bao nhiêu bit để viết ra 2 n ? log 2 n = n .$2^n$$2^n$$\log{2^n} = n$

Rất tiếc! Lược đồ nén của bạn cần thông báo miễn là những gì bạn đang nén!

"Haha!", Bạn nói, "nhưng đó là trường hợp xấu nhất! Một trong những tin nhắn của tôi sẽ được ánh xạ thành , chỉ cần 1 bit để thể hiện! Chiến thắng!"$0$$1$

Có, nhưng tin nhắn của bạn phải rõ ràng! Làm thế nào tôi có thể phân biệt theo sau 0 từ 10 ? Vì một số khóa của bạn có độ dài n , tất cả chúng đều phải hoặc nếu không tôi không thể biết bạn đã bắt đầu và dừng ở đâu.$1$$0$$10$$n$

"Haha!", Bạn nói, "nhưng tôi chỉ có thể đặt độ dài của chuỗi thành nhị phân trước! Điều đó chỉ cần đếm đến , có thể được biểu thị bằng các bit log n ! Vì vậy, số 0 của tôi bây giờ có tiền tố chỉ bằng log n bit, tôi vẫn thắng! "$n$$\log{n}$$0$$\log{n}$

Có, nhưng bây giờ những con số thực sự lớn đó có tiền tố là các bit . Đề án nén của bạn đã làm cho một số tin nhắn của bạn thậm chí lâu hơn! Và một nửa số của bạn bắt đầu bằng 1 , vì vậy một nửa số tin nhắn của bạn dài hơn nhiều!$\log{n}$$1$

Sau đó, bạn tiến hành đưa ra nhiều ý tưởng như ký tự kết thúc, gz số và tự nén độ dài, nhưng tất cả những ý tưởng đó đều chạy vào trường hợp thông điệp kết quả chỉ dài hơn. Trong thực tế, với mỗi bit bạn lưu trên một số tin nhắn, một tin nhắn khác sẽ nhận được phản hồi lâu hơn. Nói chung, bạn sẽ thay đổi "chi phí" của tin nhắn. Làm một số ngắn hơn sẽ chỉ làm cho những người khác dài hơn. Bạn thực sự không thể phù hợp với tin nhắn khác nhau trong ít không gian hơn là viết ra 2 n chuỗi nhị phân có độ dài n .$2^n$$2^n$$n$

"Haha!", Bạn nói, "nhưng tôi có thể chọn một số tin nhắn là 'ngu ngốc' và biến chúng thành bất hợp pháp! Sau đó, tôi không cần phải đếm hết đến , vì tôi không hỗ trợ nhiều tin nhắn đó!"$2^n$

Bạn đúng, nhưng bạn chưa thực sự chiến thắng. Bạn vừa thu nhỏ bộ tin nhắn bạn hỗ trợ. Nếu bạn chỉ hỗ trợ và b = 111111110101000 như các tin nhắn bạn gửi, thì bạn chắc chắn có thể có mã a → 0 , b → 1 , khớp chính xác với những gì tôi đã nói. Ở đây, n = 1 . Độ dài thực tế của tin nhắn không quan trọng, có bao nhiêu.$a=0000000011010$$b=111111110101000$$a\rightarrow 0$$b\rightarrow 1$$n=1$

"Haha!", Bạn nói, "nhưng tôi có thể đơn giản xác định rằng những tin nhắn ngu ngốc đó rất hiếm! Tôi sẽ biến những thứ hiếm hoi thành lớn, và những cái chung nhỏ thành nhỏ! Sau đó, tôi sẽ thắng trung bình!"

Vâng! Xin chúc mừng, bạn vừa phát hiện ra entropy ! Nếu bạn có bài viết, nơi i th nhắn có xác suất p i bị gửi, sau đó bạn có thể nhận được độ dài tin nhắn mong đợi của bạn xuống đến entropy H = Σ n i = 1 p i log ( 1 / p i ) của bộ này của tin nhắn. Đó là một loại biểu hiện kỳ ​​lạ, nhưng tất cả những gì bạn thực sự cần biết là nó lớn nhất khi tất cả các tin nhắn đều có khả năng như nhau và nhỏ hơn khi một số phổ biến hơn các tin nhắn khác. Trong cực đoan, nếu bạn biết về cơ bản mọi thông điệp sẽ là $n$$i$$p_i$$H = \sum_{i=1}^np_i\log(1/p_i)$ . Sau đó, bạn có thể sử dụng mã siêu hiệu quả này: a → 0 , x → 1 x nếu không. Sau đó, chiều dài thông điệp dự kiến của bạn về cơ bản là 1 , đó là tuyệt vời, và điều đó sẽ được thực sự gần với entropy H . Tuy nhiên, H là một giới hạn thấp hơn và bạn thực sự không thể đánh bại nó, cho dù bạn có cố gắng thế nào.$a=000111010101$$a\rightarrow0$$x\rightarrow1x$$1$$H$$H$

Bất cứ điều gì tuyên bố đánh bại entropy có lẽ không cung cấp đủ thông tin để lấy lại một cách rõ ràng thông điệp đã nén, hoặc chỉ sai. Entropy là một khái niệm mạnh mẽ đến mức chúng ta có thể giới hạn thấp hơn (và đôi khi cả hướng trên ) thời gian chạy của một số thuật toán với nó, bởi vì nếu chúng chạy rất nhanh (hoặc thực sự chậm), thì chúng phải làm gì đó vi phạm entropy .

$2^N-1$$N$$2^N$$N$

Trong cuộc sống thực, chúng ta thường biết một vài thứ về chuỗi chúng ta đang nén, nói đó là giọng nói hay hình ảnh. Trong trường hợp nén không mất dữ liệu, định lý mã hóa nguồn của Shannon cho thấy tốc độ nén tối ưu bằng với entropy của nguồn. Đối với mã hóa tổn thất, có các định lý khác trong lý thuyết thông tin (lý thuyết biến dạng tỷ lệ). Vì vậy, ngay cả trong trường hợp này cũng có giới hạn về số lượng bạn có thể nén dữ liệu.

$s$$k$$2^k$$n$$2^n$$n$$s$

(Như một câu trả lời khác đã lưu ý, điều này sẽ xảy ra đối với bất kỳ chức năng nén nào bạn chọn.)

Bên cạnh các điểm đã trả lời khác, tôi chỉ muốn thêm liên kết này: https://www.schneier.com:443/blog/archives/2009/09/the_doghouse_cr.html

Bây giờ, sản lượng năng lượng hàng năm của mặt trời của chúng ta là khoảng 1,21 × 10 ^ 41 erg. Điều này đủ để cung cấp năng lượng cho khoảng 2,7 × 10 ^ 56 thay đổi bit đơn trên máy tính lý tưởng của chúng tôi; đủ thay đổi trạng thái để đặt bộ đếm 187 bit qua tất cả các giá trị của nó. Nếu chúng ta chế tạo một quả cầu Dyson xung quanh mặt trời và thu được toàn bộ năng lượng của nó trong 32 năm, mà không mất bất kỳ tổn thất nào, chúng ta có thể cung cấp năng lượng cho một máy tính để đếm tới 2 ^ 192. Tất nhiên, nó sẽ không còn năng lượng để thực hiện bất kỳ tính toán hữu ích nào với bộ đếm này.

Vì vậy, chỉ lặp đi lặp lại (không so sánh ...) để tìm một chòm sao 187 bit hợp lệ của dữ liệu mong muốn của bạn sẽ có các điều kiện lý tưởng (không thể đạt được) nhiều năng lượng hơn mặt trời phát ra trong một năm.

Một bằng chứng rất nhanh rằng máy nén vạn năng không thể tồn tại. Giả sử, hãy giả sử bạn tạo một cái và bạn nén một đầu vào. Bây giờ, lặp đi lặp lại nén đầu ra của chương trình của bạn. Nếu bạn luôn có thể giảm kích thước, nó sẽ ngày càng nhỏ hơn trên mỗi bước, cho đến khi bạn giảm xuống 1 bit.

Bạn có thể lập luận rằng, có lẽ, đầu ra của thuật toán của bạn có cấu trúc như vậy mà nó không thể được nén nhiều hơn, nhưng sau đó bạn chỉ có thể áp dụng một shuffle xác định * trước khi giải nén.

Lưu ý: Một số xáo trộn xác định thực sự giúp ích trong một số sơ đồ nén: http://pytables.github.io/usersguide/optimization.html?highlight=shuffling#shufflingoptim

Việc sử dụng PRNG để "nén" về cơ bản là hữu ích trong một tình huống: khi cần sử dụng một bó dữ liệu "ngẫu nhiên" và ghi lại gọn gàng những dữ liệu nào được sử dụng. Hầu hết các trình tạo ngẫu nhiên giả chỉ có thể tạo ra một phần rất nhỏ các trình tự có thể, nhưng nếu chỉ cần một số trình tự "ngẫu nhiên" từ nhỏ đến vừa phải, thì phần trình tự có thể mà PRNG có thể tạo ra thường sẽ đủ hơn.

Nếu chuỗi dữ liệu mà một người muốn lưu trữ xảy ra ngẫu nhiên để khớp với những gì một PRNG nhất định sẽ tạo ra cho hạt giống phù hợp, thì việc lưu trữ hạt giống có thể là một cách thay thế nhỏ gọn để lưu trữ dữ liệu. Trừ khi nguồn dữ liệu là những trận đấu như vậy có khả năng xảy ra, tuy nhiên, chúng sẽ không thường xuyên đến mức việc tìm kiếm chúng sẽ không đáng giá.

Một cái gì đó cần xem xét để thêm vào các câu trả lời khẳng định tại sao có một số chuỗi không thể nén do, theo định nghĩa, tính chất tiêm chích của giải nén và vũ trụ hạn chế của chuỗi được nén để chọn để thể hiện thông điệp là: hầu hết các chuỗi không thể được nén bởi vì có rất nhiều chuỗi entropy, rối loạn cao hơn so với các chuỗi có entropy và có cấu trúc thấp hơn, do đó làm phát sinh một điều kiện mà chúng ta thấy trong thực tế rằng: nén hầu hết thời gian là hữu ích, vì các thông điệp chúng ta hầu hết thường muốn nén là những người thường xuyên sở hữu một số thứ tự và cấu trúc, và theo ý kiến ​​này, là một phần của vũ trụ nhỏ hơn rất nhiều của các vật thể entropy thấp hơn. Điều này có nghĩa là có thể, bằng cách chọn độ dài đầu ra phù hợp, chúng ta có thể nén mọi thứ trong vũ trụ nhỏ hơn, có cấu trúc. Thuật ngữ có cấu trúc, entropy và được đặt hàng ở đây là không chính xác, để phản ánh các định nghĩa chủ quan về ngữ nghĩa và tính hữu dụng của các thông điệp mà chúng tôi có thể muốn nén.

Và trong câu trả lời trực tiếp cho yêu cầu của người hỏi: * vâng, tất nhiên bạn có thể gặp may mắn và thấy đầu ra của PRNG là thông điệp chính xác mà bạn muốn nén, chỉ là bạn thường không thấy đây là trường hợp vì chính đặc tính đặc trưng cho PRNG, cụ thể là khả năng tạo ra một chuỗi (gần như) vô tận của các chuỗi khác nhau, khiến nó không đồng thời tạo ra chuỗi của bạn.

Tất nhiên, bạn có thể giảm thiểu sự không có khả năng này bằng cách sử dụng PRNG để chuyển qua "biểu đồ miền" của chuyển đổi từ này sang từ khác và bạn tăng khả năng hiển thị tin nhắn của mình và giờ bạn cũng phải thêm biểu đồ miền vào tin nhắn được nén chiều dài.