Các cách để xây dựng lại các pixel bị xáo trộn của một tập tin video?

Giả sử rằng bạn có một tệp video mà thứ tự pixel đã được xáo trộn một lần. Đó là, một thứ tự ngẫu nhiên đã được xác định một lần và áp dụng cho tất cả các khung.

Có tồn tại một số cách tiếp cận đã biết để lấy thứ tự pixel ban đầu không?

Tôi có một số ý tưởng xung quanh việc truy xuất cấu trúc liên kết ban đầu bằng cách đặt các pixel mà các giá trị được tương quan trong không gian và thời gian gần nhau hơn. Tôi tự hỏi nếu điều này đã được nghiên cứu và nếu các thuật toán hiệu quả đã được công bố.

Ngoài ra, vấn đề này có thể được coi là một cách để chiếu lên ma trận 2D một tập hợp các giá trị thay đổi theo thời gian để có thể áp dụng các kỹ thuật thị giác máy tính (như CNN), với giả định rằng các giá trị này thực sự có tương quan với nhau.

Đây là một vấn đề kết hợp hấp dẫn. Tôi sẽ làm nổi bật từng pixel bằng cách sử dụng quỹ đạo theo thời gian đầy đủ của nó, sau đó nhúng chúng vào lưới bằng cách sử dụng k lân cận gần nhất. Mục tiêu thực sự là tối đa hóa khả năng video là một chuỗi các hình ảnh tự nhiên (đời thực), bạn có thể kiểm tra bằng trình phân loại, nhưng bạn có thể thoát khỏi chỉ với chi phí mượt mà; nói, tổng của sự khác biệt giữa các pixel liền kề. Khi bạn đã bắt đầu điền vào lưới, các ràng buộc về độ mịn sẽ giảm không gian tìm kiếm (vì một pixel sẽ phải gần với nhiều pixel khác), do đó tăng tốc mọi thứ, giả sử bạn đang sử dụng cấu trúc dữ liệu hiệu quả để truy vấn hàng xóm gần nhất; xem ví dụ http://www.itu.dk/people/pagh/SSS/ann-benchmark/

Một giải pháp chung cho điều này không tồn tại, ngay cả khi chúng ta thêm một số giả định về sự phân bố của các màu, ví dụ như màu sắc trong hình ảnh hoặc khớp nối tạm thời, chẳng hạn như các khung liên tiếp là tương tự nhau.

Vấn đề

Đặt là khung gốc, mỗi khung có pixel. Đặt là hoán vị được áp dụng cho các pixel của mỗi khung trước khi chúng ta có được chúng. Bạn có thể nghĩ là cuốn sách mã của kẻ thù. n m P $F_1,\dots,F_i$$n$$m$$P$$P$

Bây giờ, là đầu vào, chúng tôi đang nhận được . Mục tiêu là tìm hoán vị nghịch đảo để khôi phục lại hình ảnh. Do đó, là bản đồ nhận dạng và ví dụ . Lưu ý rằng chúng tôi không biết bất kỳ khung chính xác .Q Q P = I Q ( P ( F 1 ) ) = F 1 F $P(F_1),\dots,P(F_n)$$Q$$QP=I$$Q(P(F_1))=F_1$$F_i$

Hãy Làchức năng hoán vị có thể của các pixel .m ! $Q_1,...,Q_{m!}$$m!$$m$

Mục đích là để chọn độc đáo Để .$j\in\{1,\dots,m!\}$$Q_jP=I$

Không có giải pháp chung

Theo mô hình thống kê của chúng tôi, điều này có nghĩa là chọn giúp tối đa hóa khả năng được rút ra từ cùng một phân phối như thống kê tham chiếu cho hình ảnh và thống kê tạm thời giữa các khung liên tiếp và là kiến ​​thức trước đây của chúng tôi.$Q_j$$Q_j(P(F_i))$$Q_j(P(F_{i})$$Q_j(P(F_{i+1})$

Có một ví dụ đối lập chính tắc trong đó kẻ thù cung cấp cho bạn một bộ phim được xáo trộn với hai khung hình trong đó tất cả các pixel có cùng màu, vì vậy , và cho mỗi . Do đó, đối với tất cả , số liệu thống kê trong khung và giữa khung có thể được trang bị cho mỗi và không cung cấp cho chúng tôi thông tin nào để chọn hoán vị khả năng tối đa (trừ trường hợp suy biến trong đó ).$n=2$$F_1=F_2$$Q_j(F_1)=Q_j(F_2)=F1=F2$$j$$j$$j$$Q_j$$m!=1$

Do đó, chúng tôi không thể đảm bảo tính duy nhất và vấn đề không thể giải quyết được nếu không có giả định thêm.

Giả định thêm

Thật thú vị để xem liệu chúng ta có thể giải quyết vấn đề bằng cách thêm nhiều ràng buộc hơn.

Nếu chúng ta hạn chế kẻ thù để chỉ gửi cho chúng tôi phim "thật" và giả sử có đủ pixel và khung khác nhau để sao cho độc đáo với khả năng tối đa tồn tại, chúng ta sẽ vẫn phải tính toán thống kê cho hoán vị khung để tìm tối đa.$Q_j$$O(m! \times n)$

Đây là vũ lực phá mã.

Để hưởng lợi từ các mạng thần kinh và đặc biệt là lan truyền ngược, chúng ta sẽ cần một hàm mất khác biệt đối với đầu vào (là mã hóa của hoặc hoán vị của chúng ta ). Câu hỏi sau đó, sẽ là để xem nếu một chức năng như vậy có thể được tìm thấy.$j$$Q_j$

Mặt khác, vấn đề tương tự như phân tích mật mã trong trường hợp đặc biệt khi chúng ta biết rằng cuốn sách mã của kẻ thù là một hoán vị của văn bản rõ ràng (hoặc hình ảnh rõ ràng).