Độ phân giải hình ảnh CSI nâng cao: Nó thực như thế nào?

Vì vậy, tôi đã xem clip Youtube dài 1 phút sau đây từ CSI New York . Trong clip, sử dụng những gì dường như là bản ghi từ camera ngân hàng tiêu chuẩn, họ phóng to ít nhất 100 và xem hình ảnh của thủ phạm trong hình ảnh phản chiếu của cô gái.

Bây giờ, tôi nghĩ rằng điều này là hoàn toàn vô lý, đến mức tôi nghĩ rằng nó thực sự hài hước.

Tuy nhiên, bạn tôi lập luận rằng có những thủ thuật rất tốt để cải thiện hình ảnh, chẳng hạn như "siêu phân giải" một quy trình trong đó nhiều khung hình của video để tạo ra hình ảnh có độ phân giải đơn cao hơn nhiều. Anh ấy đã nghĩ rằng chương trình bẻ cong sự thật khá nhiều, nhưng bao nhiêu?

Thành thật mà nói, tôi thực sự không biết gì về những điều này, vì vậy câu hỏi của tôi là:

Làm thế nào tốt là tăng cường độ phân giải hình ảnh hiện đại? Ngoài ra, các chương trình truyền hình CSI còn bao xa?

Cảm ơn bạn,

Ghi chú: Đây là chéo được đăng trên trang Skeptics. Tôi đã nói tôi có thể nhận được câu trả lời tốt hơn ở đây.

Câu trả lời ngắn: bạn có thể nhận được một số kết quả rất tốt, nhưng chỉ trong một số điều kiện nhất định và thậm chí không gần với những gì được hiển thị trong video clip được liên kết.

Công ty của tôi, Amped Software , phát triển phần mềm xử lý hình ảnh và video cho các ứng dụng pháp y và tình báo, vì vậy về cơ bản chúng tôi là đối tác trong thế giới thực của phần mềm CSI.

Liên quan đến vấn đề chung về nâng cao chất lượng, tôi có thể nói với bạn rằng đối với thị trường của chúng tôi, đó là một vấn đề rất lớn để đáp ứng những kỳ vọng được tạo ra bởi phim truyền hình và phim Hollywood. Bạn có thể thấy trên trang mẫu của chúng tôi rằng đôi khi kết quả chúng tôi có thể nhận được thực sự đáng kinh ngạc, nhưng điều quan trọng là phải hiểu rằng chúng tôi chỉ có thể nhận được chúng trong một số điều kiện: nếu có thông tin được bao phủ bởi nhiễu loạn, nhưng nó ở đó , chúng tôi có thể phục hồi nó. Nếu không có thông tin, chúng tôi không thể và chúng tôi không được tạo lại. Trong ứng dụng cụ thể này là điều cần thiết không chỉ nhận được kết quả từ quan điểm trực quan, mà còn tuân theo quy trình làm việc khoa học phải được tòa án chấp nhận .

Năm ngoái tôi đã trình bày một nghiên cứu mô tả các vấn đề và kết quả trên gần 200 trường hợp tôi đã làm việc và kết quả cuối cùng là như sau:

• trong hơn 50% trường hợp không có gì để làm (ví dụ, việc khôi phục biển số xe là 5x2 pixel là hoàn toàn không thể với bất kỳ phần mềm nào trên thế giới);
• trong khoảng 30% các trường hợp chúng ta có thể nhận được một số kết quả nhỏ (ví dụ: khôi phục một số chữ cái của biển số xe hoặc cải thiện diện mạo tổng thể của khuôn mặt);
• trong 10% các trường hợp bạn nhận được kết quả tốt (ví dụ: bạn nhận được hầu hết các tấm giấy phép).

Xin lưu ý rằng tất cả các trường hợp này có vấn đề chất lượng nghiêm trọng. Nếu chất lượng của chúng tốt, chúng tôi sẽ không yêu cầu làm việc với chúng.

Đối với những gì liên quan đến tăng cường độ phân giải cụ thể :

• khi bạn phóng to hình ảnh, bạn đang nội suy các pixel bị thiếu: từ một hình ảnh duy nhất bạn có thể cải thiện trực quan hình ảnh của hình ảnh nhưng bạn sẽ không thêm bất kỳ chi tiết thực nào ;
• kỹ thuật siêu phân giải có thể mang lại kết quả tốt trong một số điều kiện nhất định: bạn nên có đủ khung hình, được dịch chuyển bởi một lượng pixel không nguyên và tốt nhất là với một vài tạo tác nén. Trong trường hợp tốt nhất, bạn có thể mong đợi kết quả tốt trong phạm vi zoom 2x và 3x.

Những gì được hiển thị trong video clip chỉ có thể có nếu video gốc được quay ở vài megapixel và sau đó bạn sẽ có độ phân giải để thu phóng rất gần (ít nhiều giống như bạn làm trên Google Maps). Tất nhiên, tại thời điểm đó vẫn còn những vấn đề khác, như lấy nét đúng, điều kiện ánh sáng yếu, thực tế là phối cảnh của mắt khác với toàn bộ chủ thể trong video, chỉ đề cập đến một vài vấn đề.

Bạn không thể tạo ra thứ gì đó từ hư vô, bạn phải có (hoặc đoán) một số thông tin để có thể nâng cao hình ảnh theo bất kỳ cách nào. Ví dụ: nếu bạn biết các thuộc tính của chức năng làm mờ (và không có nhiễu hình ảnh) thì bạn thực sự có thể làm mờ ảnh. Tuy nhiên, bạn hiếm khi biết chức năng làm mờ và nhiễu luôn luôn xuất hiện để hạn chế nghiêm trọng những gì bạn có thể phục hồi (Adobe gần đây đã trình diễn một bộ lọc không rõ ràng nhưng bản demo của chúng là mờ tổng hợp).

Nói tóm lại, CSI gần như là hư cấu thuần túy - những lợi ích có thể có trong cuộc sống thực là không đáng kể, không có gì giống như sự gia tăng 5x về độ phân giải được trình bày trên TV.

Kiểm tra sự tỉnh táo: nếu họ có thể làm tất cả những điều đó, mọi người sẽ không phải trả hàng chục ngàn cho máy ảnh Hasselblad 40+ MP, sẽ rẻ hơn nếu chỉ cần sao chép phần mềm!

chỉnh sửa: Bằng cách nào đó tôi đã không nhận thấy câu hỏi ban đầu được đề cập đến siêu phân giải từ video. Nhiều hình ảnh siêu phân giải là có thể trong thực tế nhưng chỉ đến những hạn chế của cảm biến. Nó hoạt động bằng cách sử dụng một tập hợp các hình ảnh với các thay đổi pixel phụ. Điều này cung cấp thông tin về các giá trị ở giữa các pixel cho phép bạn xây dựng hình ảnh có độ phân giải cao hơn. Độ phân giải siêu cao từ video hoạt động vì một đối tượng chuyển động tạo ra cùng một loại dịch chuyển, tuy nhiên sự xuất hiện của các đối tượng không được thay đổi nhiều giữa các khung. Kỹ thuật tốt nhất là chỉ cung cấp cho bạn kết quả của cảm biến có độ phân giải cao hơn, bạn không thể vượt qua giới hạn về khả năng phân giải ống kính, điều này sẽ khá hạn chế với ống kính thông số kỹ thuật của camera quan sát.

Dưới đây là một ví dụ về siêu phân giải trong điều kiện tốt:

_{(nguồn: wikidia.org )}

hình ảnh từ photoacute.com

có một sự cải thiện về độ phân giải, vâng, nhưng vẫn không có hiệu suất ở mức CSI.

Để tham khảo nhận xét của tôi ở trên, Hasselblads mới nhất thực sự thực hiện siêu phân giải dịch chuyển cảm biến, dưới tên "chụp nhiều ảnh" để bạn vẫn không thể đánh bại các nhà sản xuất định dạng trung bình trong trò chơi của riêng họ bằng phần mềm thông minh ...

Vì vậy, đây là những gì tôi có cho đến nay:

Vùng mắt nơi họ nhìn thấy Bóng rổ rộng khoảng 1 milimet vuông. Dựa trên chiều cao của cô gái, chúng tôi có thể tự tin ước tính rằng nó nên nhiều nhất là 1 phần triệu tổng số pixel trên màn hình. (Chiều rộng và chiều cao của hình ảnh, mặc dù không được xác định rõ đối với các bức ảnh vì một số thứ có thể gần hơn, nhìn khoảng 3 x 3 mét, có nghĩa là 10 triệu milimét vuông. Tôi ước tính khoảng và chia cho $ 10 $.)

Nếu bản ghi có chất lượng HD, thì đó vẫn chỉ là 2 megapixel, do đó, nơi chúng ta thấy bóng rổ nên có kích thước của một pixel.

Tôi nghĩ rằng lý do chắc chắn cho thấy nó không đúng, nhưng tôi vẫn còn băn khoăn, giới hạn trên của việc nâng cao hình ảnh là gì?

Có một số phần mềm thương mại có sẵn, với Super Độ phân giải. Tôi đã không thử bất kỳ thứ nào trong số này, nhưng tài liệu quảng cáo khá tốt. Phần mềm được hướng tới các lực lượng giám sát, an ninh và vũ trang nhưng tôi đoán một số đơn vị pháp y sẽ có quyền truy cập vào công cụ này.

Hai ví dụ là: Ikena từ MotionDSP và TacitView từ 2d3

Không thể cải thiện hình ảnh / video đến mức được đề xuất trong các chương trình truyền hình và thực sự bị giới hạn bởi thiết bị chụp ảnh. Đó là công nghệ cần phát triển đầu tiên.

Không thể có được thông tin từ bộ sưu tập 10 pixel thành một đối tượng dễ nhận biết. Ở cấp độ pixel, đó là lượng thông tin cuối cùng được cung cấp trong hình ảnh. Bạn chỉ có 100 khối màu trong mức thu phóng hữu hạn đó. Bạn có thể tăng diện tích 10 x 10 pixel thành 100x100 pixel thông qua phép nội suy, nhưng thông tin trong 10 x 10 pixel là tất cả phải có, và phép nội suy dựa trên các phỏng đoán được giáo dục dựa trên 10 x 10 pixel đó bằng phần mềm. Kết quả sẽ là mờ 100 x 100 pixel. Ngoài ra, chụp ảnh 2000x2000 pixel và nội suy lên 4000x4000 pixel và một số mờ không rõ ràng trong ảnh gốc có thể trông rõ hơn khi các đối tượng trong ảnh lớn hơn hoàn toàn thông qua pareidolia - nhưng ngay cả khi đó chỉ là phỏng đoán hoặc giả định. Hình ảnh được nội suy sẽ cung cấp cho "ảo ảnh" chi tiết hơn,

Cải thiện hình ảnh chỉ dựa vào lượng thông tin tối đa được ghi lại thông qua nguồn hình ảnh gốc và phóng to các pixel là có. Một số máy ảnh có thể chụp ảnh độ phân giải rất tốt, nhưng không có phần mềm nào có thể đưa ra chi tiết không được ghi lại trong ảnh gốc.

Bây giờ, để quay lại các chương trình CSI, hầu hết trong số họ lấy các cảnh quay camera giám sát tiêu chuẩn của bạn, bắt đầu bằng độ phân giải không đặc biệt cao trong cuộc sống thực, vì vậy khi tôi thấy loại cải tiến này trên chương trình, nó chỉ khiến tôi cười - vì không thể ngay cả với hình thức phần mềm chỉnh sửa hình ảnh tiên tiến nhất (và PhotoShop vẫn hoạt động tốt và thực sự ở cấp cao của thang đo nâng cao). Cải thiện hình ảnh và thu phóng phụ thuộc 100% vào thông tin được chụp bởi thiết bị hình ảnh - vì vậy một camera giám sát có khả năng chụp ảnh phản chiếu khuôn mặt của một người ở bên cạnh giác mạc của một người nào đó, sẽ cần phải cực kỳ mạnh mẽ và sẽ cực kỳ tốn kém . Các cảnh quay sẽ cần phải có độ phân giải pixel cực cao trên mỗi khung hình (giả sử 100 megapixel hoặc khoảng 9,5 terabyte để lưu trữ 1 giây cảnh quay), sẽ thổi ra kích thước tập tin của đoạn phim đến mức mỗi camera giám sát sẽ cần một trang trại máy chủ nhỏ để giữ cảnh quay trong 24 giờ. Rất đắt. Công nghệ cải tiến kết quả sẽ dựa vào các thiết bị chụp ảnh có thể thực hiện mức độ quay video và hình ảnh chi tiết này trước tiên, để lưu trữ dữ liệu một cách thuận tiện và là điểm không tốn kém để tung ra khắp các thành phố. Kích thước tệp sẽ rất lớn trên các cảnh quay video (hãy nhớ khoảng 9,5 terabyte mỗi giây) để phần mềm có thể làm điều này sẽ cần một siêu máy tính cực kỳ mạnh mẽ (theo tiêu chuẩn ngày nay) để chạy. Với công nghệ ngày càng phát triển với tốc độ như vậy, điều này có thể xảy ra vào một lúc nào đó trong tương lai, có thể là trong cuộc đời của chúng ta. Chỉ sau đó họ có thể làm điều đó, nhưng hình ảnh sẽ không được nâng cao, họ sẽ chỉ phóng to hình ảnh siêu chi tiết. Tôi biết điều này khi tôi làm việc trong hình ảnh kỹ thuật số cho một cuộc sống toàn thời gian.