Những ưu và nhược điểm của các thuật toán khử màu khác nhau của Bayer là gì?

Các cảm biến của Bayer sử dụng mô hình các pixel màu đỏ, xanh lục và xanh lam và hợp nhất các pixel đó lại với nhau thành một hình ảnh màu cuối cùng, với một pixel cho mỗi cảm biến màu đơn . Điều này có thể được thực hiện thông qua sự pha trộn "ngây thơ" của các cảm biến hàng xóm, nhưng tôi đã nghe nói về các phương pháp phức tạp hơn với các tên như AHD, HPHD và AMaZE.

Những cách tiếp cận khác là gì, và những lợi thế nào chúng mang lại? Họ có điểm yếu ngoài sự phức tạp tính toán?

Tôi tưởng tượng rằng cách tiếp cận được sử dụng cho JPEG trong máy ảnh được bảo vệ chặt chẽ hơn, nhưng rõ ràng có rất nhiều nghiên cứu và phát triển đi vào lĩnh vực này. Liệu sức mạnh xử lý hạn chế có sẵn trong máy ảnh có bất kỳ sự thỏa hiệp nào trong lĩnh vực này không?

Một vài tháng trước tôi đã rất ngạc nhiên khi thấy rằng SDK máy ảnh thị giác của tôi đã sử dụng "phép nội suy" lân cận gần nhất trong chức năng bayer tích hợp của nó. Đây là loại nhanh nhất, nhưng tệ nhất, mang lại các cạnh cứng, đặc biệt là khi bạn bắt đầu làm toán trên các kênh hình ảnh cho độ không đổi màu hoặc độ sáng bất biến. Tôi tìm thấy đánh giá này về các thuật toán:

http://www.arl.army.mil/arlreports/2010/ARL-TR-5061.pdf

Bước tiếp theo là các phép nội suy song tuyến tính và nhị phân có thể được tính toán khá nhanh vì chúng chỉ bằng các hạt nhân chập. Chúng cho răng cưa màu trên các cạnh nghiêng - song tuyến nhiều hơn bicubic.

Có thể thấy trong bài báo này và với dữ liệu chất lượng được định lượng trên 5 thuật toán khác nhau:

http://research.microsoft.com/en-us/um/people/lhe/auge/icassp04.demosaizing.pdf

Đây là lý do tại sao họ thực hiện nội suy hướng dựa trên cạnh. Tuy nhiên, các kênh này coi màu xanh lá cây là một "kênh quan trọng" hơn (vì nó có độ phân giải tốt nhất và chiếm phần lớn độ nhạy thị giác và độ phân giải của mắt chúng ta). Và sau đó, họ tạo ra màu xanh và đỏ như là một chức năng của kênh màu xanh lá cây, trong một màu sắc bảo tồn thời trang. Điều này lần lượt làm cho nội dung tần số cao kênh xanh dễ bị lỗi hơn. Độ phức tạp cao hơn khi họ phải phát hiện những gì đang diễn ra và yêu cầu nhiều lượt đi. Moire và maize là các tạo tác phổ biến từ các loại nội suy này.

Ở đây, họ cho thấy các ví dụ về các phiên bản khử nhiễu và đồng nhất thích nghi đồng nhất có và không có màu sắc bảo tồn và các addon bảo quản cạnh:

http://math.auburn.edu/~kilgota/ahd_bayer.pdf

Bài báo đó ủng hộ AHD và không hiển thị phần tiêu cực. Trên trang này, bạn có thể thấy các tạo phẩm mẫu khác nhau từ Khử nhiễu đồng nhất thích ứng, Nhóm pixel theo mẫu và Số lượng biến đổi (di chuột qua tên):

http://www.ruevski.com/rawhistogram / 40D_Demosaizing / 40D_DemosaizingArtifacts.html

Tóm lại, có một số giả định được sử dụng trong các thuật toán này và các tạo tác xảy ra khi giả định không giữ được:

• Độ mịn trên mỗi kênh. Nếu hàng xóm gần nhất không giống nhau, làm cho quá trình chuyển đổi suôn sẻ. Artifact: cưa / khóa kéo, độ mềm
• Độ sáng không đổi với các cạnh được định hướng (hướng song tuyến). Hiện vật: moire kết cấu tần số cao, viền màu
• Huế kiên định. nếu trong một vùng lân cận thì màu sắc là như nhau, vì vậy nếu một kênh thay đổi thì các kênh khác phải tuân theo. Hiện vật: khóa kéo màu trên các cạnh màu
• Sự không đổi có thể được dự đoán từ các green. Cổ vật: mê cung

Tôi bắt đầu chơi với nó một chút và thấy rằng cách tiếp cận ngây thơ không đến nỗi tệ. Điều đó chỉ đơn giản là xử lý từng màu riêng biệt và nội suy để có được giữa các pixel. Nhược điểm chính của điều này là nếu pixel của bạn nhìn trộm ở nơi có độ tương phản cao, bạn có thể thấy một chút viền màu. Nói cách khác, nếu bạn có một vùng màu xám nhạt đặt một vùng màu đen, bạn sẽ thấy một vài pixel màu ở ranh giới. May mắn là những trung bình này nói chung, nhưng nếu cạnh gần như thẳng đứng hoặc gần ngang thì chúng trung bình ở một tần số thấp. Hiệu ứng tương tự có thể rõ ràng hơn nữa đối với các vạch sáng mỏng gần dọc hoặc ngang.

Đây là một ví dụ. Bức ảnh này được chụp có chủ ý như một bức ảnh thử nghiệm:

Lưu ý dải rõ ràng của dòng trang trí chrome. Để đặt điều này trong phối cảnh, đây là khung đầy đủ:

Tôi đã nghĩ về một cách tiếp cận khác nhưng cho đến nay vẫn luôn có những việc khác phải làm trước tiên. Đề án này sẽ tìm cách chỉ tìm thấy độ sáng đầu tiên. Đây sẽ là kênh duy nhất của dữ liệu hình ảnh nếu hình ảnh có màu đen và trắng. Mỗi giác quan đóng góp một phần vào đó, mặc dù màu sắc không đóng góp như nhau. Khi cường độ được xác định, bạn sẽ nội suy các màu như trong phương thức ngây thơ, nhưng chỉ sử dụng kết quả để đặt màu theo cách để duy trì cường độ. Cường độ sẽ có băng thông cao hơn, hoặc sắc nét hơn về mặt hình ảnh so với thông tin màu sắc. Analog TV đã sử dụng thủ thuật này để giảm yêu cầu băng thông của hình ảnh màu. Họ đã thoát khỏi nó bởi vì hệ thống thị giác của con người đặt tầm quan trọng cao hơn về cường độ so với màu sắc, đặc biệt là màu đỏ.

Dù sao, đó chỉ là một số suy nghĩ. Như tôi đã nói, tôi chưa thực sự thử điều đó hoặc tìm hiểu chi tiết. Một ngày nào đó.

Theo hiểu biết của tôi rằng các Phiên bản quy trình khác nhau trong Lightroom (cho đến nay chúng ta có 2003, 2010 và 2012) tương ứng với các thuật toán khử màu khác nhau. Một phần mềm thú vị khác là UFRaw cung cấp các phần sau (trích dẫn từ trang web):

Sau khi thiết lập cân bằng trắng, UFRaw sẽ nội suy mẫu của Bayer.

• Nội suy AHD là phép nội suy theo hướng đồng nhất thích nghi. Đây là phép nội suy mặc định.
• Nội suy VNG sử dụng phép nội suy Số lượng biến số dựa trên ngưỡng. Điều này từng là nội suy mặc định và nó vẫn rất tốt .
• Nên sử dụng phép nội suy bốn màu VNG nếu bạn nhận được các tạo tác mẫu của Bayer trong ảnh của mình (xem Câu hỏi thường gặp của DCRaw để biết thêm chi tiết).
• Nội suy PPG là viết tắt của phép nội suy Nhóm theo mẫu. Nó gần như là tốt như tất cả các bên trên và nhanh hơn nhiều.
• Nội suy song phương là một phép nội suy rất cơ bản nhưng nó nhanh hơn nhiều.

Điều này có thể cung cấp một số tài liệu để thử nghiệm. Nhân tiện, UFRaw dường như là Nguồn mở, cho phép bạn xem qua các thuật toán.

Trong chụp ảnh thiên văn, chủ đề này được nghiên cứu sâu sắc, bởi vì khi sử dụng cảm biến màu một lần chụp, có rất nhiều độ phân giải bị mất bằng cách gỡ lỗi. Mặt khác, sử dụng tệp RAW vẫn có quyền truy cập vào dữ liệu gốc và nó có thể được xử lý trước ứng dụng màu. Chủ đề này đi sát với phần mềm của sự vật.

Nói tóm lại, nếu bạn có quyền truy cập vào nhiều hình ảnh có cùng dữ liệu chủ đề (được thực hiện để giảm nhiễu cảm biến), bạn có thể trao đổi một chuyển đổi khung hình duy nhất với AHD cho phương pháp mưa phùn có thể phục hồi độ phân giải bị mất. Sự lựa chọn phụ thuộc vào loại dữ liệu nguồn bạn có sẵn. Hầu hết các nhiếp ảnh gia chỉ có một hình ảnh duy nhất để sử dụng.

Một số phần mềm mà tôi đã sử dụng với các lựa chọn cho các quy trình Gỡ lỗi là: Deep Sky Stacker và Pix Insight. Có những người khác là tốt. Nhiều người dựa trên DCRAW .

Đây là liên kết cho bài viết trên trang Deep Sky Stacker nơi họ thảo luận về một số tùy chọn: Lựa chọn gỡ lỗi