Chúng ta có thể cải thiện camera điện thoại bằng các cảm biến riêng biệt cho từng RGB không?


7

Vì vậy, tôi đã đọc tất cả về hệ thống nhiều camera trên Huawei P20 Pro mới, điều này thực sự khiến tôi suy nghĩ về cách chúng ta có thể sử dụng nhiều camera để cải thiện chất lượng hình ảnh, đặc biệt là ở dạng nhỏ gọn như điện thoại.

Tôi nhìn vào bộ lọc của Bayer và nhận thấy rằng khi mỗi photosite thu thập cường độ của một trong các thành phần RGB, chúng tôi cũng loại bỏ cường độ của hai thành phần RGB khác. Và vì vậy chúng tôi phải ước tính các cường độ bị loại bỏ bằng cách sử dụng khử màu.

Thay vì dùng đến việc khử màu, điều gì sẽ xảy ra nếu chúng ta tạo ra một hệ thống camera có 3 camera, mỗi camera chỉ chịu trách nhiệm cho một RGB? Không cần khử trùng nữa. Nó sẽ không cải thiện đáng kể chất lượng của hình ảnh cuối cùng vì không còn xấp xỉ màu nữa chứ?

Nó sẽ thực sự đắt tiền, vì P20 Pro dường như đã ổn với 3 camera?


1
Bạn thực sự không mất nhiều như bạn nghĩ với một cảm biến đeo mặt nạ của Bayer. Phản ứng của các giác quan dưới mỗi bộ lọc màu vẫn ghi lại một số ánh sáng màu khác. Nó giống như sử dụng các bộ lọc màu với phim B & W để có được ba dải âm khác nhau. Đó là sự khác biệt giữa cách mỗi lưới có bộ lọc tập trung vào một màu khác nhau đáp ứng cho phép thông tin "màu" được nội suy (cũng chính xác là cách tầm nhìn của con người "tạo ra màu"). Để biết thêm, vui lòng xem: Tệp RAW lưu 3 màu cho mỗi pixel hoặc chỉ một?
Michael C

bạn mất khoảng 2/3 ánh sáng - không, không phải vì có 3 kênh và họ nhất định phải cắt 1/3 quang phổ để làm cho nó trông đẹp hơn đối với các nhà toán học. các bộ lọc cố gắng bắt chước tầm nhìn của con người và tối đa hóa hiệu quả cùng một lúc và thỏa hiệp phổ biến nhất là lọc ra khoảng 1/2 đến 2/3 ánh sáng, có thể được tính toán chính xác bằng cách đo diện tích bên dưới bộ lọc truyền đường cong. đối với những người không tin vào những con số vô hồn ;-) ở đây, một số anh chàng dũng cảm đang gỡ bỏ các bộ lọc bayer, làm tăng độ nhạy cảm của khu vực tiếp xúc: goo.gl/tbCdMA
szulat

@szulat đối với một số cảm biến tốt nhất, có hiệu quả trong phạm vi 50 trên, nó thực sự ít hơn 1/2 ánh sáng bị mất, không phải 2/3.
Michael C

@MichaelClark không, vì QE được báo cáo thường có nghĩa là hiệu suất cực đại cho bước sóng đơn "tốt nhất" (ví dụ: màu xanh lá cây). việc truyền bộ lọc bayer qua các bước sóng cần phải được thêm vào trên đó.
szulat

1
@MichaelClark về màu sắc - vâng! bạn có thể tạo bộ lọc bay "pha loãng", lọc rất ít, cho phép nhiều ánh sáng vào cảm biến và tăng độ nhạy. nhưng thông tin màu sẽ cần được tính bằng cách khuếch đại chênh lệch kênh, nghĩa là khuếch đại nhiễu. đó là một trong những lý do tại sao cảm biến foveon hoặc cảm biến CMY thất bại nặng nề trong điều kiện ánh sáng yếu - mặc dù có lợi thế về mặt lý thuyết là sử dụng nhiều ánh sáng hơn cảm biến bay thông thường. Vì vậy, cuối cùng, tất cả mọi người đang sử dụng máy bay thường xuyên cũ tốt.
szulat

Câu trả lời:


6

Ý tưởng của bạn rất thú vị. Nhưng có một số vấn đề rất nghiêm trọng.

  1. Thị sai. Bởi vì các cảm biến sẽ được chuyển sang nhau, chúng sẽ "nhìn thấy" hình ảnh khác nhau. Và quá trình tạo ra một bức ảnh từ 3 người đó sẽ là một thách thức nghiêm trọng và sẽ cần rất nhiều sức mạnh tính toán
  2. Không gian. Trong điện thoại di động, bạn không có nhiều không gian nên việc thêm một cảm biến, quang học, cáp có thể không khả thi
  3. Giá bán. Thêm nhiều kiểm duyệt và quang học sẽ tăng giá. Và đặc biệt thị trường này rất nhạy cảm theo hướng này. Ở cuối điện thoại chủ yếu để nói chuyện (IMHO)
  4. Nhu cầu thị trường. Có bao nhiêu người sẽ muốn những bức ảnh thậm chí còn tốt hơn từ điện thoại?
  5. Làm sạch. Bây giờ bạn (có thể) làm sạch một ống kính, sau đó bạn sẽ làm sạch 3. Đúng, chúng nhỏ, nhưng bạn giữ điện thoại của bạn (thường) trong túi

Chắc chắn danh sách này có thể được mở rộng, nhưng hy vọng điều này là đủ

EDIT: Liên quan đến điểm 1 nếu các cảm biến ở trong một mặt phẳng, điều này cũng sẽ "làm biến dạng" hình ảnh được chụp bởi chúng. Và điều này có nghĩa là khi chụp cận cảnh bạn nên có 3 hệ thống lấy nét khác nhau.


Parallax: nhiều máy ảnh điện thoại đã kết hợp hình ảnh từ nhiều cảm biến tốt như P20 Pro.
Căn cứ

2
Nhưng không bị phân chia bởi màu sắc ...
Romeo Ninov

5

Chất lượng hình ảnh điện thoại thông minh hiện đại bị giới hạn bởi kích thước cảm biến nhỏ, chất lượng ống kính và nhiễu xạ của chúng, chứ không phải quá trình khử màu.

Do đó, ý tưởng dường như không hữu ích.

Lưu ý rằng P20 đã nói ở trên có một camera đơn sắc, đưa ra các loại vấn đề tương tự với đăng ký hình ảnh như các camera R, G và B riêng biệt giả định (thị sai, hình ảnh không nhất quán giữa các kênh). Và mục tiêu là tăng độ nhạy sáng thấp hơn là độ phân giải màu. Bởi vì độ phân giải màu sắc không phải là vấn đề và không ai quan tâm đến nó.


5

Nhiều máy quay video đã làm đúng những gì bạn đề xuất. Nhưng họ sử dụng một hệ thống phân tách chùm tia giữa ống kính và các cảm biến, về cơ bản sẽ cắt lượng ánh sáng tới từng cảm biến theo tỷ lệ gần giống như sử dụng bộ lọc đeo mặt nạ của Bayer.

Vấn đề lớn nhất khi thực hiện với ba ống kính khác nhau trong khi vẫn duy trì độ chính xác rất cao là độ phức tạp và chi phí tạo ra các bộ ống kính phù hợp hoàn hảo. Điều này không phải là không thể giải quyết được, nhưng giải pháp có thể tốn kém và phức tạp hơn về mặt tính toán so với việc sử dụng mặt nạ của Bayer và khử màu.

Thay vì dùng đến việc khử màu, điều gì sẽ xảy ra nếu chúng ta tạo ra một hệ thống camera có 3 camera, mỗi camera chỉ chịu trách nhiệm cho một RGB? Không cần khử trùng nữa. Nó sẽ không cải thiện đáng kể chất lượng của hình ảnh cuối cùng vì không còn xấp xỉ màu nữa chứ?

Mỗi trong số ba máy ảnh đó sẽ cần một bộ lọc một màu ở phía trước để sử dụng các khác biệt so sánh với nhau để tạo ra hình ảnh "màu". Điều này có nghĩa là cùng một tỷ lệ ánh sáng được hấp thụ / phản xạ bởi các bộ lọc nhỏ trên cảm biến đeo mặt nạ của Bayer vẫn sẽ bị hấp thụ / phản xạ bởi các bộ lọc màu đơn lớn ở phía trước của ba cảm biến độc lập. Nếu không có bộ lọc màu khác nhau trước mỗi bộ lọc, tất cả chúng sẽ là các máy ảnh đơn sắc giống hệt nhau tạo ra cùng một dữ liệu.

Đây là điều về "màu sắc": không có thứ gọi là "màu sắc" trong tự nhiên. Ánh sáng chỉ có bước sóng. Các nguồn bức xạ điện từ ở hai đầu của phổ nhìn thấy cũng có bước sóng. Sự khác biệt duy nhất giữa ánh sáng khả kiến ​​và các dạng bức xạ điện từ khác, chẳng hạn như sóng vô tuyến, là mắt chúng ta phản ứng hóa học với các bước sóng nhất định của bức xạ điện từ và không phản ứng với các bước sóng khác . Ngoài ra, không có gì khác biệt đáng kể giữa "ánh sáng" và "sóng vô tuyến" hoặc "tia X". Không có gì.

Các hình nón trong võng mạc của chúng tôi được tạo thành từ ba kích cỡ khác nhau, mỗi kích thước phản ứng nhanh nhất với một bước sóng khác nhau của bức xạ điện từ. Trong trường hợp hình nón "đỏ" và "xanh" của chúng ta, có rất ít sự khác biệt trong phản ứng với hầu hết các bước sóng ánh sáng. Nhưng bằng cách so sánh sự khác biệt và có phản ứng cao hơn, hình nón màu đỏ hoặc màu xanh lá cây, bộ não của chúng ta có thể nội suy bao xa và theo hướng nào về phía đỏ hoặc hướng về màu xanh, nguồn sáng mạnh nhất.

Màu sắc là một cấu trúc của hệ thống não mắt của chúng ta, so sánh phản ứng tương đối của ba hình nón có kích thước khác nhau trong võng mạc của chúng ta và tạo ra một nhận thức về "màu sắc" dựa trên số lượng khác nhau mà mỗi bộ hình nón phản ứng với cùng một ánh sáng. Có nhiều màu sắc con người nhận thấy không thể được tạo ra bởi một bước sóng ánh sáng. "Magenta", chẳng hạn, là những gì bộ não của chúng ta tạo ra khi chúng ta đồng thời tiếp xúc với ánh sáng đỏ ở một đầu của quang phổ nhìn thấy và ánh sáng xanh ở đầu kia của quang phổ nhìn thấy được.


vâng, thật tốt khi lưu ý rằng các hệ thống tương tự đã tồn tại. nhưng "vấn đề lớn nhất" mà bạn đề cập không còn là vấn đề thực sự nữa, bây giờ khi mọi thứ có thể dễ dàng sửa chữa trong phần mềm. được chứng minh bằng các điện thoại như P20 pro, hay thậm chí là "Light 16" xa hoa hơn. trên thực tế, ống kính phù hợp hoàn hảo thậm chí không thể tồn tại bởi vì luôn có thị sai và những hình ảnh như vậy sẽ phải được xử lý rất nhiều mỗi lần.
szulat

3
Và một vấn đề khác trong ý nghĩa của điện thoại sẽ là kích thước. Hệ thống phân chia như vậy đòi hỏi một số độ sâu thường không có sẵn trong điện thoại
Romeo Ninov

2
Vấn đề độ sâu cho bộ tách chùm nên đi mà không nói. Nhưng điểm chính là bộ tách chùm tia cũng làm giảm lượng ánh sáng chiếu tới từng cảm biến. Vì vậy, số lượng ảnh làm cho nó giảm xuống một pixel hoặc độ nhạy tổng thể của hệ thống với một ống kính / ba hệ thống cảm biến không tăng so với cảm biến đeo mặt nạ của Bayer.
Michael C

3

Công nghệ này tồn tại dưới dạng camera 3ccd / 3 chip . Sẽ có một số vấn đề với việc lắp lăng kính vào không gian có sẵn trong điện thoại. Tôi nghĩ rằng bạn sẽ kết thúc với thứ gì đó dày nhất là iPhone gen1 nhưng có thể cần một cái gì đó gần với độ dày của cỗ bài. Tôi cho rằng thị trường có thể đủ mạnh để hỗ trợ một thiết bị như vậy. Có đủ tiền lãi cho các đơn đặt hàng trước để bán hết cho hydro $ 1200 . Tôi biết tôi gần như đã mua một cái.

Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.