Tại sao các cảm biến máy ảnh kỹ thuật số không thể phơi sáng từng photosite riêng lẻ?

Tại sao cảm biến máy ảnh không thể hoạt động theo cách mà mắt người có thể? Ý tôi là, tại sao một phần nhất định của hình ảnh phải bị quá / thiếu sáng nếu chúng ta bù cho các vùng tối và sáng tương ứng khi chụp ảnh và quyết định cài đặt khẩu độ và tốc độ màn trập.

Tôi hiểu rằng ánh sáng đi vào phụ thuộc vào khẩu độ và tốc độ màn trập nhưng vì máy ảnh DSLR là kỹ thuật số, không thể có một công nghệ cho phép mỗi tế bào cảm biến sử dụng đo sáng của chính nó và do đó chúng sẽ không phải chịu cùng một lượng về ánh sáng nhưng tùy thuộc vào đo sáng, CPU của máy ảnh sẽ tắt một số tế bào nhất định để không làm quá mức chúng.

Tôi hy vọng tôi không nói những điều vô nghĩa. Nó chắc chắn với tôi như một ý tưởng hợp lý.

Ai quyết định pixel nào nhận được bao nhiêu? Phần lớn những gì diễn ra trong hệ thống thị giác của con người xảy ra ở vỏ não, chứ không phải mắt và phụ thuộc vào những gì chúng ta nghĩ là quan trọng để xem dựa trên sự kết hợp giữa quyết định trí tuệ và ổ đĩa theo bản năng (có khả năng ghi đè) để tự bảo vệ . Mặc dù nó đúng theo một nghĩa mà chúng ta thấy những gì ở đó, nhưng nó cũng đúng như vậy theo một nghĩa khác mà chúng ta thấy những gì chúng ta muốn (hoặc cần) nhìn thấy.

Nó sẽ gần nhưtầm thường để tạo ra một cảm biến mật độ pixel tương đối thấp với các ảnh lớn cho phép phạm vi động cực lớn và (giả sử công nghệ loại CCD, vì công nghệ cảm biến CMOS hiện tại không thể hoạt động theo cách này) ngoài màn trập điện tử mỗi pixel màn trập cơ. Vì vậy, những gì sẽ có được bạn? Một hình ảnh phẳng có nhiều độ sâu bit và độ tương phản cục bộ rất thấp (nếu toàn bộ độ sâu bit được chuyển đổi như là để hiển thị hoặc in) cùng với một số pixel gần như, nhưng không hoàn toàn, được cắt bằng độ bão hòa cảm biến ( mặc dù trên thực tế, chúng bị cắt xén bởi hành động giới hạn của màn trập điện tử ngay trước điểm bão hòa). Tuy nhiên, hãy nói rằng để tranh luận rằng cảm biến này và máy tính liên quan của nó có thể ghi lại dữ liệu cắt (lý do tại sao nó dừng ghi ở cảm biến đó, có thể đơn giản như ghi lại thời lượng phơi sáng thực tế tại trang web đó). Điều đó sẽ cho phép các thiết bị điện tử của máy ảnh tái tạo lại những con số sẽ có nếu photosite có thể ở lại trong trò chơi cho đến khi tiếng còi cuối cùng. Vì vậy, bây giờ chúng ta có một hình ảnh phẳng hơn với độ sâu bit lớn hơn. Và bạn vẽ đường này ở đâu? 32 bit? 64?

Bây giờ đến phần khó khăn - biến dữ liệu hình ảnh phẳng, động cao này thành một bức ảnh hấp dẫn. Cách tiếp cận đơn giản nhất là lấy tám bit (hoặc bất kể độ sâu bit đầu ra sẽ là gì) đại diện cho hình ảnh đo sáng chính và loại bỏ phần còn lại. Có lẽ sẽ không khó khăn hơn nhiều khi điều chỉnh dữ liệu theo đường cong S, nén các bóng tối và / hoặc các điểm nổi bật - ít nhiều là những gì các thiết lập phạm vi động mở rộng trên các máy ảnh mới hơn đã làm. Nhưng chỉ có rất nhiều bit đầu ra có sẵn trên mỗi pixel và hầu hết các giá trị nổi bật mở rộng sẽ được làm tròn thành màu trắng (hoặc ít nhất là hỗn hợp 254 và 255). Vì vậy, bạn đã đạt được rất ít bằng cách làm phức tạp hệ thống.

Nhưng vẫn còn một tùy chọn mở - ánh xạ vùng chọn lọc. Tại sao không mang bầu trời, nói, hoặc chỉ những đám mây trên bầu trời đó, giảm giá trị để nó có thể giữ lại chi tiết, trong khi vẫn giữ được độ tương phản mong muốn ở phía trước? Đây là nơi vấn đề khó khăn sống. Điều gì quan trọng? Máy ảnh có nên quyết định cho bạn? Nếu máy ảnh quyết định, thì chúng ta sẽ có một bước tiến lớn về tầm nhìn máy móc và trí tuệ nhân tạo để đi đầu tiên. Nếu không, thì bạn có thực sự muốn đưa ra mức độ quyết định hậu kỳ này cho mỗi bức ảnh bạn chụp không? Vâng, tôi biết sẽ có một số chuyên gia công nghệ hình ảnh thực sự muốn trở thành người thực hành đó, nhưng chúng tôi có thể chấp nhận rằng đó là một tình trạng bệnh lý và các chuyên gia quan tâm đến thời gian quay vòng và đại đa số người tiêu dùng phát sinh Bạn có thích điều đó không?

Vì vậy, bạn cần một cảm biến mới, các thiết bị điện tử phức tạp hơn rất nhiều xung quanh cảm biến, một tệp hình ảnh khổng lồ cho dữ liệu thô được chiếu (cần thẻ lớn hơn và thời gian ghi dài hơn / tốc độ khung hình chậm hơn), tất cả để thu thập dữ liệu sẽ bị loại bỏ nhiều nhất đôi khi bạn có thể thỉnh thoảng chụp ảnh HDR một lần cần nhiều sự can thiệp của con người vào bài đăng (hoặc bước nhảy vọt lớn trong MV / AI). Bạn có thể có thể bán một vài trong số này, nhưng tôi hy vọng thị trường sẽ trông rất giống thị trường định dạng trung bình hơn so với thị trường 35mm / APS-C hiện tại. Đó là, bạn sẽ bán cho một nhóm các nhiếp ảnh gia giỏi, những người thực sự cần khả năng vì lý do nghề nghiệp hoặc để thực hiện tầm nhìn mỹ thuật của họ, và một vài người chỉ cần một cú hích đủ lớn để xử lý hậu kỳ để trả tiền thuế công nghệ.

Có một điều mà chỉ một vài người đề cập đến, và đó là một cảnh sẽ không giống nhau nếu các khu vực khác nhau được tiếp xúc khác nhau với các khu vực khác. Một cảnh trông giống như vậy bởi vì có sự thay đổi. Đúng, đó có thể là một cách để lưu các điểm nổi bật và tăng bóng, nhưng cuối cùng, điều bạn thực sự muốn là một dải động lớn hơn có thể chụp được dải động trong cảnh bằng một cài đặt phơi sáng.

Đôi mắt của chúng tôi là tuyệt vời trong việc cung cấp cho chúng tôi một phạm vi năng động lớn hơn nhiều so với công nghệ máy ảnh tiêu dùng hiện tại. Tôi có thể nhìn xung quanh một cách nhanh chóng và nhận biết chi tiết chính xác trong các khu vực bị bóng và các khu vực có ánh sáng mặt trời cùng một lúc.

Một trong những cách mà các nhà sản xuất máy ảnh đang khắc phục vấn đề này là sử dụng cả pixel có độ nhạy cao và thấp trong một cảm biến sau đó kết hợp kết quả trên mỗi pixel. Các máy quay phim kỹ thuật số mới hơn của RED có một ma trận các pixel cảm biến độ nhạy bình thường và độ nhạy thấp gọi là HDRx. Các pixel cảm biến nhỏ, độ nhạy thấp được kết hợp thành các điểm sáng của các pixel sáng để tăng phạm vi động.

Đầu tiên, phạm vi năng động của mắt người không phải là tuyệt vời. Nó chỉ có vẻ tốt hơn các máy ảnh cao cấp hiện tại của chúng tôi, bởi vì bộ não của chúng tôi liên tục hợp nhất các "ảnh chụp nhanh" được thực hiện bằng các cài đặt phơi sáng khác nhau. Mắt chúng ta không thể đăng ký đồng thời các vật cực sáng và cực tối (mặc dù não có thể). Thực sự kỳ diệu của xử lý hình ảnh, nhưng chỉ có thiết bị quang học / hình ảnh tầm thường.

Có một số đề xuất / nguyên mẫu cho thấy phạm vi động của cảm biến hình ảnh có thể được cải thiện đáng kể như thế nào:

• Camera Modulo của MIT

  mỗi photodiode đặt lại trạng thái của nó khi đạt mức sạc tối đa và ghi nhớ số lần xảy ra

• Cảm biến hình ảnh Quanta của Eric Fossum

  sử dụng các pixel đếm photon nhỏ hơn và nhanh hơn nhiều thay vì các thùng chứa điện tích "tương tự" + bộ chuyển đổi A / D

Bạn đang thiếu một số vật lý cơ bản ở đây. Vấn đề chính là cảnh thực có tỷ lệ tương phản lớn. Đôi mắt của chúng ta đã tiến hóa để đối phó với điều đó bằng cách cảm nhận các mức độ ánh sáng theo logarit thay vì tuyến tính. Thật không may, công nghệ cảm biến hiện tại vốn đã đo ánh sáng tuyến tính. Hay nói chính xác hơn, nhiễu được cố định trên thang ánh sáng tuyến tính.

Với công nghệ hiện tại, giới hạn tương phản tối đa về cơ bản là một chức năng của mức độ nhiễu. Để tranh luận, chúng ta hãy sử dụng thang ánh sáng 0-1000, nghĩa là một cảm biến có thể cho bạn biết mức độ ánh sáng từ 0 đến 1000. Do đó, tỷ lệ cao nhất mà nó có thể đo được là bao nhiêu? Nó phụ thuộc vào mức độ tiếng ồn. Mức độ tiếng ồn về cơ bản là những gì bạn nhận được thay vì màu đen thực sự, sẽ là 0 trong ví dụ này. Một cách thô bạo, nếu độ ồn là 2, thì bạn sẽ có được tỷ lệ độ sáng khoảng 1000: 2 = 500: 1. Miễn là cảnh không vượt quá điều đó (hầu như tất cả sẽ như vậy, trong thực tế 500: 1 không nhiều như vậy), bạn có thể thực hiện bất kỳ ánh xạ logarit nào bạn muốn sau này.

Vì vậy, chiến lược hiện tại, cho rằng các cảm biến hiện tại vốn đã tuyến tính, là cố gắng tăng tỷ lệ tín hiệu thành nhiễu và cung cấp đủ bit để nhiễu lượng tử hóa nằm dưới mức nhiễu ngẫu nhiên vốn có. Cảm biến có độ nhiễu càng thấp, các cảnh phạm vi động rộng hơn mà bạn có thể chụp mà không cần cắt các điểm sáng hoặc làm mờ bóng tối.

Có một công nghệ cảm biến hoàn toàn khác vốn đã đo được nhật ký độ sáng. Đôi khi chúng được gọi là cảm biến "CMOS", vì chúng rất giống với RAM động CMOS với nắp được tháo ra (tôi quá đơn giản, nhưng thử nghiệm đầu tiên trong phòng thí nghiệm đã thực sự được thực hiện theo cách này). Bạn nhận được một điện áp tỷ lệ thuận với nhật ký của ánh sáng, nhưng hiện tại chúng có tín hiệu thấp hơn nhiều so với tỷ lệ nhiễu. Mitsubishi là người đầu tiên thương mại hóa các cảm biến này, nhưng chúng chưa đủ tốt cho các máy ảnh cao cấp.

Không có nghi ngờ gì sẽ là những tiến bộ trên nhiều mặt trận, và tôi chắc chắn rằng chúng ta sẽ thấy tiến bộ ổn định trong nhiều năm tới. Tuy nhiên, có những lý do chính đáng tại sao mọi thứ vẫn như hiện tại, không chỉ vì không ai có thể tưởng tượng điều gì tốt hơn. Nếu ai đó có một công nghệ có thể đo lường một phạm vi động rộng một cách chính xác và với mức giá mà mọi người sẵn sàng trả tiền, họ sẽ trở nên giàu có.

Tôi tin rằng nó quá phức tạp.

Về cơ bản sẽ có hai cách tiếp cận có thể; mỗi bộ cảm biến có thể theo dõi thời gian và tự tắt hoặc CPU có thể theo dõi dữ liệu từ bộ cảm biến và tắt chúng đi.

Đối với cách tiếp cận đầu tiên, điều đó có nghĩa là mỗi bộ cảm biến sẽ cần tín hiệu đồng hồ và bộ đếm, để nó có thể theo dõi thời gian cần thiết cho đến khi nó tự tắt. Đó là rất nhiều mạch để phù hợp với chip, và cần nhiều điện hơn để chạy nó, làm tăng nhiễu tín hiệu. Có lẽ nhiều đến mức phạm vi động tăng lên sẽ là vô nghĩa.

Đối với cách tiếp cận thứ hai, CPU sẽ cần phải đọc tất cả dữ liệu từ cảm biến khoảng 1/10000 giây. Đó là nhanh hơn khoảng 1000 lần so với công nghệ hiện tại có thể đạt được, vì vậy đó là thập kỷ trong tương lai, nếu có thể.

Ngoài ra, có một số biến chứng khác với giải pháp như vậy, như vậy mỗi pixel sẽ có thời gian phơi sáng khác nhau. Bạn sẽ nhận được những cổ vật khá kỳ lạ nếu bạn chụp bất cứ thứ gì di chuyển.

Mặc dù đúng là máy ảnh DSLR là kỹ thuật số, nhưng ống kính thì không. Tất cả các cảm biến tế bào sẽ phải chịu cùng một khẩu độ cho dù thân máy DSLR có thông minh đến mức nào, bởi vì khẩu độ được đặt ở ống kính. Vì vậy, tôi nghĩ rằng việc thay đổi khẩu độ cho mỗi tế bào cảm biến là hết, ít nhất là với công nghệ ống kính hiện tại.

Theo tốc độ màn trập, được điều khiển bởi máy ảnh, nhưng nếu chúng ta tưởng tượng một máy ảnh có thể thay đổi tốc độ màn trập trên các phần khác nhau của hình ảnh để kiểm soát phơi sáng trên / dưới thì bạn sẽ bị mờ chuyển động không đều. Các phần tối hơn của cảnh sẽ phải được phơi sáng lâu hơn và sẽ mờ hơn so với các phần sáng hơn. Tôi nghĩ rằng một giải pháp thay đổi tốc độ màn trập sẽ không hoạt động vì lý do này.

Vì vậy, điều duy nhất còn lại là ISO. Thay đổi ISO có nghĩa là mức độ nhiễu khác nhau trong các phần khác nhau của hình ảnh. Điều này không có vẻ quá tệ, vì bạn sẽ nhận được một dải động tăng lên nhiều. Tôi không biết nhiều về cách các cảm biến hoạt động, nhưng tôi sẽ tưởng tượng rằng cài đặt ISO được triển khai trong các cảm biến như một loại "điều chỉnh" theo một tập hợp con cụ thể của thang độ sáng. Đối với tôi nghe có vẻ rất tốn kém khi có đo sáng độc lập và điều khiển ISO ở mọi tế bào cảm biến, nhưng có lẽ hình ảnh có thể được chia thành các khu vực và mỗi khu vực được đo riêng. Sau đó, máy ảnh sẽ phải có một số loại thuật toán để pha trộn các khu vực phơi sáng khác nhau, loại "enblend" sẽ làm gì khi nó lắp ráp một bức tranh toàn cảnh trong đó mỗi bức ảnh có độ phơi sáng khác nhau. Điều này nghe có vẻ với tôi.

Một lựa chọn khác là có một camera có nhiều cảm biến, mỗi cảm biến được cấu hình theo một ISO khác nhau. Trong công nghệ video có 3 camera CCD, trong đó mỗi camera ghi lại một màu đỏ, xanh lá cây và xanh dương. Tôi không hiểu tại sao không thể có một khái niệm tương tự cho máy ảnh DSLR, trong đó nhiều cảm biến chụp ảnh ở các mức ISO khác nhau, tạo ra một bức ảnh HDR.

Tôi không thể tìm thấy thông tin tại thời điểm này, nhưng tôi dường như nhớ lại việc đọc một mô tả về một công nghệ tương tự. Ý tưởng đại khái là thế này: điều duy nhất cần được quan tâm là những điểm nổi bật quá mức. Nếu bạn có thể ngăn chặn những điều đó, các vùng tối có thể được chăm sóc bằng cách tăng phơi sáng cho toàn bộ bức tranh. Vì vậy, để ngăn chặn các điểm nổi bật bị che khuất, mỗi cảm biến sẽ theo dõi ánh sáng tích lũy của nó và nếu gần đến mức tối đa, cảm biến sẽ tắt. Điều đó tự nó sẽ không cải thiện bất cứ điều gì, nó thực sự sẽ làm cho vấn đề tồi tệ hơn, thay vì có một vài điểm nổi bật màu trắng sáng, người ta sẽ kết thúc với những điểm nổi bật tối hơn một chút. Vì vậy, thay vì chỉ tắt, tế bào cũng sẽ tắt các tế bào trong một số khu phố, nơi sẽ bảo tồn một số chi tiết trong các khu vực sáng.

Như tôi đã viết, tôi không thể tìm thấy văn bản bây giờ, nhưng bằng cách nào đó nó trong tâm trí tôi liên quan đến máy ảnh kỹ thuật số HP.

Nó có thể được thực hiện bằng toán học (về mặt lý thuyết): http://citeseerx.ist.psu.edu/viewdoc/doad?doi=10.1.1.64.9692&rep=rep1&type=pdf