Tại sao máy ảnh không ghi lại dữ liệu ánh sáng trong toàn bộ màn trập?

Xin lỗi nếu tiêu đề câu hỏi khó hiểu, tôi không biết cách tốt nhất để nói từ này, vì vậy hãy thoải mái thay đổi nó nếu bạn có thể nghĩ ra điều gì đó tốt hơn. Tôi đã học được cửa chớp điện tử có thể chụp ảnh cùng một lúc thay vì sử dụng màn trập cơ học sử dụng rèm. Điều này đã cho tôi một ý tưởng. Giả sử một ảnh đã cho sẽ được phơi sáng chính xác vào 1/200 giây, nhưng phạm vi động của ảnh quá rộng để máy ảnh có thể chụp.

Tại sao máy ảnh có màn trập điện tử liên tục chụp và ghi dữ liệu ánh sáng từ một hình ảnh trong suốt toàn bộ thời gian của màn trập thay vì chỉ thu thập dữ liệu ánh sáng và cuối cùng lưu trữ dưới dạng một hình ảnh? Nó sẽ giống như nhìn thấy một căn phòng bắt đầu từ bóng tối và tăng dần về độ sáng. Máy ảnh sau đó có thể chụp toàn bộ dải động của hình ảnh và biên dịch dữ liệu thành hình ảnh với toàn bộ dải động chỉ trong một ảnh thay vì cần nhiều mức phơi sáng cho HDR. Điều này cũng sẽ cho phép điều chỉnh phơi sáng trong xử lý hậu kỳ mà không làm mất thông tin vì máy ảnh đã lưu trữ dữ liệu ánh sáng từ toàn bộ phạm vi phơi sáng. Tại sao ý tưởng này hiện không được thực hiện?

Nó đã được thực hiện trong tia X.

Các TimePix là một máy dò 256x256. Nó có ba chế độ hoạt động :

• "tổng năng lượng trong pixel này thông thường kể từ khi chúng tôi bắt đầu tích hợp";
• Ngưỡng thời gian (TOT): chiều cao xung được phát hiện được ghi lại trong bộ đếm pixel ở chế độ TOT; và
• Thời gian đến (TOA): chế độ TOA đo thời gian giữa kích hoạt và đến của bức xạ vào từng pixel.

Công nghệ này đã được điều chỉnh cho phù hợp với hình ảnh quang học . Chế độ TOT được mô tả tốt nhất là hoạt động giống như một Wilkinson ADC - chỉ số đọc tương ứng với tổng thời gian mà phí tích lũy ở hoặc trên ngưỡng. Trừ đi điều này từ thời gian màn trập cho bạn biết mất bao lâu để pixel này bão hòa. Do đó, đối với mỗi pixel, bạn có thể vẽ đường từ 0 đến bão hòa theo thời gian kể từ khi màn trập mở. Vì vậy, bạn có thể chọn bất kỳ thời gian màn trập ảo nào bạn muốn (miễn là tất cả các pixel bão hòa) và sử dụng từng dòng của pixel để ước tính ánh sáng tích lũy của nó theo thời gian màn trập ảo đó.

Việc thực hiện trực tiếp hơn ý tưởng của bạn đã được thực hiện trong CMOS. Mỗi pixel ghi lại và báo cáo thời gian của nó để đạt đến một ngưỡng phí. (Thay vì ADC các pixel không bão hòa về thời gian, ngưỡng được quét, do đó, mọi pixel cuối cùng đều vượt quá ngưỡng đủ thấp.)

Tôi nhớ lại rằng Hệ thống pixel kỹ thuật số Pixim ( ví dụ ) cũng đã thực hiện việc này bằng cách sử dụng ADC trên mỗi pixel và đọc một cách không cấu trúc nhiều lần tích lũy (để có được độ dốc tích lũy). Nhưng tôi không thể tìm thấy bằng chứng hiện tại.

Bạn đang thiếu một số vấn đề rõ ràng với ý tưởng này.

Bạn muốn "liên tục" thu thập dữ liệu ánh sáng, nhưng điều đó đã được thực hiện.

Rõ ràng bạn có nghĩa là có sẵn một loạt hình ảnh sau khi phơi sáng, mỗi lần phơi sáng từ lúc bắt đầu đến khi tiến lên cùng với toàn bộ phơi sáng. Các hình ảnh sau này sẽ có nhiều chi tiết hơn trong các vùng bóng tối, nhưng có thể có các vùng sáng bị cắt bớt. Phần sụn máy ảnh sau đó có thể lắp ráp một hình ảnh duy nhất với dải động lớn hơn bất kỳ hình ảnh riêng lẻ nào.

Hai vấn đề rõ ràng với điều này là:

• làm thế nào để đọc hết hàng triệu pixel nhanh như vậy và
• nơi để đặt kết quả.

Công nghệ không có sẵn ngày hôm nay để làm điều đó.

Bạn đề xuất "Hoặc mỗi khi một photon chạm vào pixel trên cảm biến sẽ cho nó dấu thời gian" - đây sẽ là một lượng dữ liệu khổng lồ . Một tìm kiếm nhanh cho thấy rằng mỗi pixel - hoặc cảm biến - trong một máy ảnh kỹ thuật số bão hòa ở một nơi nào đó trong khoảng từ 20.000 đến 100.000 photon. Hãy nói rằng chúng tôi hài lòng với máy ảnh 12 megapixel và ổn với độ nhạy thấp hơn ở đây. Đó vẫn là một phần tư nghìn tỷ điểm dữ liệu. Nếu chúng ta đang nói về một máy ảnh 50 megapixel với nhiều dải động, có thể là năm nghìn tỷ . Ngay cả khi chúng ta tạo dấu thời gian của mình chỉ là hai byte (mỗi byte chỉ cung cấp 256 giá trị, do đó không đủ để làm cho tất cả giá trị này), đó là ... rất nhiều dữ liệu cho một hình ảnh. Ý tôi là, nghĩa đen là terabyte.

Điều đó rõ ràng hiện không khả thi về mặt đường truyền dữ liệu với công nghệ ngày nay, chứ đừng nói đến việc đặt nó ở đâu đó .

Những gì bạn đang yêu cầu, lấy mẫu ánh sáng liên tục, về mặt lý thuyết là có thể nhưng thực tế quá đắt. Có thể ước tính nó với tỷ lệ lấy mẫu rất cao. Điều này có thể được thực hiện với một máy quay video tốc độ cao (slo-mo) với tốc độ khung hình rất cao. Sau đó, đầu ra có thể được xử lý hậu kỳ để tạo ra một hình ảnh.

Một tìm kiếm nhanh cho thấy như Phantom này

Những thứ này hoạt động bằng cách có các cảm biến nhanh và có thể di chuyển và lưu trữ lượng dữ liệu khổng lồ. Cố gắng lấy mẫu liên tục, hoặc tốc độ lấy mẫu đủ nhanh mà nó trông liên tục, sẽ phóng đại vấn đề này và chi phí.

Màn trập điện tử là một bước lên. Bây giờ chúng tôi có thể lấy tất cả các pixel cùng một lúc, sau đó bảo họ dừng thu thập (nghĩa là lấy mẫu từng pixel) và đo thông tin cho từng màu của từng pixel, chụp dữ liệu về một hình ảnh được chụp đồng thời.

Điều này đã không được sử dụng là trường hợp.

Tuy nhiên, chúng ta vẫn phải thực hiện một số hack cho khung cảnh HDR, tuy nhiên, nó không tệ như trước đây, một lần nữa do những tiến bộ trong công nghệ cảm biến. Bây giờ chúng ta có độ nhạy và phạm vi động lớn hơn, do đó, một bức ảnh được sử dụng để chụp hai khung hình và xử lý hậu kỳ có thể được chụp trong máy ảnh vì cảm biến có thể đo cả mức cao và mức thấp của một số hình ảnh nhất định. Trên thực tế, các cảm biến đã trở nên tốt đến mức bạn sẽ hiếm khi gặp một tình huống đòi hỏi nhiều hơn ba lần chụp khung để có được toàn bộ dải động. Các cảm biến cũ hơn có thể cần 5 hoặc nhiều ảnh chụp trong ngoặc.

Ý tưởng của bạn, theo tôi hiểu, đòi hỏi phải đo liên tục trên cơ sở mỗi pixel.

Trong khi đây là một ý tưởng tuyệt vời, việc thực hiện vẫn là một vấn đề. Máy ảnh được thiết kế để truyền dữ liệu từ cảm biến. Không có một dòng cho mỗi pixel cho bộ xử lý, thay vào đó, cảm biến hình ảnh có logic cho phép bộ xử lý đọc giá trị cho một pixel hoặc nhiều pixel cùng một lúc nhưng không phải tất cả cùng một lúc. Nó phải lặp qua tất cả các pixel và điều này cần có thời gian.

Chúng tôi không thể khắc phục điều này bởi vì chúng tôi sẽ không thể có 50 triệu dây đi giữa cảm biến và bộ xử lý. Chúng ta có thể tích hợp nhiều hơn quá trình xử lý vào cảm biến, nhưng cảm biến là chuyên dụng để làm một việc, và làm tốt điều đó. Thêm mạch kỹ thuật số sẽ dẫn đến nhiễu nhiều hơn và có thể các pixel nhỏ hơn ngay cả khi sử dụng IC 3D. Hơn nữa, các quy trình được sử dụng để tạo ra silicon nhạy cảm với ánh sáng tốt khác với các quy trình được sử dụng để tạo ra silicon kỹ thuật số tốt, công suất thấp, xử lý nhanh.

Tất cả những điều này là trở ngại, tuy nhiên đối với một số ứng dụng chuyên dụng, chúng đã được sử dụng. Thông thường trong khu vực khoa học và công nghiệp.

Nhưng điều đó không có nghĩa là chúng ta bị bỏ rơi trong giá lạnh. Khi các cảm biến được cải thiện, đặc biệt là trong phạm vi động, bạn sẽ thấy rằng cuối cùng bạn sẽ nhận được "HDR" trong máy ảnh không có dấu ngoặc - các cảm biến sẽ chỉ đủ nhạy để có được phạm vi đầy đủ, và ống kính và thân máy sẽ tốt đủ để ngăn chặn chảy máu, phản xạ và các vấn đề khác ngăn cảm biến đạt được khả năng đầy đủ của nó.

Vì vậy, trong khi ý tưởng không tệ, nó phức tạp, tốn kém và chúng tôi vẫn có chỗ để phát triển trong các lĩnh vực có thể ứng biến khác để phương pháp của bạn thậm chí không cần thiết.

Câu trả lời thực sự là giá cả. Nếu bạn sẵn sàng trả nhiều hơn 10 - 100 lần cho máy ảnh của mình, bạn có thể nhận được một số cảm biến thực sự lạ mắt.

Kết quả mong muốn mà bạn mô tả là dải động cao hơn cho mỗi pixel. Có một số cách để làm điều này. Cách rõ ràng là để có được cảm biến ADC và CMOS tốt hơn, nhưng điều đó tốn tiền và không nằm trong mạch của những gì bạn đang nghĩ. Cách tiếp cận tiếp theo sẽ là giảm phí trong một quá trình liên tục , tương tự. Điều này sẽ cho phép bạn có được một hàm liên tục mô tả có bao nhiêu photon chạm vào pixel. Tuy nhiên, loại phần cứng tương tự này là rất khó khăn. Trong máy ảnh của bạn, tất cả dữ liệu pixel được kết hợp thông qua một số lượng ADC khá nhỏ. Một phần vẻ đẹp của các cảm biến của chúng tôi là làm thế nào chúng có thể làm điều đó, mang lại phần cứng rẻ hơn với hàng trăm yếu tố. Để làm điều đó liên tục sẽ đòi hỏi mỗi pixel phải có một lượng phần cứng tương tự được điều chỉnh tốt.

Điều này đưa chúng ta đến phương pháp lấy mẫu kỹ thuật số. Bạn đã đề cập đến ý tưởng thu thập dữ liệu cứ sau 1/1000 giây, điều đó cho tôi thấy rằng bạn thực sự không nghĩ đến một quy trình liên tục , giống như một quy trình lấy mẫu trong đó bạn có được nhiều điểm dữ liệu cho các lát cắt thời gian mỏng và khâu chúng lại cùng với nhau. Như đã đề cập trong các câu trả lời khác, HDR + trên một số điện thoại thực hiện chính xác điều này. Nó chụp một vài bức ảnh liên tiếp và trộn chúng để có được hiệu ứng HDR. Để làm như vậy, rõ ràng là chúng có băng thông ADC cao hơn nhiều so với bạn cần cho một hình ảnh, nhưng chúng sẽ không cần nhiều như vậy để xử lý liên tục mọi pixel.

Từ âm thanh của nó, bạn muốn từng pixel tự lấy mẫu lần này. Để làm điều này, trước tiên chúng ta cần phải đột phá vào thiết kế mạch tích hợp 3d. Bạn không muốn bất kỳ phần cứng nào trên mỗi pixel chiếm không gian trên bề mặt cảm biến, hoặc bạn sẽ gặp rắc rối với việc có quá ít pixel hoặc mất một loạt ánh sáng khi nó rơi vào các bộ phận không có cảm biến của IC. Cách duy nhất để thực hiện điều đó là xây dựng chip 3d. Đây thực sự là một công nghệ trong tương lai. Chúng ta đang bắt đầu khám phá cách làm điều này, nhưng nó không dễ dàng. Nếu bạn có hàng trăm ngàn đô la để dự phòng cho máy ảnh của mình, chúng tôi có thể thực hiện loại điều này.

Cuối cùng, có vẻ như bạn muốn đầu ra của mỗi pixel là "số dấu phẩy động" thay vì "số nguyên". Điều đó có nghĩa là mỗi pixel sẽ có một giá trị cho số lượng photon đạt được và một số mũ về cơ bản cho biết cần nhân bao nhiêu giá trị đó để có được số lượng photon thực tế. Khi pixel bị lộ, nó sẽ lấy mẫu ở tốc độ rất cao (có thể là 5000Hz) và nếu số lượng photon quá lớn, nó sẽ lấy số mũ lớn hơn.

Bây giờ câu hỏi thực sự là bạn nhận được bao nhiêu lợi ích từ việc này? Hãy nhớ rằng, phương pháp HDR + là công nghệ hiện tại, dành cho điện thoại di động trị giá hàng trăm đô la. Bạn đang nói về việc sử dụng công nghệ tiên tiến với dung sai đòi hỏi khắt khe hơn nhiều so với bất kỳ máy ảnh nào ngoài kia. Điều đó sẽ đến với chi phí. Nó đã mua gì cho bạn? Những thiết bị một pixel trong màn trập thực sự đã mua cho bạn cái gì mà công nghệ CMOS giá rẻ mà Google đang đẩy không? Câu trả lời là không nhiều. Có thể có một vài trường hợp góc nhỏ tuổi teen, đây là một cách tiếp cận ưa thích, nhưng với một mức giá cao hơn đáng kể so với công nghệ hiện có, đó là một thương mại không thông minh.

Một cái gì đó rất giống đang được thực hiện. Nó vẫn hoạt động theo các khung riêng biệt, bởi vì có những lợi thế đáng kể của kỹ thuật số hơn là một cách tiếp cận tương tự. Nhưng phương pháp tiếp cận tồn tại với độ phân giải thời gian trong pico giây.

https://www.ted.com/talks/ramesh_raskar_a_camera_that_takes_one_trillion_frames_per_second

Tại sao máy ảnh có màn trập điện tử liên tục chụp và ghi dữ liệu ánh sáng từ một hình ảnh trong suốt toàn bộ thời gian của màn trập thay vì chỉ thu thập dữ liệu ánh sáng và cuối cùng lưu trữ dưới dạng một hình ảnh?

Điều tôi nghĩ rằng bạn thực sự đề xuất ở đây là mô tả một hình ảnh không phải là "thu được bao nhiêu ánh sáng trong toàn bộ phơi sáng?" nhưng đúng hơn là "cảnh sáng ở mỗi điểm như thế nào?" Đó là một suy nghĩ tuyệt vời, và tôi có thể nghĩ ra một số cách để làm điều đó, nhưng điểm chung của tất cả chúng là chúng làm tăng thêm độ phức tạp cho cảm biến.

Các nhà sản xuất máy ảnh từ lâu đã làm việc để cung cấp nhiều pixel hơn và tôi đoán rằng việc giữ cấu trúc của từng pixel đơn giản sẽ giúp ích cho nỗ lực đó. Giờ đây, các máy ảnh DSLR thường có cảm biến có từ 20 đến 50 triệu pixel, có lẽ chúng ta sẽ thấy chúng hoạt động thay vì xây dựng các pixel tốt hơn . Chúng tôi đã thấy rằng theo một số cách - lấy nét tự động pixel kép là một ví dụ. Và chắc chắn có những công ty làm việc trên các cảm biến xây dựng cung cấp phạm vi năng động hơn , ít tiếng ồn hơn, v.v.

Nói tóm lại, tôi nghĩ rằng có khả năng chúng ta sẽ thấy một cái gì đó dọc theo những gì bạn đã đề xuất trong tương lai, ngay cả khi nó không hoạt động theo cách đó và lý do chúng ta không có ở đó có lẽ chỉ là các mục tiêu khác như mật độ pixel tăng lên là các ưu tiên cao hơn trong quá khứ.

Nó có thể được thực hiện theo một cách hơi khác. Thay vì một bức ảnh, bạn chụp một số khung hình với thời gian phơi sáng khác nhau. Sau đó, bạn xếp các hình ảnh để có được một số loại trung bình tùy thuộc vào thuật toán bạn đang sử dụng để xếp chồng.

Ví dụ, với nhật thực toàn phần gần đây, lượng corona có thể nhìn thấy bằng mắt thường lớn hơn nhiều so với bất kỳ thời gian phơi sáng nào của máy ảnh sẽ hiển thị. Đó là bởi vì mắt có dải động logarit trong khi mắt có dải động tuyến tính. Vì vậy, với việc sắp xếp thời gian phơi sáng khác nhau, bạn có thể ước chừng tốt hơn nhiều trong một bức ảnh mà những người quan sát nhìn thấy bằng mắt.

Chế độ Olympus Live Bulb và Live Time đi theo hướng bạn mô tả.

Từ hướng dẫn OM-D E-M5 :

Để xem tiến trình phơi sáng trong khi chụp, chọn khoảng thời gian hiển thị cho [Live BULB] (P. 89) hoặc [Live TIME] (P. 89).

Đây là một video . Lưu ý rằng bạn chỉ nhận được một lần phơi sáng ở cuối, mặc dù bạn thấy nhiều lần phơi sáng trong suốt quá trình. Các pixel cảm biến chỉ quan tâm đến tổng số lượng photon mà chúng nhận được trong quá trình phơi sáng, chúng không biết khi nào hoặc theo thứ tự các photon đó rơi vào cảm biến.

Bạn có ý tưởng đúng. Sony về cơ bản đang làm gì đó với hiệu ứng này trong RX100M5 và các máy ảnh khác có tính năng mà họ gọi là Trình tối ưu hóa D-Range - phân tích cảnh và điều chỉnh và bù cho các khu vực gặp sự cố.

Chức năng Trình tối ưu hóa D-Range sẽ phân tích tức thời dữ liệu hình ảnh đã chụp và tự động sửa để có độ phơi sáng và tái tạo tông màu tối ưu. Thông thường khi chụp các cảnh ngược sáng, khuôn mặt của đối tượng hoặc các khu vực khác trong bóng tối sẽ xuất hiện tối hơn trong ảnh so với mắt người. Chức năng Trình tối ưu hóa phạm vi D phân biệt giữa các điều kiện khác nhau cho các cảnh được chụp sẽ tự động sửa đường cong gamma, mức phơi sáng và các tham số khác để loại bỏ các phần tối hơn so với mắt người.

Chức năng tối ưu hóa phạm vi D cũng chứa chế độ Tiêu chuẩn, điều chỉnh toàn bộ hình ảnh một cách đồng nhất (hiệu quả để sửa các khía cạnh như phơi sáng) và chế độ Nâng cao, tự động sửa các khu vực trong bố cục. Bằng cách sử dụng chế độ Nâng cao, nhiếp ảnh gia có thể tạo ra một bức ảnh rõ nét trong đó cả chủ thể và hậu cảnh đều được chụp với độ sáng phù hợp, ngay cả khi có sự khác biệt lớn về độ sáng của cả hai.

nguồn: https://sony-paa-pa-en-web--paa.custhelp.com/app/answers/detail/a_id/26259/~/what-is-the-feft-of-d-range-optimizer % 3F