Có phần mềm nào có thể xác định ánh sáng trong ảnh hiện có không?


8

Có ứng dụng nào sẽ lấy một vùng đã chọn của ảnh và trả về ước tính của nó về các thông số ánh sáng cần có để mô phỏng các điều kiện ánh sáng trong vùng đã chọn của ảnh không?

Tôi đoán các thông số mà nó sẽ trả về bao gồm: nguồn sáng, độ khuếch tán nguồn, màu nguồn, thời lượng nguồn, phản xạ / ánh sáng nguồn, chuyển động nguồn, v.v. (Tôi hoan nghênh phản hồi về những dự đoán này và về khả năng rằng có thể mô hình tĩnh chúng.)


1
Đó dường như là một trật tự cao. Khi chúng ta nhìn vào một bức ảnh, chúng ta áp dụng một số kiến ​​thức nhận biết ngữ cảnh về những gì chúng ta đang xem (nói cách khác, chúng ta có một số phiên bản "bình thường" trong tâm trí mà chúng ta có thể so sánh với ảnh). Tôi sẽ rất ấn tượng nếu có thứ gì đó có thể làm được điều này.
D. Lambert

@D. Lambert: Đồng ý, mặc dù tin rằng một số thuật toán trong PhotoShop thực hiện các phép tính cho những thứ như thế này, nhưng không có đầu ra nào có thể đọc được để sử dụng bên ngoài theo như tôi biết; có nghĩa là những tính toán được sử dụng làm đầu vào cho các tính toán khác.
sai lầm ngớ ngẩn

2
Công việc cần thiết để tạo ra phần mềm như thế này gấp hàng triệu lần so với 2-3 giờ đào tạo mà ai đó sẽ cần để đoán khá chính xác hầu hết các tham số. Ngoài ra, một số trong những điều này là không thể tìm ra ... thời lượng nguồn?
Jędrek Kostecki

+1 @ Jędrek Kostecki: Điểm hay về việc con người có thể làm điều đó nhanh hơn (hiện tại), mặc dù điều thú vị trong đó ... :-) ... "thời lượng nguồn" chẳng hạn như đèn flash đã được sử dụng.
sai lầm ngớ ngẩn

Ah, phần mềm tốt nhất trên thế giới có lẽ là bộ não con người. Các thuật toán có thể được phát triển cho điều này có thể tạo ra các xấp xỉ hợp lý dựa trên các điểm nổi bật và bóng tối, nhưng tại sao lại làm điều đó? Bộ não con người có khả năng nhảy đến câu trả lời nhanh hơn theo công nghệ ngày nay so với máy tính.
John Cavan

Câu trả lời:


5

Thực tế đã có khá nhiều nghiên cứu về lĩnh vực này:

Các kết quả bị hạn chế, tuy nhiên vì vấn đề đang bị hạn chế ồ ạt, trong đó có nhiều điều chưa biết hơn là có dữ liệu. Điều này có nghĩa là các giải pháp chính xác là không thể, và bất kỳ câu trả lời nào bạn nhận được đều phải chịu sự mơ hồ.

Một vấn đề khác cho những gì bạn đang đề xuất là nghiên cứu trong lĩnh vực này hướng đến sự hiểu biết của máy về hình ảnh trực quan. Có thể ước tính độ chiếu sáng sẽ rất quan trọng đối với robot điều hướng một mê cung một cách trực quan vì chúng có thể phán đoán góc tường, v.v. Những ứng dụng này sẽ có những yêu cầu khác nhau đối với phần mềm so với mục tiêu nghệ thuật để tái tạo ánh sáng trong một bức chân dung tốt cho thí dụ.


Về vấn đề khác biệt giữa nghiên cứu và phần mềm thương mại, nghiên cứu ngày nay tạo thành nền tảng của phần mềm vào ngày mai (một trong những lý do tôi truy tìm thông qua các thủ tục tố tụng của SIGGRAPH mỗi năm). Khâu toàn cảnh tự động là một dự án nghiên cứu một lần và bây giờ được coi là đương nhiên. Tôi nhớ đã đọc về thay đổi kích thước nhận thức nội dung khi nó được xuất bản trong một hội nghị về thị giác máy tính (hồi đó nó được gọi là "khắc đường may") và chỉ vài năm trước khi nó trở thành một tính năng tiêu chuẩn trong Photoshop.

Tuy nhiên, có một sự khác biệt giữa nội dung nhận biết nội dung và nội dung bạn đang đề xuất và đây là nội dung nhận biết nội dung có thể tiết kiệm hàng giờ để chỉnh sửa và do đó có nhu cầu lớn từ đó. Ước tính các điều kiện chiếu sáng của một bức ảnh là một quá trình rất nhanh đối với một người lão luyện về ánh sáng.


Một tia hy vọng cuối cùng nằm trong lĩnh vực sản xuất bài đăng video. Ước tính / mô hình hóa các điều kiện ánh sáng ban đầu rất quan trọng đối với việc kết hợp thực tế hoạt hình tạo ra máy tính thành các cảnh quay thực (sự không nhất quán ánh sáng có nhiều khả năng được chú ý trong hình ảnh chuyển động hơn trong ảnh tĩnh). Điều đó cộng với lượng dữ liệu bổ sung có sẵn trong luồng video và tôi sẽ chụp ảnh bạn sẽ thấy tính năng bạn sau khi xuất hiện đầu tiên trong phần mềm chỉnh sửa video.


+1 @Matt Grum: Cảm ơn, nghiên cứu giúp "làm sáng tỏ" các vấn đề với việc giải quyết vấn đề này. Tôi đoán là các cảm biến robot và AI rất có thể sẽ sử dụng mối tương quan của các quan sát dọc theo thời gian và không gian, có thể bao gồm các bộ lọc cho các độ dài sóng ánh sáng khác nhau; ví dụ hồng ngoại để phát hiện nhiệt. Đối với các mục tiêu nghệ thuật, bạn có nghĩa là chúng rất có thể sẽ yêu cầu các suy luận vượt ra ngoài vị trí của máy ảnh, ánh sáng và các vật thể.
sai lầm ngớ ngẩn

Tôi đoán người ta nên chỉ ra rằng khi nói đến pano tự động. khâu, bạn có tất cả các thông tin cần thiết có sẵn trong hình ảnh bạn đang khâu. Điều đó trái ngược hoàn toàn với việc đoán ánh sáng chiếu sáng một cảnh, vì (bên ngoài ánh sáng VÀO cảnh) bạn không bao giờ thực sự có thể biết ánh sáng có nguồn gốc là gì. Trong khâu pano, bạn là người giàu thông tin ... trong việc đoán nguồn sáng, bạn bị thiếu thông tin. Khi nói đến video và CG, bạn có tùy chọn nếu nhập rõ ràng thông tin ánh sáng CHÍNH XÁC và việc đoán là không cần thiết.
jrista

1
@jrista điều đó đúng, nhưng trong phần điền vào nội dung , bạn không có thông tin về khu vực bạn đang cố gắng điền, tất cả đều là suy luận - giống như vấn đề ước tính chiếu sáng, có vẻ như nó không thể thực hiện được tại một thời điểm nhưng bây giờ nó là một tính năng tiêu chuẩn trong Photoshop, GIMP
Matt Grum

+1 @Matt Grum: Trên thực tế, điền vào nhận thức nội dung là những gì tôi đã nghĩ về một ví dụ sơ bộ về điều này, đây là một video cho thấy một ví dụ về việc sử dụng nó .
sai lầm ngớ ngẩn

2
@MattGrum: Nếu bạn nghiên cứu cách thức nhận biết nội dung hoạt động, nó gần như không bị thiếu thông tin như chiếu sáng. Một phần quan trọng của điền nhận thức nội dung là nhân bản nội dung gần đó, cùng với một số thuật toán thông minh cơ bản và khớp mẫu để làm cho nội dung phù hợp và phù hợp với nội dung. Bạn CÓ RẤT NHIỀU thông tin có sẵn để làm cho nội dung nhận biết điền vào công việc ... như khâu pano. Thông tin duy nhất bạn phải đoán ánh sáng là những gì được phản ánh bởi cảnh. Lượng thông tin hữu ích có sẵn là các đơn đặt hàng có cường độ khác nhau.
jrista

6

Thành thật mà nói, không - không phải với phần mềm hiện có. Có thể có nghiên cứu đang diễn ra ở đây và ai biết được tương lai sẽ ra sao, nhưng ngay bây giờ, không.

Có quá nhiều thông tin để phần mềm xử lý để thực hiện nó - đặc biệt là ở cấp độ người tiêu dùng. Ít nhất, bạn phải có một số cách để nói cho phần mềm biết đối tượng trông như thế nào. Đó là lợi thế của một con người - chúng ta có một hình dung trước trong tâm trí của chúng ta về những gì đối tượng sẽ trông giống như bình thường. Điều này cho phép một người nói "tốt, anh ta không BÌNH THƯỜNG có một vùng tối mờ dần ở đó hoặc một điểm sáng ở đó".

Ngoài ra, có NHIỀU cách khác nhau để tạo ra hiệu ứng tương tự trong chiếu sáng (mặc dù nhiều cách phổ biến hơn các cách khác).


@rfusca: Có, "nhận thức trước" về các đối tượng phẩm chất phản chiếu và mối quan hệ của máy ảnh với ánh sáng và vật thể sẽ làm tăng khả năng điều này có thể xảy ra, vẫn nghĩ rằng điều này là có thể; ước tính là sau khi tất cả không hoàn hảo.
sai lầm ngớ ngẩn

@blunders: Tốt nhất, các ước tính có thể cung cấp cho bạn thông tin sơ bộ về mức độ GIỚI HẠN có thể được quan sát trong một cảnh ... nhưng tôi nhấn mạnh thô . Cố gắng đạt được bất cứ điều gì ngoài một giả định rouge về số lượng nguồn sáng, thuộc tính nguồn (màu sắc, độ khuếch tán, thời gian phát xạ), v.v ... thực sự chỉ là yêu cầu rất nhiều phỏng đoán dựa trên phán đoán dựa trên quan sát. Nếu có một thứ máy tính hút vào ... đó là nó. Đưa ra một phỏng đoán chính xác, có giáo dục về những gì ánh sáng có thể đã thắp sáng một cảnh đòi hỏi một tâm trí có kinh nghiệm .
jrista

Bạn có thể đưa ra lập luận rằng một trí thông minh nhân tạo đủ tiến bộ có thể học đủ để trở thành một người có kinh nghiệm liên quan đến việc quan sát ánh sáng của các bức ảnh ... nhưng hiện tại tôi nghi ngờ thậm chí còn có bất cứ thứ gì như thế này ở quy mô thô sơ, hãy để một mình Điều đó có thể tạo ra kết quả hữu ích nhất quán.
jrista

@jrista - Đúng vậy, câu trả lời của tôi phản ánh liệu có khả năng có một cái gì đó ngoài kia với công nghệ hiện tại tạo ra kết quả chính xác, có thể sử dụng được hay không.
rfusca

Tôi nghĩ rằng đây có thể là trường hợp. Tuy nhiên, tôi sẽ không ngạc nhiên chút nào nếu có nghiên cứu về lĩnh vực này. Có vẻ như một vấn đề thú vị. Vì vậy, tôi ngần ngại nói "không" mà không cần nghiên cứu.
Vui lòng đọc hồ sơ của tôi
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.