Có thể đào tạo mạng lưới thần kinh để vẽ hình theo một phong cách nhất định?

Có thể đào tạo mạng lưới thần kinh để vẽ hình theo phong cách nhất định? (Vì vậy, nó lấy một hình ảnh và vẽ lại theo phong cách mà nó đã được đào tạo.)

Có bất kỳ công nghệ được phê duyệt cho loại điều đó? Tôi biết về thuật toán DeepArt. Thật tốt khi điền vào hình ảnh chính với một số mẫu nhất định (ví dụ: hình ảnh vangoghify), nhưng tôi đang tìm kiếm một cái gì đó khác biệt - ví dụ, làm phim hoạt hình theo một phong cách nhất định từ chân dung đầu vào.

Có một bài báo liên quan: LA Gatus, AS Ecker, M Bethge, 2015, Thuật toán thần kinh của phong cách nghệ thuật . Trích dẫn từ trừu tượng,

Ở đây chúng tôi giới thiệu một hệ thống nhân tạo dựa trên Mạng lưới thần kinh sâu tạo ra hình ảnh nghệ thuật có chất lượng cảm nhận cao. Hệ thống sử dụng các biểu diễn thần kinh để phân tách và kết hợp lại nội dung và phong cách của các hình ảnh tùy ý, cung cấp một thuật toán thần kinh để tạo ra các hình ảnh nghệ thuật.

Đây là Hình 2 từ bài báo này:

Ngoài ra còn có một triển khai nguồn mở rất phổ biến dựa trên đèn pin ở đây khá dễ sử dụng. Xem liên kết để biết thêm ví dụ.

Hãy nhớ rằng các tính toán rất nặng và do đó việc xử lý các ảnh đơn là phạm vi của công việc này.

Chỉnh sửa: sau khi kiểm tra dự án DeepArt đã đề cập của bạn, có vẻ như nó đang sử dụng các kỹ thuật tương tự. Tôi không chắc tại sao đây không phải là điều bạn muốn, bởi vì khái niệm chuyển kiểu là chung chung như nó có.

Đây là một vấn đề khá khó giải quyết. Bạn có thể xem một số ví dụ ở đây về cách một phong cách hoạt hình, ví dụ từ Simpson đã được áp dụng cho một hình ảnh.

Một hình ảnh hoạt hình thường không có cấu trúc mang lại hiệu ứng nghệ thuật này . Cách dễ nhất để thử áp dụng điều này theo một cách nào đó là có một trình theo dõi khuôn mặt, và sau đó cố gắng căn chỉnh hai khuôn mặt, ví dụ như khuôn mặt hoạt hình và khuôn mặt người, sau đó áp dụng điều này. Điều đó có thể đưa bạn đến một nơi nào đó, nhưng nó cũng có thể trông kỳ lạ. Sau đó, bạn có thể chú thích các mốc trong hình ảnh để giúp thêm và thực hiện đăng ký không cứng nhắc trước đó. Đây vẫn là một giải pháp shitmix, nhưng gần nhất tôi có thể nghĩ rằng nó có thể làm việc cho khuôn mặt.

Biên tập:

Nhận xét của @TannerSwett thêm điều gì đó vào đây, có khả năng truy cập vào một số trang web của các nghệ sĩ và cố gắng tìm minh họa của họ và cố gắng tìm hiểu phong cách "của họ". Tôi vẫn không nghĩ rằng sẽ thỏa đáng hoặc mang lại đủ dữ liệu, nhưng đó sẽ là một điều thú vị để thử nghiệm. Hiện tại không có giải pháp khả dụng, nhưng tôi nghĩ rằng chắc chắn một số người đang làm việc này và chúng tôi sẽ sớm thấy kết quả tốt hơn.

Tôi nghĩ rằng có lẽ con đường để đi không phải là cách tiếp cận mạng lưới thần kinh nghệ thuật. Có lẽ tốt hơn là có một mạng có thể phân loại các đối tượng trong một hình ảnh và sau đó tìm hiểu sự tương ứng giữa các đối tượng và các đối tác hoạt hình của chúng, sau đó pha trộn các kết quả theo một cách có ý nghĩa.

Nó không quá phức tạp để làm. Không đọc bài báo được đề cập, đây là công thức của tôi:

Bộ mã hóa tự động biến đổi

Bản demo trực tuyến với khuôn mặt biến hình: http://vdumoulin.github.io/morphing_faces/online_demo.html

và https://jmetzen.github.io/2015-11-27/vae.html cho teh codez.

Về cơ bản, điều này cung cấp cho bạn một cách để tối ưu hóa 'phong cách' trong trường hợp của bạn, ví dụ, hãy nói rằng nét cọ rộng hay mờ như thế nào. Những thứ phụ thuộc vào phong cách cụ thể mà bạn đang cố gắng thi đua.

Trong ví dụ trên, các mặt 'biến hình' hoặc 'tưởng tượng' khác nhau là một hàm của các tham số trong không gian tiềm ẩn. Trong hình ảnh dưới đây sẽ là những gì bạn nhận được bằng cách thay đổi công cụ ở cấp độ 'mã'.

Đây là ý tưởng cơ bản: hình ảnh gốc bên trái, phiên bản cách điệu của cùng một hình ảnh bên phải:

Bây giờ, về mặt lý thuyết, nếu bạn huấn luyện một mô hình như vậy trên một hình ảnh bình thường và một hình ảnh cách điệu làm mục tiêu và thêm các kết cấu, bạn sẽ có thể tìm hiểu các bộ lọc hạt nhân tương ứng với loại "nét cọ" mà nghệ sĩ sử dụng .

Tất nhiên, điều đó có nghĩa là bạn cần phải có một vài ví dụ về hình ảnh ở cả phiên bản gốc và cách điệu. Một bộ dữ liệu như vậy sẽ rất tuyệt khi quyên góp cho cộng đồng - nếu bạn kết thúc việc này, tôi rất muốn xem loại công việc này.

Chúc may mắn!

Bài viết wiki về bộ mã hóa tự động sẽ là điểm khởi đầu tốt: https://en.wikipedia.org/wiki/Autoencoder