GAN (mạng đối thủ thế hệ) có thể cho văn bản là tốt?

Là GAN ​​- mạng đối nghịch chung - chỉ tốt cho hình ảnh, hoặc có thể được sử dụng cho văn bản?

Giống như, đào tạo một mạng lưới để tạo ra các văn bản có ý nghĩa từ một bản tóm tắt.

CẬP NHẬT - trích dẫn từ nhà phát minh GAN Ian Goodfellow.

GAN chưa được áp dụng cho NLP vì GAN chỉ được xác định cho dữ liệu có giá trị thực. ( 2016 ) nguồn

Nó không phải là một ý tưởng thiếu sót cơ bản. Chúng ta có thể làm ít nhất một trong những điều sau đây ... (2017) nguồn

Có, GAN có thể được sử dụng cho văn bản. Tuy nhiên, có một vấn đề trong sự kết hợp giữa cách GAN hoạt động và cách văn bản thường được tạo bởi các mạng thần kinh:

• GAN hoạt động bằng cách truyền bá gradient thông qua thành phần của Trình tạo và Phân biệt đối xử.
• Văn bản thường được tạo bằng cách có lớp softmax cuối cùng trên không gian mã thông báo, nghĩa là, đầu ra của mạng thường là xác suất tạo ra mỗi mã thông báo (nghĩa là một đơn vị ngẫu nhiên rời rạc).

Cả hai thứ này không hoạt động tốt với nhau, vì bạn không thể truyền độ dốc thông qua các đơn vị ngẫu nhiên rời rạc. Có hai cách tiếp cận chính để giải quyết vấn đề này: thuật toán REINFORCE và tham số hóa lại Gumbel-Softmax (còn được gọi là phân phối cụ thể ). Hãy xem xét rằng REINFORCE được biết là có phương sai cao, do đó bạn cần một lượng lớn dữ liệu để có được ước tính độ dốc tốt.

Như một ví dụ về TÁI TẠO cho GAN văn bản, bạn có thể kiểm tra bài viết SeqGAN . Một ví dụ về Gumbel-Softmax bạn có thể kiểm tra bài viết này .

Một tùy chọn hoàn toàn khác là không có một đơn vị ngẫu nhiên rời rạc như đầu ra của trình tạo (ví dụ: tạo mã thông báo một cách xác định trong không gian nhúng), do đó loại bỏ vấn đề ban đầu là sao lưu qua chúng.

Thậm chí còn có nghiên cứu cụ thể hơn về chủ đề này:

Trình tạo được đào tạo có khả năng tạo ra các câu với mức độ ngữ pháp và logic nhất định.

Xuerong Xiao, "Tạo văn bản bằng cách sử dụng đào tạo đối thủ sáng tạo"

Câu hỏi này liên quan đến câu hỏi này: https://linguistic.stackexchange.com/questions/26448/how-to-translate-pelevins-creative-unit-idea-to-a-scientific-probols

Có, giờ đây GAN cũng có thể được sử dụng cho dữ liệu rời rạc. Trường hợp đầu tiên của trực giác này xuất hiện khi Wasserstein GANs (WGAN) ra đời. Ian Goodfellow đã đề cập đến cách tiếp cận Học tập Củng cố cho vấn đề này trong Hội nghị NIPS 2016 Ngoài ra, Bài viết này đề cập đến những tiến bộ trong GAN liên quan đến dữ liệu rời rạc.