BERT có thể được sử dụng cho các nhiệm vụ tạo câu không?

Tôi là một người mới học về NLP. Tôi quan tâm đến nhiệm vụ tạo câu. Theo tôi thấy, một phương pháp tiên tiến là CharRNN , sử dụng RNN để tạo ra một chuỗi các từ.

Tuy nhiên, BERT đã xuất hiện vài tuần trước và rất mạnh mẽ. Vì vậy, tôi tự hỏi liệu nhiệm vụ này cũng có thể được thực hiện với sự giúp đỡ của BERT? Tôi là một người mới học trong lĩnh vực này, và cảm ơn bạn cho bất kỳ lời khuyên!

Đối với người mới, KHÔNG.

Tạo câu yêu cầu lấy mẫu từ một mô hình ngôn ngữ, đưa ra phân phối xác suất của từ tiếp theo với các bối cảnh trước đó. Nhưng BERT không thể làm điều này do tính chất hai chiều của nó.

Đối với các nhà nghiên cứu tiên tiến, CÓ.

Bạn có thể bắt đầu bằng một câu của tất cả các mã thông báo [MASK] và tạo từng từ một theo thứ tự tùy ý (thay vì phân tách chuỗi từ trái sang phải chung). Mặc dù chất lượng tạo văn bản là khó kiểm soát.

Đây là báo cáo kỹ thuật BERT có một cái miệng và nó phải nói: BERT như một mô hình ngôn ngữ trường ngẫu nhiên Markov , errata của nó và mã nguồn .

Tóm tắt:

• Nếu bạn muốn thực hiện một số nghiên cứu trong lĩnh vực giải mã với BERT, có một không gian rộng lớn để khám phá
• Nếu bạn muốn tạo văn bản chất lượng cao, cá nhân tôi khuyên bạn nên kiểm tra GPT-2 .

thí nghiệm này của Stephen Mayhew cho thấy BERT tệ hại trong việc tạo văn bản tuần tự:

http://mayhewsw.github.io/2019/01/16/can-bert-generate-text/

although he had already eaten a large meal, he was still very hungry

Như trước đây, tôi đeo mặt nạ đói đói để xem BERT sẽ dự đoán gì. Nếu nó có thể dự đoán chính xác mà không có bất kỳ bối cảnh phù hợp, chúng ta có thể đang ở trong tình trạng tốt để tạo ra.

Điều này thất bại. BERT đã dự đoán rất nhiều người Viking là từ cuối cùng. Có lẽ điều này là do BERT nghĩ rằng sự vắng mặt của một khoảng thời gian có nghĩa là câu nên tiếp tục. Có lẽ nó chỉ được sử dụng để hoàn thành câu nên nó bị lẫn lộn. Tôi không chắc.

Người ta có thể lập luận rằng chúng ta nên tiếp tục dự đoán sau khi có nhiều điều. Có lẽ nó sẽ tạo ra một cái gì đó có ý nghĩa. Tôi có thể nói rằng: đầu tiên, điều này có nghĩa là một sự cho đi đã chết, và bất kỳ con người nào cũng sẽ đoán được đói đói. Thứ hai, tôi đã thử nó, và nó tiếp tục dự đoán những thứ ngớ ngẩn. Sau khi có nhiều người khác, mã thông báo tiếp theo là mã, trực tiếp.

Vì vậy, ít nhất là sử dụng các phương thức tầm thường này, BERT không thể tạo văn bản.

Không. Tạo câu liên quan trực tiếp đến mô hình hóa ngôn ngữ (được đưa ra các từ trước đó trong câu, từ tiếp theo là gì). Do tính đa hướng của BERT, BERT không thể được sử dụng làm mô hình ngôn ngữ. Nếu nó không thể được sử dụng làm mô hình ngôn ngữ, tôi không thấy cách bạn có thể tạo câu bằng BERT.

Những lựa chọn thay thế tồn tại cho điều này?

Không. Tạo câu liên quan trực tiếp đến mô hình hóa ngôn ngữ (được đưa ra các từ trước đó trong câu, từ tiếp theo là gì). Do tính đa hướng của BERT, BERT không thể được sử dụng làm mô hình ngôn ngữ. Nếu nó không thể được sử dụng làm mô hình ngôn ngữ, tôi không thấy cách bạn có thể tạo câu bằng BERT.