BERT có thể thực hiện nhiệm vụ dự đoán từ tiếp theo không?

Vì BERT là hai chiều (sử dụng biến áp hai chiều), nên có thể sử dụng nó cho nhiệm vụ dự đoán từ tiếp theo không? Nếu có, những gì cần phải được điều chỉnh?

— 不是 phd 的 phd
nguồn

Bạn đã thấy các ấn phẩm gốc ? Nó dường như đang giải quyết dự đoán ở cấp độ câu, như được giải thích trong phần 3.3.2.

— ánh xạ tới

Hãy xem xét một cuộc thảo luận liên quan trên GitHub .

— ánh xạ đến

BERT không thể được sử dụng cho dự đoán từ tiếp theo, ít nhất là không với tình trạng hiện tại của nghiên cứu về mô hình hóa ngôn ngữ đeo mặt nạ.

BERT được đào tạo về một nhiệm vụ mô hình hóa ngôn ngữ đeo mặt nạ và do đó bạn không thể "dự đoán từ tiếp theo". Bạn chỉ có thể che dấu một từ và yêu cầu BERT dự đoán từ đó cho phần còn lại của câu (cả bên trái và bên phải của từ bị che).

Bằng cách này, với BERT, bạn không thể lấy mẫu văn bản như thể đó là một mô hình ngôn ngữ tự phát bình thường. Tuy nhiên, BERT có thể được xem như là Mô hình ngôn ngữ trường ngẫu nhiên Markov và được sử dụng để tạo văn bản như vậy. Xem bài viết BERT có một cái miệng và nó phải nói: BERT như một mô hình ngôn ngữ trường ngẫu nhiên Markov để biết chi tiết. Các tác giả đã phát hành mã nguồn và một máy tính xách tay Google Colab .

Cập nhật: các tác giả của bài báo MRF đã phát hiện ra phân tích của họ là thiếu sót và BERT không phải là MRF, hãy xem điều này

— ncasas
nguồn

Kết quả trông không được chín chắn lắm :(

— Itachi

Tại sao bạn không thể điều khiển mặt nạ là từ cuối cùng trong chuỗi? Sau đó sử dụng BERT để dự đoán dựa trên mã thông báo đeo mặt nạ (từ tiếp theo). Tôi vẫn đang tiêu hóa những kết quả này vì vậy tôi không thể hướng dẫn cách thực hiện. Tuy nhiên, có vẻ như một cách tiếp cận hợp lý.

— Sledge

Điều này đã được một số anh chàng thử nghiệm trên một số cuộc thảo luận trên twitter về BERT sau khi nó được phát hành và anh ta xác nhận rằng BERT đã thất bại với cách tiếp cận @Sledge đang mô tả. Nếu bạn cắt một câu và yêu cầu BERT dự đoán từ tiếp theo, nó sẽ không thể để sử dụng phần bên phải của câu mà nó cần để thực hiện dự đoán.

— ncasas

Tôi hiểu rồi, @ncasas cảm ơn vì lời giải thích.

— Sledge