Câu hỏi được gắn thẻ «bert»

Tôi đã xem qua giấy BERT sử dụng GELU (Đơn vị tuyến tính lỗi Gaussian) trong đó nêu phương trình là mà tương ứng với 0,5x (1 + tanh [\ sqrt {2 / π} (x + 0,044715x ^ 3)]) Bạn có thể đơn giản hóa phương trình và giải thích …

17 activation-function  bert  mathematics 

Vì BERT là hai chiều (sử dụng biến áp hai chiều), nên có thể sử dụng nó cho nhiệm vụ dự đoán từ tiếp theo không? Nếu có, những gì cần phải được điều chỉnh?

11 neural-network  deep-learning  attention-mechanism  transformer  bert