Làm thế nào là lớp nhúng được đào tạo trong lớp nhúng Keras? (nói sử dụng phụ trợ kéo căng, nghĩa là nó tương tự như word2vec, găng tay hoặc fasttext)
Giả sử chúng tôi không sử dụng nhúng nhúng trước.
Làm thế nào là lớp nhúng được đào tạo trong lớp nhúng Keras? (nói sử dụng phụ trợ kéo căng, nghĩa là nó tương tự như word2vec, găng tay hoặc fasttext)
Giả sử chúng tôi không sử dụng nhúng nhúng trước.
Câu trả lời:
Cả hai câu trả lời đều sai.
Lớp nhúng là lớp có thể huấn luyện chứa 1 ma trận nhúng, có hai chiều, trong một trục, số lượng giá trị duy nhất mà đầu vào phân loại có thể lấy (ví dụ 26 trong trường hợp bảng chữ cái viết thường) và trên trục kia là chiều không gian nhúng của bạn. Vai trò của lớp nhúng là ánh xạ một danh mục vào một không gian dày đặc theo cách có ích cho nhiệm vụ trong tay, ít nhất là trong một nhiệm vụ được giám sát. Điều này thường có nghĩa là có một số giá trị ngữ nghĩa trong các vectơ nhúng và các thể loại gần trong không gian này sẽ gần nghĩa với nhiệm vụ.
Điều này có liên quan đến mã hóa một nóng theo nghĩa là nó ánh xạ một danh mục riêng biệt thành một biểu diễn tính năng vector. Bạn vẫn có thể làm điều này cho một mạng lưới thần kinh nhưng nếu bạn sử dụng nó trong một lớp dày đặc, bạn sẽ tạo ra một lượng trọng lượng khổng lồ mà hầu hết chúng không được sử dụng thường xuyên. Đặt một lớp nhúng ở giữa sẽ giảm lượng trọng lượng có thể học được trước khi cho chúng tương tác với các phần khác trong đầu vào của bạn. Một lợi thế khác là về cơ bản ma trận nhúng hoạt động như một bảng tra cứu, vì vậy bạn thực sự có thể sử dụng độ thưa thớt của chỉ mục của danh mục của bạn để tìm kiếm giá trị hiện tại của nhúng là gì và khi áp dụng backpropagating chỉ điều chỉnh mục nhập của ma trận trọng số .
http://colah.github.io/posts/2014-07-NLP-RNNs-Repftimeations -> bài đăng trên blog này giải thích rõ ràng về cách lớp nhúng được đào tạo trong lớp Nhúng Keras. Hi vọng điêu nay co ich.
Theo tôi hiểu, nó là một trình tự động mã hóa đơn giản, có nghĩa là tất cả những gì nó đang cố gắng ánh xạ đầu vào vào một không gian khác, vì vậy không cần đào tạo ưa thích, chỉ là một số chuyển tiếp đơn giản và backprop. Đây là lý do tại sao nó khá nhanh để đào tạo.
Nếu bạn muốn sử dụng các nhúng được đào tạo trước, bạn có thể làm theo cách đó
Lớp nhúng sử dụng ma trận nhúng để ánh xạ dữ liệu và không bao giờ được cập nhật trong quá trình đào tạo . Không có tham số có thể huấn luyện trong lớp Nhúng Keras. Bạn có thể tham khảo các tài liệu lớp nhúng Keras để hiểu chi tiết.