Làm thế nào có thể sử dụng mạng thần kinh tái phát để phân loại trình tự?

RNN có thể được sử dụng để dự đoán hoặc trình tự ánh xạ trình tự. Nhưng làm thế nào RNN có thể được sử dụng để phân loại? Ý tôi là, chúng tôi đưa ra một chuỗi toàn bộ một nhãn.

Người ta có thể sử dụng RNN để ánh xạ nhiều đầu vào thành một đầu vào (nhãn), vì điều này đưa ra con số ( nguồn ) minh họa:

Mỗi hình chữ nhật là một vectơ và mũi tên biểu thị các hàm (ví dụ: ma trận nhân). Các vectơ đầu vào có màu đỏ, các vectơ đầu ra có màu xanh lam và các vectơ màu xanh giữ trạng thái RNN (sớm hơn về điều này). Từ trái sang phải: (1) Chế độ xử lý Vanilla không có RNN, từ đầu vào có kích thước cố định đến đầu ra có kích thước cố định (ví dụ: phân loại hình ảnh). (2) Đầu ra trình tự (ví dụ: chú thích hình ảnh lấy một hình ảnh và xuất ra một câu từ). (3) Đầu vào trình tự (ví dụ phân tích tình cảm trong đó một câu nhất định được phân loại là thể hiện tình cảm tích cực hoặc tiêu cực). (4) Đầu vào trình tự và đầu ra trình tự (ví dụ: Dịch máy: RNN đọc một câu bằng tiếng Anh và sau đó xuất ra một câu bằng tiếng Pháp). (5) Đầu vào và đầu ra chuỗi được đồng bộ hóa (ví dụ: phân loại video trong đó chúng tôi muốn gắn nhãn cho từng khung hình của video).

Trong trường hợp RNN đơn giản, hãy nạp toàn bộ chuỗi vào mạng của bạn và sau đó xuất nhãn lớp ở phần tử trình tự cuối cùng (xem bài viết này và tham khảo ở đó để biết ví dụ sớm về phương pháp này). Trong giai đoạn đào tạo, chúng ta có thể sao lưu lỗi trong thời gian từ phần tử chuỗi cuối cùng đến khi bắt đầu chuỗi. Nói chung, điều này không khác với vấn đề ghi nhãn trình tự RNN, trong đó chúng ta chỉ cần gán nhãn cho một số thành phần của chuỗi (hoặc tất cả các yếu tố khác được gắn nhãn là KHÁC).