Tôi hiểu rằng sơ tuyển được sử dụng để tránh một số vấn đề với đào tạo thông thường. Nếu tôi sử dụng backpropagation, giả sử là một bộ mã hóa tự động, tôi biết rằng tôi sẽ gặp phải các vấn đề về thời gian bởi vì backpropagation chậm và tôi cũng có thể bị mắc kẹt trong tối ưu cục bộ và không học được một số tính năng nhất định.
Những gì tôi không hiểu là làm thế nào chúng ta giả bộ một mạng và cụ thể chúng ta làm gì để giả bộ. Ví dụ: nếu chúng tôi được cung cấp một nhóm Máy Boltzmann bị hạn chế, chúng tôi sẽ xử lý mạng này như thế nào?
2
Trừ khi bạn ở trong một môi trường chỉ có một vài mẫu được dán nhãn và nhiều mẫu không nhãn, việc sơ chế được coi là lỗi thời. Nếu đó không phải là trường hợp, sử dụng hàm truyền chỉnh lưu và các trình tối ưu hóa nâng cao (rmsprop, adadelta, adam) hoạt động tốt như nhau đối với các mạng thần kinh sâu.
—
bayerj
Vâng, tôi đang làm việc theo một giả định rằng có một lượng lớn các mẫu không nhãn và một vài mẫu không có nhãn.
—
Michael Yousef