Trước khi tôi cố gắng trả lời câu hỏi của bạn, tôi muốn tạo sự tách biệt mạnh mẽ hơn giữa các phương pháp bạn đang đề cập.
Nhóm phương pháp đầu tiên tôi tin rằng bạn đang đề cập đến là các phương pháp giảm kích thước dựa trên vùng lân cận, trong đó biểu đồ lân cận được xây dựng trong đó các cạnh biểu thị một thước đo khoảng cách. Bây giờ để chơi người ủng hộ ma quỷ chống lại bản thân tôi, MDS / ISOMAP có thể được hiểu là một dạng PCA hạt nhân. Vì vậy, mặc dù sự khác biệt này có vẻ tương đối sắc nét, nhiều cách giải thích khác nhau đã chuyển các phương thức này từ lớp này sang lớp khác.
Nhóm phương pháp thứ hai mà bạn đang đề cập đến tôi sẽ đặt trong lĩnh vực học tập mạng thần kinh không giám sát. Bộ tạo tự động là một kiến trúc đặc biệt cố gắng ánh xạ một không gian đầu vào thành một không gian chiều thấp hơn cho phép giải mã trở lại không gian đầu vào với sự mất mát thông tin tối thiểu.
Trước tiên, hãy nói về lợi ích và nhược điểm của bộ tự động. Autoencoder thường được đào tạo bằng cách sử dụng một số biến thể của độ dốc dốc ngẫu nhiên mang lại một số lợi thế. Bộ dữ liệu không phải phù hợp với bộ nhớ và có thể được tải lên và đào tạo một cách linh hoạt với độ dốc gốc. Không giống như rất nhiều phương pháp trong học tập dựa trên khu phố buộc tập dữ liệu tồn tại trong bộ nhớ. Kiến trúc của bộ tự động cho phép kiến thức trước về dữ liệu được tích hợp vào mô hình. Ví dụ: nếu tập dữ liệu chứa hình ảnh, chúng ta có thể tạo kiến trúc sử dụng tích chập 2d. Nếu tập dữ liệu chứa chuỗi thời gian có kết nối dài hạn, chúng ta có thể sử dụng các mạng lặp lại có kiểm soát (kiểm tra việc học Seq2Seq). Đây là sức mạnh của mạng lưới thần kinh nói chung. Nó cho phép chúng tôi mã hóa kiến thức trước về vấn đề vào các mô hình của chúng tôi. Đây là điều mà các mô hình khác, và để cụ thể hơn, các thuật toán giảm kích thước không thể làm được.
Từ góc độ lý thuyết, có một vài định lý hay. Mạng càng sâu, độ phức tạp của các chức năng mà mạng có thể học được tăng theo cấp số nhân. Nói chung, ít nhất là trước khi một cái gì đó mới được phát hiện, bạn sẽ không tìm thấy một mô hình mạnh mẽ / biểu cảm hơn một mạng lưới thần kinh được chọn chính xác.
Bây giờ mặc dù tất cả điều này nghe có vẻ tuyệt vời, có những nhược điểm. Sự hội tụ của các mạng nơ-ron là không xác định và phụ thuộc nhiều vào kiến trúc được sử dụng, sự phức tạp của vấn đề, sự lựa chọn của các tham số siêu tốc, v.v. không được chọn / sử dụng.
Mặt khác, các phương thức lân cận ít biểu cảm hơn và có xu hướng chạy một lượng thời gian xác định cho đến khi hội tụ dựa trên các tham số ít hơn nhiều so với các mạng thần kinh.
Việc lựa chọn phương pháp phụ thuộc trực tiếp vào vấn đề. Nếu bạn có một bộ dữ liệu nhỏ vừa với bộ nhớ và không sử dụng bất kỳ loại dữ liệu có cấu trúc (hình ảnh, video, âm thanh) nào thì việc giảm kích thước cổ điển có lẽ sẽ là cách tốt nhất. Nhưng khi cấu trúc được giới thiệu, độ phức tạp của vấn đề của bạn tăng lên và lượng dữ liệu bạn đã phát triển mạng lưới thần kinh trở thành lựa chọn chính xác.
Hi vọng điêu nay co ich.