Sự khác biệt tương phản kéo dài cho RBM

Khi sử dụng thuật toán học CD liên tục cho các máy Bolzmann bị hạn chế, chúng tôi bắt đầu chuỗi lấy mẫu Gibbs trong lần lặp đầu tiên tại một điểm dữ liệu, nhưng trái với CD thông thường, trong các lần lặp lại, chúng tôi không bắt đầu chuỗi của chúng tôi. Thay vào đó, chúng tôi bắt đầu nơi chuỗi lấy mẫu Gibbs trong lần lặp trước kết thúc.

Trong thuật toán CD thông thường, mỗi lần lặp đánh giá một lô điểm dữ liệu nhỏ và tính toán chuỗi lấy mẫu Gibbs bắt đầu từ chính các điểm dữ liệu đó.

Trong CD liên tục, chúng ta có nên giữ chuỗi lấy mẫu Gibbs cho từng điểm dữ liệu không? Hoặc chúng ta cũng nên giữ một chuỗi chuỗi lấy mẫu Gibbs nhỏ, bắt đầu tại các điểm dữ liệu hiện không được đánh giá trong lần lặp hiện tại?

Đối với tôi, dường như việc giữ chuỗi lấy mẫu Gibbs cho từng điểm dữ liệu sẽ quá cồng kềnh, nhưng mặt khác, dường như không đủ để so sánh tín hiệu của mẫu hiện tại với tín hiệu sau chuỗi Gibbs dài không bắt đầu ở hiện tại mẫu .

Bài báo gốc mô tả điều này có thể được tìm thấy ở đây

Trong phần 4.4, họ thảo luận về các cách thức mà thuật toán có thể được thực hiện. Việc triển khai tốt nhất mà họ phát hiện ra ban đầu là không đặt lại bất kỳ Chuỗi Markov nào, để thực hiện một bản cập nhật Gibbs đầy đủ trên mỗi Chuỗi Markov cho mỗi ước tính độ dốc và sử dụng một số Chuỗi Markov bằng với số điểm dữ liệu huấn luyện trong một mini- lô hàng.

Phần 3 có thể cung cấp cho bạn một số trực giác về ý tưởng chính đằng sau PCD.

Khi chủ tọa tuyên bố, họ không đặt lại chuỗi cho phần gradient âm.

Trực giác đằng sau này là gì? Như tài liệu gốc nêu rõ, đối với RBM, bạn không có thiết lập lại chuỗi vì chỉ có một phân phối mà bạn cần lấy mẫu, trái ngược với phân phối cho mỗi điểm (mà bạn có thể cần cho các mạng niềm tin). Bạn đúng rằng đối với một số mô hình mà bạn có thể cần phải nhớ chuỗi trên mỗi điểm.

Đối với Phương pháp tương phản: Thuật ngữ phủ định trong bản cập nhật vượt quá mong đợi hoặc mẫu theo một số phân phối, nhưng RBM chỉ có một phân phối (ghi sau).