Làm rõ về quy tắc Perceptron so với Gradient Descent so với Stochastic Gradient Descent

Tôi đã thử nghiệm một chút với các triển khai Perceptron khác nhau và muốn chắc chắn rằng tôi có hiểu đúng "các lần lặp" không.

Quy tắc tri giác ban đầu của Rosenblatt

Theo như tôi hiểu, trong thuật toán tri giác cổ điển của Rosenblatt, các trọng số được cập nhật đồng thời sau mỗi ví dụ đào tạo thông qua

$\Delta{w}^{(t+1)} = \Delta{w}^{(t)} + \eta(target - actual)x_i$

trong đó là quy tắc học tập ở đây. Và mục tiêu và thực tế đều được ngưỡng (-1 hoặc 1). Tôi đã triển khai nó dưới dạng 1 lần lặp = 1 lần so với mẫu đào tạo, nhưng vectơ trọng lượng được cập nhật sau mỗi mẫu đào tạo.$eta$

Và tôi tính giá trị "thực tế" là

$sign ({\pmb{w}^T\pmb{x}}) = sign( w_0 + w_1 x_1 + ... + w_d x_d)$

Độ dốc dốc ngẫu nhiên

$\Delta{w}^{(t+1)} = \Delta{w}^{(t)} + \eta(target - actual)x_i$

Tuy nhiên, giống như quy tắc perceptron targetvà actualkhông được ngưỡng nhưng giá trị thực. Ngoài ra, tôi tính "lặp" là đường dẫn qua mẫu đào tạo.

Cả SGD và quy tắc perceptron cổ điển đều hội tụ trong trường hợp phân tách tuyến tính này, tuy nhiên, tôi đang gặp rắc rối với việc thực hiện giảm dần độ dốc.

Xuống dốc

Ở đây, tôi đi qua mẫu đào tạo và tổng hợp các thay đổi về trọng lượng trong 1 lần so với mẫu đào tạo và cập nhật các trọng số sau đó, ví dụ:

cho mỗi mẫu đào tạo:

$\Delta{w_{new}} \mathrel{{+}{=}} \Delta{w}^{(t)} + \eta(target - actual)x_i$

...

sau 1 lần vượt qua tập huấn luyện:

$\Delta{w} \mathrel{{+}{=}} \Delta{w_{new}}$

Tôi tự hỏi, nếu giả định này là chính xác hoặc nếu tôi đang thiếu một cái gì đó. Tôi đã thử các mức học khác nhau (tối đa vô cùng nhỏ) nhưng không bao giờ có thể khiến nó thể hiện bất kỳ dấu hiệu hội tụ nào. Vì vậy, tôi tự hỏi nếu tôi hiểu lầm sth. đây.

Cảm ơn, Sebastian

$\Delta$

Perceptionron:

$\pmb{w}^{(t+1)} = \pmb{w}^{(t)} + \eta_t (y^{(i)} - \hat{y}^{(i)}) \pmb{x}^{(i)}$

$\hat{y}^{(i)} = \text{sign} ({\pmb{w}^\top\pmb{x}^{(i)}})$$i^{th}$

Điều này có thể được xem như là một phương pháp hạ cấp con ngẫu nhiên ngẫu nhiên trên hàm "mất tri giác" sau đây *:

Mất tri giác:

$L_{\pmb{w}}(y^{(i)}) = \max(0, -y^{(i)} \pmb{w}^\top\pmb{x}^{(i)})$

$\partial L_{\pmb{w}}(y^{(i)}) = \begin{array}{rl} \{ 0 \}, & \text{ if } y^{(i)} \pmb{w}^\top\pmb{x}^{(i)} > 0 \\ \{ -y^{(i)} \pmb{x}^{(i)} \}, & \text{ if } y^{(i)} \pmb{w}^\top\pmb{x}^{(i)} < 0 \\ [-1, 0] \times y^{(i)} \pmb{x}^{(i)}, & \text{ if } \pmb{w}^\top\pmb{x}^{(i)} = 0 \\ \end{array}$

Vì perceptron đã là một dạng của SGD, tôi không chắc tại sao bản cập nhật SGD phải khác với bản cập nhật perceptron. Cách bạn đã viết bước SGD, với các giá trị không ngưỡng, bạn sẽ bị lỗ nếu bạn dự đoán một câu trả lời quá chính xác. Thật tồi tệ.

Bước gradient hàng loạt của bạn là sai vì bạn đang sử dụng "+ =" khi bạn nên sử dụng "=". Các trọng số hiện tại được thêm vào cho mỗi trường hợp đào tạo . Nói cách khác, cách bạn viết nó,

$\pmb{w}^{(t+1)} = \pmb{w}^{(t)} + \sum_{i=1}^n \{\pmb{w}^{(t)} - \eta_t \partial L_{\pmb{w}^{(t)}}(y^{(i)}) \}$

Những gì nó nên là:

$\pmb{w}^{(t+1)} = \pmb{w}^{(t)} - \eta_t \sum_{i=1}^n {\partial L_{\pmb{w}^{(t)}}(y^{(i)}) }$

$\eta_t = \frac{\eta_0}{\sqrt{t}}$

$\pmb{w}^\top\pmb{x}^{(i)} = 0$$\partial L= [-1, 0] \times y^{(i)} \pmb{x}^{(i)}$$\pmb{0} \in \partial L$$\pmb{w} = \pmb{0}$$-y^{(i)} \pmb{x}^{(i)} \in \partial L$

Vì vậy, chúng không hoàn toàn giống nhau, nhưng nếu bạn làm việc từ giả định rằng thuật toán perceptron là SGD cho một số hàm mất và thiết kế ngược lại hàm mất, thì mất perceptron là thứ bạn kết thúc.