Xuất phát của hàm chi phí hồi quy tuyến tính thường xuyên trên mỗi khóa học máy Coursera

Tôi đã tham gia khóa học "Machine Learning" của Andrew Ng qua Coursera vài tháng trước, không chú ý đến hầu hết các môn toán / phái sinh và thay vào đó tập trung vào thực hiện và thực tiễn. Kể từ đó, tôi đã bắt đầu quay lại để nghiên cứu một số lý thuyết cơ bản, và đã xem lại một số bài giảng của Giáo sư Ng. Tôi đã đọc qua bài giảng của ông về "Hồi quy tuyến tính thường xuyên" và thấy rằng ông đã đưa ra hàm chi phí sau:

$$J(\theta) = \frac{1}{2m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})^2 + \lambda\sum_{j=1}^n\theta^2_j]$$

Sau đó, anh ta đưa ra độ dốc sau cho hàm chi phí này:

$$\frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})x^{(i)}_j - \lambda\theta_j]$$

Tôi hơi bối rối về cách anh ấy đi từ người này sang người khác. Khi tôi cố gắng thực hiện đạo hàm của riêng mình, tôi đã có kết quả như sau:

$$\frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}[\sum_{i=1}^m(h_\theta (x^{(i)}) + y^{(i)})x^{(i)}_j + \lambda\theta_j]$$

Sự khác biệt là dấu 'cộng' giữa hàm chi phí ban đầu và tham số chính quy trong công thức của giáo sư Ng thay đổi thành dấu 'trừ' trong hàm gradient của anh ta, trong khi điều đó không xảy ra trong kết quả của tôi.

Theo trực giác tôi hiểu lý do tại sao nó âm tính: chúng tôi đang giảm tham số theta bằng con số gradient và chúng tôi muốn tham số chính quy giảm số lượng mà chúng tôi đang thay đổi tham số để tránh bị quá mức. Tôi chỉ bị mắc kẹt một chút về tính toán ủng hộ trực giác này.

FYI, bạn có thể tìm thấy bộ bài ở đây , trên các slide 15 và 16.

$J(\theta) = \frac{1}{2m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})^2 + \lambda\sum_{j=1}^n\theta^2_j]$

Hiện nay

$\frac{\partial}{\partial \theta_j}(h_\theta (x^{(i)}) - y^{(i)})^2=2[(h_\theta (x^{(i)}) - y^{(i)})\frac{\partial}{\partial \theta_j}\{h_\theta(x^{(i)})\}]$

Lưu ý rằng trong mô hình tuyến tính (đang được thảo luận trên các trang bạn đề cập),$\frac{\partial}{\partial \theta_j}(h_\theta(x^{(i)})=[x^{(i)}]_j$

$\frac{\partial}{\partial \theta_j}\lambda\sum_{j=1}^n\theta^2=2\lambda\theta_j$

Vì vậy, đối với trường hợp tuyến tính

$\frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})x^{(i)}_j + \lambda\theta_j]$

Có vẻ như có lẽ cả bạn và Andrew đều có thể mắc lỗi chính tả. Chà, ít nhất hai trong số ba chúng tôi dường như.

Trên thực tế nếu bạn kiểm tra các ghi chú bài giảng ngay sau video, nó sẽ hiển thị công thức chính xác. Các slide mà bạn đã xếp ở đây hiển thị slide chính xác của video.

Thật ra, tôi nghĩ đó chỉ là một lỗi đánh máy.

Trên slide # 16, anh ta viết đạo hàm của hàm chi phí (với thuật ngữ chính quy) đối với theta nhưng nó nằm trong ngữ cảnh của thuật toán Gradient Descent . Do đó, anh ta cũng nhân hệ số phái sinh này với . Lưu ý: Trên dòng thứ hai (của slide 16) anh ta có (như bạn đã viết), nhân với . Tuy nhiên, ở dòng thứ ba, thuật ngữ nhân vẫn còn âm mặc dù - nếu dòng thứ hai đúng - các dấu hiệu tiêu cực sẽ bị hủy bỏ.$-\alpha$$-\lambda\theta$$-\alpha$

Có lý?