Là lỗi bình phương luôn luôn lồi trong bối cảnh của các mạng thần kinh?

Nhiều tài nguyên tôi đã đề cập đến đề cập rằng MSE là tuyệt vời vì nó lồi. Nhưng tôi không hiểu làm thế nào, đặc biệt là trong bối cảnh của các mạng lưới thần kinh.

Hãy nói rằng chúng ta có những điều sau đây:

• $X$ : tập dữ liệu đào tạo
• $Y$ : mục tiêu
• $\Theta$ : tập các tham số của mô hình$f_\Theta$ (một mô hình mạng thần kinh với những người không linearities)

Sau đó:

Tại sao hàm mất này luôn luôn lồi? Điều này có phụ thuộc vào $f_\Theta(X)$ không?

Trả lời ngắn gọn: MSE tự lồi vào đầu vào và tham số của nó. Nhưng trên một mạng nơ ron tùy ý, nó không phải lúc nào cũng lồi do sự hiện diện của phi tuyến tính dưới dạng các hàm kích hoạt. Nguồn cho câu trả lời của tôi là ở đây .

Lồi lõm

$f(x)$$x ∈ Χ$$x_1 ∈ Χ$$x_2 ∈ Χ$$0 ≤ λ ≤ 1$

$$f(λ x_1 + (1 − λ) x_2) ≤ λf(x_1) + (1 − λ) f (x_2).$$

Có thể chứng minh rằng lồi như vậy có một mức tối thiểu toàn cầu. Một mức tối thiểu toàn cầu duy nhất giúp loại bỏ các bẫy được tạo bởi cực tiểu cục bộ có thể xảy ra trong các thuật toán cố gắng đạt được sự hội tụ ở mức tối thiểu toàn cầu, chẳng hạn như giảm thiểu hàm lỗi.$f(x)$

Mặc dù hàm lỗi có thể đáng tin cậy 100% trong tất cả các bối cảnh liên tục, tuyến tính và nhiều bối cảnh phi tuyến tính, điều đó không có nghĩa là sự hội tụ ở mức tối thiểu toàn cầu cho tất cả các bối cảnh phi tuyến tính có thể.

Lỗi bình phương trung bình

Cho một hàm mô tả hành vi hệ thống lý tưởng và mô hình của hệ thống (trong đó là vectơ tham số, ma trận, khối lập phương hoặc hypercube và ), được tạo ra một cách hợp lý hoặc thông qua hội tụ (như trong đào tạo mạng lưới thần kinh), hàm lỗi bình phương trung bình (MSE) có thể được biểu diễn như sau.$s(x)$$a(x, p)$$p$$1 ≤ n ≤ N$

Tài liệu bạn đang đọc có thể không cho rằng hoặc là lồi đối với , nhưng là lồi đối với và bất kể họ là ai Tuyên bố sau này có thể được chứng minh cho bất kỳ và . $a(x, p)$$s(x)$$x$$e(β)$$a(x, p)$$s(x)$$a(x, p)$$s(x)$

Làm nhiễu thuật toán hội tụ

Nếu câu hỏi là liệu a và phương pháp đạt được gần bằng trong phạm vi hội tụ MSE hợp lý có thể bị nhầm lẫn hay không, câu trả lời là "Có". Đó là lý do tại sao MSE không phải là mô hình lỗi duy nhất.$a(x, p)$$s(x)$$a(x, p)$

Tóm lược

Cách tóm tắt tốt nhất là nên được xác định hoặc chọn từ một tập hợp các mô hình lỗi lồi chứng khoán dựa trên kiến ​​thức sau.$e(β)$

• Các thuộc tính đã biết của hệ thống$s(x)$
• Định nghĩa của mô hình gần đúng$a(x, p)$
• Tenor được sử dụng để tạo trạng thái tiếp theo trong chuỗi hội tụ

Tập hợp các mô hình lỗi lồi chứng khoán chắc chắn bao gồm mô hình MSE vì tính đơn giản và tiết kiệm tính toán của nó.