Tại sao hàm chi phí của mạng nơ ron không lồi?

Có một chủ đề tương tự ở đây ( Hàm chi phí của mạng nơ ron không phải là lồi? ) Nhưng tôi không thể hiểu các điểm trong câu trả lời ở đó và lý do của tôi để hỏi lại hy vọng điều này sẽ làm rõ một số vấn đề:

Nếu tôi sử dụng tổng của hàm chi phí chênh lệch bình phương, tôi cuối cùng tối ưu hóa một cái gì đó có dạng nơi là giá trị nhãn thực tế trong giai đoạn đào tạo và là nhãn dự đoán giá trị. Vì đây có dạng vuông, nên đây là hàm chi phí lồi. Vì vậy, cái gì có thể làm cho nó không lồi trong NN? $\Sigma_{i=1}^{N}(y_i - \hat{y_i})^2$ $y$ $\hat{y}$

— Luca
nguồn

trivially, đó là vì

, và nói chung không có đảm bảo rằng một chức năng tùy ý sẽ lồi

\hat{y} = f (x)

$\hat{y} = f(x)$

— generic_user

là thực sự lồi trong . Nhưng nếu nó có thể không lồi trong , đó là tình hình với hầu hết các mô hình phi tuyến tính, và chúng tôi thực sự quan tâm đến lồi trong vì đó là những gì chúng tôi đang tối ưu hóa các chức năng chi phí kết thúc. $\sum_i (y_i- \hat y_i)^2$ $\hat y_i$ $\hat y_i = f(x_i ; \theta)$ $\theta$ $\theta$

Ví dụ, chúng ta hãy xem xét một mạng lưới với 1 lớp ẩn của đơn vị và một lớp đầu ra tuyến tính: hàm chi phí của chúng tôi là nơi $N$

g (α, W) = \sum_{i} {(y_{i} - α_{i} σ (W x_{i}))}^{2}

$g(\alpha, W) = \sum_i \left(y_i - \alpha_i\sigma(Wx_i)\right)^2$

x_{i} \in R^{p}

$x_i \in \mathbb R^p$ và

(và tôi bỏ qua điều kiện thiên vị vì đơn giản). Điều này không nhất thiết là lồi khi được xem như là một hàm của

W \in R^{N \times p}

$W \in \mathbb R^{N \times p}$

(α, W)

$(\alpha, W)$ (tùy thuộc vào

: nếu một chức năng kích hoạt tuyến tính được sử dụng thì đây vẫn có thể lồi). Và mạng lưới của chúng ta càng sâu thì càng ít thứ lồi lõm.

σ

$\sigma$

Bây giờ hãy xác định hàm bởi trong đó là với được đặt thành và được đặt thành . Điều này cho phép chúng ta hình dung hàm chi phí vì hai trọng số này khác nhau. $h : \mathbb R \times \mathbb R \to \mathbb R$ $h(u, v) = g(\alpha, W(u, v))$ $W(u,v)$ $W$ $W_{11}$ $u$ $W_{12}$ $v$

$n=50$ $p=3$ $N=1$ $x$ $y$ $\mathcal N(0,1)$

Đây là mã R mà tôi đã sử dụng để tạo ra con số này (mặc dù bây giờ một số tham số có giá trị hơi khác so với khi tôi tạo nó để chúng không giống nhau):

costfunc <- function(u, v, W, a, x, y, afunc) {
  W[1,1] <- u; W[1,2] <- v
  preds <- t(a) %*% afunc(W %*% t(x))
  sum((y - preds)^2)
}

set.seed(1)
n <- 75  # number of observations
p <- 3   # number of predictors
N <- 1   # number of hidden units


x <- matrix(rnorm(n * p), n, p)
y <- rnorm(n)  # all noise
a <- matrix(rnorm(N), N)
W <- matrix(rnorm(N * p), N, p)

afunc <- function(z) 1 / (1 + exp(-z))  # sigmoid

l = 400  # dim of matrix of cost evaluations
wvals <- seq(-50, 50, length = l)  # where we evaluate costfunc
fmtx <- matrix(0, l, l)
for(i in 1:l) {
  for(j in 1:l) {
    fmtx[i,j] = costfunc(wvals[i], wvals[j], W, a, x, y, afunc)
  }
}

filled.contour(wvals, wvals, fmtx,plot.axes = { contour(wvals, wvals, fmtx, nlevels = 25, 
                                           drawlabels = F, axes = FALSE, 
                                           frame.plot = FALSE, add = TRUE); axis(1); axis(2) },
               main = 'NN loss surface', xlab = expression(paste('W'[11])), ylab = expression(paste('W'[12])))

— jld
nguồn

Câu trả lời tuyệt vời; Tôi nghĩ bất kể các hàm kích hoạt là gì, chúng ta luôn có thể tìm thấy một số hoán vị của các trọng số / đơn vị ẩn có nghĩa là không lồi lõm

— information_interchange

@in information_interchange cảm ơn, và tôi nghĩ rằng bạn hoàn toàn đúng, câu trả lời mà OP liên kết để nói về cách tiếp cận đó

— jld

Câu trả lời tuyệt vời, nhưng nếu chúng ta sử dụng MAE thay vì MSE, tôi không hiểu tại sao nó sẽ không lồi, thành phần của hàm lồi và không giảm là lồi, vì vậy nếu chúng ta có MAE, chúng ta vẫn nên có chức năng lồi liên quan đến W.

— Panda