Tại sao các đơn vị tuyến tính chỉnh lưu được coi là phi tuyến tính?

Tại sao các chức năng kích hoạt của các đơn vị tuyến tính chỉnh lưu (ReLU) được coi là phi tuyến tính?

f (x) = max (0, x)

$f(x) = \max(0,x)$

Chúng là tuyến tính khi đầu vào là dương và theo hiểu biết của tôi để mở khóa sức mạnh đại diện của các kích hoạt phi tuyến tính mạng sâu là điều bắt buộc, nếu không thì toàn bộ mạng có thể được biểu diễn bằng một lớp duy nhất.

neural-networks deep-learning

— Aly
nguồn

Có một câu hỏi tương tự được đặt ra trước đó: stats.stackexchange.com/questions/275353/ dù đó có lẽ không phải là một bản sao

— Aksakal 21/03/18

RelUs là phi tuyến. Để giúp trực giác của bạn, hãy xem xét một mạng rất đơn giản với 1 đơn vị đầu vào $x$ , 2 đơn vị ẩn $y_i$ và 1 đơn vị đầu ra $z$ . Với mạng đơn giản này, chúng tôi có thể thực hiện một hàm giá trị tuyệt đối,

z = = tối đa (0, x) + tối đa (0, - x),

$z = \max(0, x) + \max(0, -x),$

hoặc một cái gì đó trông tương tự như chức năng sigmoid thường được sử dụng,

z = = tối đa (0, x + 1) - tối đa (0, x - 1) .

$z = \max(0, x + 1) - \max(0, x - 1).$

Bằng cách kết hợp chúng thành các mạng lớn hơn / sử dụng nhiều đơn vị ẩn hơn, chúng ta có thể tính gần đúng các hàm tùy ý.

$\hskip2in$ Chức năng mạng RELU

— Lucas
nguồn

Những loại ReLus được xây dựng bằng tay này sẽ được xây dựng apriori và mã hóa cứng thành các lớp? Nếu vậy, làm thế nào bạn biết rằng mạng của bạn yêu cầu một trong những ReLus được xây dựng đặc biệt này?

— Monica Heddneck

@MonicaHeddneck Bạn có thể chỉ định phi tuyến tính của riêng bạn, vâng. Điều làm cho một chức năng kích hoạt tốt hơn chức năng khác là một chủ đề nghiên cứu liên tục. Ví dụ: chúng tôi đã từng sử dụng sigmoids, , nhưng sau đó do vấn đề độ dốc biến mất, ReLUs trở nên phổ biến hơn. Vì vậy, tùy thuộc vào bạn để sử dụng các chức năng kích hoạt phi tuyến tính khác nhau.

σ (x) = \frac{1}{1 + e^{- x}}

$\sigma(x) = \frac{1}{1 + e^{-x}}$

— Tarin Ziyaee

Làm thế nào bạn có thể ước chừng với ReLU ngoài mẫu?

e^{x}

$e^x$

— Aksakal

@Lucas, về cơ bản nếu kết hợp (+)> 1 ReLUs chúng ta có thể tính gần đúng bất kỳ hàm nào, nhưng nếu chúng ta chỉ đơn giản là reLu(reLu(....))nó sẽ luôn tuyến tính? Ngoài ra, ở đây bạn đổi xthành x+1, điều đó có thể được coi là Z=Wx+bnơi W & b thay đổi để đưa ra các biến thể khác nhau của loại đó x& x+1?

— anu