Làm cách nào để CNN tránh được sự cố biến mất

Tôi đã đọc rất nhiều về các mạng thần kinh liên hợp và đang tự hỏi làm thế nào chúng tránh được vấn đề độ dốc biến mất. Tôi biết các mạng niềm tin sâu xếp chồng các bộ mã hóa tự động cấp đơn hoặc các mạng nông được đào tạo trước khác và do đó có thể tránh được vấn đề này nhưng tôi không biết làm thế nào để tránh được nó trong CNN.

Theo Wikipedia :

"bất chấp" vấn đề độ dốc biến mất đã đề cập ở trên ", khả năng xử lý vượt trội của GPU giúp cho việc truyền ngược trở lại khả thi đối với các mạng nơ ron tiến sâu với nhiều lớp."

Tôi không hiểu tại sao xử lý GPU sẽ loại bỏ vấn đề này?

— Aly
nguồn

Có phải bài viết trên wikipedia không biện minh được tại sao GPU giúp giải quyết vấn đề độ dốc biến mất? Có phải bởi vì mặc dù độ dốc nhỏ, vì GPU quá nhanh, chúng tôi vẫn quản lý để cải thiện các tham số bằng cách thực hiện nhiều bước nhờ vào GPU?

— Charlie Parker

Chính xác. Vấn đề độ dốc biến mất là lý do tại sao trọng lượng lớp thấp hơn được cập nhật với tốc độ rất nhỏ, và do đó phải mất mãi mãi để đào tạo mạng. Nhưng, như với GPU, bạn có thể thực hiện nhiều tính toán hơn (tức là cập nhật nhiều hơn về trọng lượng) trong thời gian ngắn hơn, với việc xử lý GPU ngày càng nhiều, vấn đề độ dốc biến mất có phần biến mất ở một mức độ nào đó.

— Sangram

@CharlieParker, bạn có thể giải thích rõ hơn không GPU's are fast correlated with vanishing gradients, tôi có thể hiểu logic nhanh với băng thông bộ nhớ lớn để xử lý nhiều phép nhân ma trận! nhưng bạn có thể giải thích những gì nó phải làm với các công cụ phái sinh không? Các vấn đề độ dốc biến mất dường như làm nhiều hơn với khởi tạo trọng lượng , chứ không phải là nó!

— anu

Vấn đề độ dốc biến mất đòi hỏi chúng ta phải sử dụng tốc độ học tập nhỏ với độ dốc giảm dần, sau đó cần nhiều bước nhỏ để hội tụ. Đây là một vấn đề nếu bạn có một máy tính chậm, mất nhiều thời gian cho mỗi bước. Nếu bạn có GPU nhanh có thể thực hiện nhiều bước hơn trong một ngày, thì điều này ít xảy ra.

Có một số cách để giải quyết vấn đề độ dốc biến mất. Tôi đoán rằng hiệu ứng lớn nhất đối với CNN là từ việc chuyển từ các đơn vị phi tuyến sigmoid sang các đơn vị tuyến tính được chỉnh lưu. Nếu bạn xem xét một mạng nơ ron đơn giản có lỗi phụ thuộc vào trọng lượng chỉ qua , trong đó $E$ $w_{ij}$ $y_j$

y_{j} = f (\sum_{i} w_{i j} x_{i}),

$y_j = f\left( \sum_iw_{ij}x_i \right),$

độ dốc của nó là

\begin{aligned} \frac{\partial}{\partial w_{i j}} E & = \frac{\partial E}{\partial y_{j}} \cdot \frac{\partial y_{j}}{\partial w_{i j}} \\ = \frac{\partial E}{\partial y_{j}} \cdot f^{'} (\sum_{i} w_{i j} x_{i}) x_{i} . \end{aligned}

$\begin{align} \frac{\partial}{\partial w_{ij}} E &= \frac{\partial E}{\partial y_j} \cdot \frac{\partial y_j}{\partial w_{ij}} \\ &= \frac{\partial E}{\partial y_j} \cdot f'\left(\sum_i w_{ij} x_i\right) x_i. \end{align}$

Nếu là hàm sigmoid logistic, sẽ gần bằng 0 đối với các đầu vào lớn cũng như các đầu vào nhỏ. Nếu là một đơn vị tuyến tính chỉnh lưu, $f$ $f'$ $f$

đạo hàm bằng 0 chỉ cho đầu vào âm và 1 cho đầu vào dương. Một đóng góp quan trọng khác đến từ việc khởi tạo đúng trọng lượng. Bài viết này trông giống như một nguồn tốt để hiểu các thách thức chi tiết hơn (mặc dù tôi chưa đọc nó):

\begin{aligned} f (u) = max (0, u), \end{aligned}

$\begin{align} f(u) = \max\left(0, u\right), \end{align}$

http://jmlr.org/proceedings/ con / v9 / glorot10a / glorot10a.pdf

— Lucas
nguồn

Tôi hơi bối rối về các đơn vị tuyến tính được chỉnh lưu. Có, đối với sigmoids, v.v ... độ dốc thường rất nhỏ - nhưng đối với các đơn vị tuyến tính được chỉnh lưu, nó thường chính xác bằng không. Điều đó có tệ hơn không? Do đó, nếu trọng lượng của một đơn vị không may, chúng sẽ không bao giờ thay đổi.

— Hans-Peter Störr

Suy nghĩ về điều này, các ReLU bị rò rỉ và / hoặc ồn ào có thể được sử dụng vì lý do đó.

— trời

Tại sao câu đầu tiên của bạn là đúng? Tức là "Vấn đề độ dốc biến mất đòi hỏi chúng ta phải sử dụng tốc độ học tập nhỏ với độ dốc giảm dần, sau đó cần nhiều bước nhỏ để hội tụ." Tại sao chúng ta cần tỷ lệ học tập nhỏ để đối phó với vấn đề độ dốc biến mất? Nếu độ dốc đã nhỏ do độ dốc biến mất, tôi đã dự kiến rằng làm cho chúng nhỏ chỉ làm cho mọi thứ tồi tệ hơn.

— Charlie Parker

Câu hỏi hay, tôi nên giải thích câu nói đó tốt hơn. Vấn đề độ dốc biến mất không phải là tất cả các gradient đều nhỏ (mà chúng ta có thể dễ dàng khắc phục bằng cách sử dụng tỷ lệ học tập lớn), mà là các gradient biến mất khi bạn backpropagate qua mạng. Tức là, độ dốc nhỏ ở một số lớp nhưng lớn ở các lớp khác. Nếu bạn sử dụng tỷ lệ học tập lớn, toàn bộ điều sẽ bùng nổ (vì một số độ dốc lớn), vì vậy bạn phải sử dụng một tỷ lệ học tập nhỏ. Sử dụng nhiều tỷ lệ học tập là một cách tiếp cận khác để giải quyết vấn đề, với chi phí giới thiệu nhiều siêu âm hơn.

— Lucas

Tôi sẽ lập luận rằng tỷ lệ học tập chủ yếu gắn liền với vấn đề độ dốc bùng nổ . Thu nhỏ độ dốc xuống với tốc độ học tập thấp quá mức hoàn toàn không ngăn được độ dốc biến mất, nó chỉ làm chậm hiệu ứng khi việc học chậm lại đáng kể. Hiệu ứng này được gây ra bởi việc áp dụng lặp lại các phi tuyến và nhân các giá trị nhỏ. Tất nhiên có xu hướng đi đến tỷ lệ học tập nhỏ hơn (do sức mạnh tính toán) nhưng điều đó không liên quan gì đến việc biến mất độ dốc vì nó chỉ kiểm soát mức độ không gian trạng thái được khám phá (trong điều kiện ổn định).

— runDOSrun