Sinh viên tổng hợp - lợi ích thiết thực là gì?

Tôi có thể thấy hai động cơ để sử dụng Lớp tổng hợp trong RNN:

1. Để tăng tốc độ đào tạo, bằng cách sửa ngay lập tức từng lớp với độ dốc dự đoán
2. Để có thể học các chuỗi dài hơn

Tôi thấy vấn đề với cả hai. Xin lưu ý, tôi thực sự thích Grad Grad tổng hợp và muốn thực hiện chúng. Nhưng tôi cần hiểu nơi suy nghĩ của tôi không chính xác.

Bây giờ tôi sẽ chỉ ra lý do tại sao Điểm 1 và Điểm 2 dường như không có lợi và tôi cần bạn sửa lỗi cho tôi, nếu chúng thực sự có lợi:

Điểm 1:

Các lớp tổng hợp cho chúng ta biết rằng chúng ta có thể dựa vào một "mạng trợ giúp nhỏ" khác (được gọi là DNI) để tư vấn cho lớp hiện tại của chúng ta về những gì gradient sẽ đến từ phía trên, ngay cả trong khi fwd prop.

Tuy nhiên, độ dốc như vậy sẽ chỉ đến một số hoạt động sau. Cùng một lượng Backprop sẽ phải được thực hiện như không có DNI, ngoại trừ việc bây giờ chúng tôi cũng cần phải đào tạo DNI của mình.

Việc thêm Asyncronisity này không nên làm cho các lớp đào tạo nhanh hơn so với trong fwdprop đầy đủ "bị khóa" truyền thống -> trình tự chống lưng đầy đủ, bởi vì cùng một số tính toán phải được thực hiện bởi thiết bị. Chỉ là các tính toán sẽ bị trượt trong thời gian

Điều này khiến tôi nghĩ rằng Điểm 1) sẽ không hoạt động. Chỉ cần thêm SG giữa mỗi lớp không nên cải thiện tốc độ đào tạo.

Điểm 2:

Ok, làm thế nào về việc chỉ thêm SG trên lớp cuối cùng để dự đoán "độ dốc từ tương lai" và chỉ khi đó là dấu thời gian cuối cùng trong quá trình chuyển tiếp .

Bằng cách này, mặc dù LSTM của chúng tôi phải ngừng dự đoán và phải truyền lại, nhưng nó vẫn có thể dự đoán độ dốc trong tương lai mà nó sẽ nhận được (với sự trợ giúp của DNI đang ngồi trên dấu thời gian cuối cùng).

Xem xét một số buổi đào tạo (phiên A, phiên B):

fwdprop timestep_1A ---> fwdprop timestep_2A ---> fwdprop timestep_3A ----> dừng và bkprop!

fwdprop timestep_1B ---> fwdprop timestep_2B ---> fwdprop timestep_3B ----> dừng và bkprop!

Chúng tôi vừa buộc mạng của mình "phân tích" 6 dấu thời gian thành hai nửa: 3 dấu thời gian, sau đó 3 dấu thời gian còn lại một lần nữa.

Lưu ý, chúng ta có DNI của chúng ta ngồi ở cuối "Phiên A" và dự đoán "độ dốc nào tôi sẽ nhận được từ đầu Phiên B (từ tương lai)". Do đó, timestep_3A sẽ được trang bị độ dốc "có thể đến từ timestep_1B", do đó, thực sự, các hiệu chỉnh được thực hiện trong A sẽ đáng tin cậy hơn.

Nhưng, này! Những "độ dốc tổng hợp" được dự đoán này sẽ rất nhỏ (không đáng kể) - sau tất cả, đó là lý do tại sao chúng tôi bắt đầu một phiên backprop B mới . Không phải chúng quá nhỏ, chúng tôi sẽ chỉ phân tích tất cả 6 dấu thời gian trong một "phiên A" bkprop dài duy nhất.

Do đó, tôi nghĩ rằng Điểm 2) không nên mang lại lợi ích. Thêm SG vào dấu thời gian cuối cùng của fwdprop cho phép đào tạo hiệu quả các chuỗi dài hơn, nhưng độ dốc biến mất không đi đến đâu.

Đồng ý. Có lẽ chúng ta có thể nhận được lợi ích của việc đào tạo "phiên A" , "phiên B" vv trên các máy riêng biệt? Nhưng sau đó, làm thế nào khác với việc đơn giản là đào tạo với các xe buýt nhỏ thông thường song song? Hãy ghi nhớ, đã được đề cập trong điểm 2: mọi thứ trở nên tồi tệ hơn bởi sessionA dự đoán độ dốc đang biến mất.

Câu hỏi: Vui lòng giúp tôi hiểu lợi ích của Gradient tổng hợp, vì 2 điểm trên dường như không có lợi

Nhưng, này! Những "độ dốc tổng hợp" được dự đoán này dù sao cũng sẽ rất nhỏ (không đáng kể) - đó là lý do tại sao chúng tôi bắt đầu một phiên backprop mới B. Không quá nhỏ, chúng tôi sẽ chỉ phân tích tất cả 6 dấu thời gian trong một phiên bkprop dài duy nhất ".

-Điều đó không nhất thiết phải đúng. Chúng tôi thường cắt ngắn và bắt đầu một backprop mới vì các ràng buộc phần cứng, chẳng hạn như bộ nhớ hoặc tốc độ tính toán. Vanishing-gradient có thể được cải thiện bằng các phương tiện khác, chẳng hạn như Gradient bình thường hóa - tăng tỷ lệ vectơ gradient nếu nó quá nhỏ vượt quá các lớp nhất định hoặc giảm tỷ lệ nếu nó sắp nổ. Hoặc thậm chí sử dụng Batch bình thường hóa

Điều quan trọng là phải hiểu cách cập nhật bất kỳ mô-đun DNI nào. Để làm rõ mọi thứ, hãy xem xét một ví dụ về mạng có nhiều lớp và 3 mô đun DNI:

 input
   |
   V
Layer_0 & DNI_0
Layer_1
Layer_2
Layer_3 & DNI_3
Layer_4
Layer_5 & DNI_5
Layer_6
Layer_7
   | 
   V
output

Các DNI_0 luôn được đào tạo với một tổng hợp độ dốc đến từ DNI_3 (chảy qua Layer_2, và Layer_1 tất nhiên), chọn địa điểm một vài lớp nữa.

Tương tự như vậy, DNI_3 luôn được đào tạo với độ dốc tổng hợp đến từ DNI_5

DNI_0 hoặc DNI_3 sẽ không bao giờ nhìn thấy độ dốc thực sự, bởi vì độ dốc thực sự chỉ được gửi đến DNI_5 chứ không phải sớm hơn.

Đối với bất cứ ai vẫn đang cố gắng để hiểu họ, hãy đọc blogpost tuyệt vời này , phần 3

Các lớp trước đó sẽ phải hài lòng với độ dốc tổng hợp, bởi vì chúng hoặc DNI của chúng sẽ không bao giờ chứng kiến ​​"độ dốc thực sự".

Về đào tạo song song với xe buýt nhỏ thay vì song song thông qua các lớp tổng hợp:

Trình tự dài hơn chính xác hơn so với xe buýt nhỏ, tuy nhiên xe buýt nhỏ thêm hiệu ứng điều tiết . Nhưng, được đưa ra một số kỹ thuật để ngăn chặn độ dốc phát nổ hoặc biến mất, việc đào tạo các chuỗi dài hơn có thể cung cấp cái nhìn sâu sắc hơn về bối cảnh của vấn đề. Đó là bởi vì mạng xâm nhập đầu ra sau khi xem xét một chuỗi đầu vào dài hơn, vì vậy kết quả hợp lý hơn.

Để so sánh các lợi ích do SG cấp, hãy tham khảo sơ đồ trang 6 của Bài viết , chủ yếu là có thể giải quyết các chuỗi dài hơn, điều mà tôi cảm thấy có lợi nhất (dù sao chúng ta cũng có thể song song thông qua Minibatch, và do đó SG không nên tăng tốc xử lý khi được thực hiện trên cùng một máy - ngay cả khi chúng tôi thực sự chỉ truyền tới DNI tiếp theo).

Tuy nhiên, chúng ta càng có nhiều mô-đun DNI, tín hiệu sẽ càng nhiễu. Vì vậy, có thể đáng để đào tạo các lớp và DNI tất cả bằng backprop kế thừa, và chỉ sau khi một số kỷ nguyên đã trôi qua, chúng tôi bắt đầu sử dụng DNI-bootstrapping đã thảo luận ở trên.

Bằng cách đó, DNI sớm nhất sẽ có được ít nhất một số ý nghĩa về những gì mong đợi khi bắt đầu đào tạo. Đó là bởi vì các DNI sau đây không chắc chắn về độ dốc thực sự trông như thế nào, khi bắt đầu đào tạo, vì vậy ban đầu, họ sẽ tư vấn độ dốc "rác" cho bất kỳ ai ngồi sớm hơn họ.

Đừng quên rằng các tác giả cũng đã thử nghiệm dự đoán đầu vào thực tế cho mỗi lớp.

Nếu các lớp của bạn có backprop đắt tiền (có lẽ bạn có Batch-Normalization hoặc một số chức năng kích hoạt ưa thích), việc sửa lỗi với DNI có thể rẻ hơn rất nhiều, khi nó được đào tạo đầy đủ. Chỉ cần nhớ rằng DNI không miễn phí - nó yêu cầu nhân ma trận và có thể sẽ không cung cấp nhiều tốc độ trên một lớp dày đặc đơn giản.

Minibatch cho chúng ta tăng tốc (thông qua song song) và cũng cho chúng ta sự chính quy. Các lớp tổng hợp cho phép chúng ta suy luận tốt hơn bằng cách làm việc với các chuỗi dài hơn và (có khả năng) độ dốc ít tốn kém hơn. Tất cả cùng nhau đây là một hệ thống rất mạnh mẽ.

Độ dốc tổng hợp làm cho việc đào tạo nhanh hơn, không phải bằng cách giảm số lượng kỷ nguyên cần thiết hoặc bằng cách tăng tốc độ hội tụ của độ dốc, mà bằng cách làm cho mỗi kỷ nguyên nhanh hơn để tính toán. Độ dốc tổng hợp nhanh hơn để tính toán so với độ dốc thực (tính toán độ dốc tổng hợp nhanh hơn so với độ đảo ngược), do đó, mỗi lần lặp lại độ dốc có thể được tính toán nhanh hơn.