xáo trộn dữ liệu trong đào tạo hàng loạt nhỏ của mạng lưới thần kinh

Trong khóa đào tạo hàng loạt của một mạng lưới thần kinh, tôi nghe nói rằng một thực tiễn quan trọng là xáo trộn dữ liệu đào tạo trước mỗi kỷ nguyên. Ai đó có thể giải thích tại sao sự xáo trộn ở mỗi kỷ nguyên giúp?

Từ tìm kiếm google, tôi tìm thấy các câu trả lời sau:

• nó giúp đào tạo hội tụ nhanh
• nó ngăn chặn bất kỳ sự thiên vị trong quá trình đào tạo
• nó ngăn cản mô hình học thứ tự đào tạo

Nhưng, tôi gặp khó khăn trong việc hiểu tại sao bất kỳ hiệu ứng nào trong số đó là do sự xáo trộn ngẫu nhiên. Bất cứ ai có thể cung cấp một lời giải thích trực quan?

Cảm ơn,

Để cố gắng đưa ra một lời giải thích khác:

Một trong những điều mạnh mẽ nhất về mạng thần kinh là chúng có thể là các hàm rất phức tạp, cho phép một người tìm hiểu các mối quan hệ rất phức tạp giữa dữ liệu đầu vào và đầu ra của bạn. Các mối quan hệ này có thể bao gồm những điều bạn sẽ không bao giờ mong đợi, chẳng hạn như thứ tự dữ liệu được cung cấp trong mỗi epoch. Nếu thứ tự dữ liệu trong mỗi kỷ nguyên là như nhau, thì mô hình có thể sử dụng điều này như một cách để giảm lỗi đào tạo, đó là một loại quá mức.

Liên quan đến tốc độ: Các phương pháp lô nhỏ dựa vào độ dốc dốc ngẫu nhiên (và cải tiến trên đó), có nghĩa là chúng dựa vào tính ngẫu nhiên để tìm mức tối thiểu. Xáo trộn các lô nhỏ làm cho độ dốc thay đổi nhiều hơn, điều này có thể giúp hội tụ vì nó làm tăng khả năng đạt được hướng tốt (hoặc ít nhất đó là cách tôi hiểu về nó).

Từ một điểm rất đơn giản của xem, dữ liệu được đưa vào liên tục, điều này cho thấy rằng ít nhất, nó có thể cho thứ tự dữ liệu có ảnh hưởng đến đầu ra. Nếu thứ tự không thành vấn đề, ngẫu nhiên chắc chắn sẽ không bị tổn thương. Nếu thứ tự có vấn đề, ngẫu nhiên sẽ giúp làm giảm các hiệu ứng ngẫu nhiên đó để chúng không trở thành sai lệch hệ thống. Nói tóm lại, ngẫu nhiên là rẻ và không bao giờ bị tổn thương, và thường sẽ giảm thiểu các hiệu ứng sắp xếp dữ liệu.

Lưu ý: trong suốt câu trả lời này, tôi đề cập đến việc giảm thiểu tổn thất đào tạo và tôi không thảo luận về các tiêu chí dừng như mất xác nhận. Việc lựa chọn tiêu chí dừng không ảnh hưởng đến quá trình / khái niệm được mô tả dưới đây.

Quá trình đào tạo mạng nơ-ron là tìm giá trị tối thiểu của hàm mất , trong đó W đại diện cho ma trận (hoặc một số ma trận) trọng số giữa các nơ-ron và X đại diện cho tập dữ liệu huấn luyện. Tôi sử dụng một subscript cho X để chỉ ra rằng giảm thiểu của chúng ta về ℒ chỉ xảy ra trên các trọng số W (có nghĩa là, chúng tôi đang tìm kiếm W mà ℒ được giảm thiểu) trong khi X là cố định.$ℒ_X(W)$$W$$X$$X$$ℒ$$W$$W$$ℒ$$X$

Bây giờ, nếu chúng ta giả định rằng chúng ta có yếu tố trong W (có nghĩa là, có P trọng trong mạng), ℒ là một bề mặt trong một P + 1 không gian ba chiều. Để đưa ra một sự tương tự trực quan, hãy tưởng tượng rằng chúng ta chỉ có hai trọng lượng nơ-ron ( P = 2 ). Sau đó ℒ có một giải thích hình học đơn giản: đó là một bề mặt trong một không gian 3 chiều. Điều này xuất phát từ thực tế là đối với bất kỳ ma trận có trọng số W nào , hàm mất có thể được đánh giá trên X và giá trị đó trở thành độ cao của bề mặt.$P$$W$$P$$ℒ$$P+1$$P=2$$ℒ$$W$$X$

Nhưng có vấn đề không lồi lõm; bề mặt tôi mô tả sẽ có rất nhiều cực tiểu cục bộ, và do đó các thuật toán giảm độ dốc dễ bị "kẹt" trong các cực tiểu đó trong khi giải pháp sâu hơn / thấp hơn / tốt hơn có thể nằm gần đó. Điều này có thể xảy ra nếu không thay đổi trên tất cả các lần lặp đào tạo, bởi vì bề mặt được cố định cho một X cho trước ; tất cả các tính năng của nó là tĩnh, bao gồm các cực tiểu khác nhau của nó.$X$$X$

Một giải pháp cho vấn đề này là đào tạo hàng loạt kết hợp với xáo trộn. Bằng cách xáo trộn các hàng và chỉ đào tạo một tập hợp con của chúng trong một lần lặp đã cho, thay đổi theo mỗi lần lặp và thực tế là không có hai lần lặp nào trong toàn bộ chuỗi lặp và đào tạo sẽ được thực hiện trên cùng một X chính xác . Hiệu quả là bộ giải có thể dễ dàng "bật" ra khỏi mức tối thiểu cục bộ. Hãy tưởng tượng rằng bộ giải bị kẹt ở mức tối thiểu cục bộ khi lặp i với đào tạo mini- i X i . Mức tối thiểu cục bộ này tương ứng với ℒ được đánh giá ở một giá trị trọng số cụ thể; chúng tôi sẽ gọi nó là ℒ X i ( $X$$X$$i$$X_i$$ℒ$ . Ở lần lặp lại tiếp theo, hình dạng bề mặt mất mát của chúng ta thực sự thay đổi bởi vì chúng ta đang sử dụng X i + 1 , nghĩa là, ℒ X i + 1 ( W i ) có thể có giá trị rất khác so với ℒ X i ( W i ) và nó hoàn toàn có thể là nó không tương ứng với mức tối thiểu cục bộ! Bây giờ chúng ta có thể tính toán một bản cập nhật gradient và tiếp tục đào tạo. Để rõ ràng: hình dạng của ℒ X i + 1 sẽ - nói chung - khác với hình dạng của ℒ X $ℒ_{X_i}(W_i)$$X_{i+1}$$ℒ_{X_{i+1}}(W_i)$$ℒ_{X_i}(W_i)$$ℒ_{X_{i+1}}$$ℒ_{X_{i}}$. Lưu ý rằng ở đây tôi đề cập đến hàm tổn thất đánh giá trên tập huấn luyện X ; nó là một bề mặt hoàn toàn được xác định trên tất cả các giá trị có thể của W , chứ không phải là việc đánh giá thiệt hại đó (mà chỉ là một vô hướng) cho một giá trị cụ thể của W . Cũng lưu ý rằng nếu các lô nhỏ được sử dụng mà không xáo trộn thì vẫn có một mức độ "đa dạng hóa" bề mặt tổn thất, nhưng sẽ có một số lượng hữu hạn (và tương đối nhỏ) các bề mặt lỗi duy nhất mà người giải quyết nhìn thấy (cụ thể, nó sẽ thấy cùng một bộ chính xác của các lô nhỏ - và do đó làm mất bề mặt - trong mỗi kỷ nguyên).$ℒ$$X$$W$$W$

Một điều tôi cố tình tránh là một cuộc thảo luận về kích thước lô nhỏ, bởi vì có hàng triệu ý kiến ​​về điều này và nó có ý nghĩa thực tiễn quan trọng (có thể đạt được sự song song lớn hơn với các lô lớn hơn). Tuy nhiên, tôi tin rằng sau đây là đáng nói. Bởi vì được đánh giá bằng cách tính toán giá trị cho mỗi hàng của X (và tổng hợp hoặc lấy trung bình; ví dụ, một nhà điều hành giao hoán) cho một tập hợp các ma trận trọng lượng W , sự sắp xếp của các hàng của X không có tác dụng khi sử dụng full- giảm dần độ dốc hàng loạt (nghĩa là khi mỗi lô là X đầy đủ , và các lần lặp và epoch là cùng một thứ).$ℒ$$X$$W$$X$ $X$

Hãy tưởng tượng vài nhãn cuối cùng của bạn thực sự có nhiều tiếng ồn hơn. Sau đó, các lô này sẽ kéo các trọng số đã học cuối cùng đi sai hướng. Nếu bạn xáo trộn mỗi lần, cơ hội của vài đợt cuối bị nhiễu không tương xứng sẽ giảm.

Khi bạn huấn luyện mạng của mình bằng cách sử dụng một bộ dữ liệu cố định, nghĩa là dữ liệu bạn không bao giờ xáo trộn trong quá trình đào tạo. Bạn rất có thể có được trọng lượng rất cao và rất thấp, chẳng hạn như 40,70, -101,200 ... vv. Điều này đơn giản có nghĩa là mạng của bạn chưa học được dữ liệu đào tạo nhưng nó đã học được tiếng ồn của dữ liệu đào tạo của bạn. Trường hợp cổ điển của một mô hình overfit. Với mạng như vậy, bạn sẽ nhận được vị trí dự đoán cho dữ liệu bạn đã sử dụng để đào tạo. Nếu bạn sử dụng bất kỳ đầu vào nào khác để kiểm tra nó, mô hình của bạn sẽ sụp đổ. Bây giờ, khi bạn xáo trộn dữ liệu huấn luyện sau mỗi kỷ nguyên (lặp lại tập hợp tổng thể), bạn chỉ cần cung cấp đầu vào khác nhau cho các nơ-ron ở mỗi kỷ nguyên và điều đó chỉ đơn giản là điều chỉnh các trọng số có nghĩa là bạn có khả năng nhận được các trọng số "thấp hơn" gần bằng 0 và điều đó có nghĩa là mạng của bạn có thể tạo ra sự khái quát tốt hơn.

Tôi hy vọng điều đó đã rõ ràng.

Đây là một lời giải thích trực quan hơn:

Khi sử dụng độ dốc giảm dần, chúng tôi muốn giảm tổn thất theo hướng gradient. Độ dốc được tính bằng dữ liệu từ một lô nhỏ cho mỗi vòng cập nhật trọng lượng. Điều chúng tôi muốn xảy ra là độ dốc dựa trên lô nhỏ này gần bằng độ dốc dân số, bởi vì điều này được dự kiến ​​sẽ tạo ra sự hội tụ nhanh hơn. (Hãy tưởng tượng nếu bạn cung cấp dữ liệu mạng 100 class1 trong một đợt nhỏ và 100 dữ liệu class2 trong một mạng khác, mạng sẽ di chuột xung quanh. Cách tốt hơn là cung cấp dữ liệu với 50 class1 + 50 class2 trong mỗi đợt nhỏ.)

Làm thế nào để đạt được điều này vì chúng ta không thể sử dụng dữ liệu dân số trong một đợt nhỏ? Nghệ thuật thống kê cho chúng ta biết: xáo trộn dân số và các mẩu dữ liệu theo đợt đầu tiên có thể đại diện cho dân số. Đây là lý do tại sao chúng ta cần xáo trộn dân số.

Tôi phải nói rằng, xáo trộn là không cần thiết nếu bạn có phương pháp khác để lấy mẫu dữ liệu từ dân số và đảm bảo các mẫu có thể tạo ra độ dốc hợp lý.

Đó là sự hiểu biết của tôi. Hy vọng nó giúp.