Nếu mỗi nơ-ron trong một mạng nơ-ron về cơ bản là một hàm hồi quy logistic, tại sao nhiều lớp lại tốt hơn?

Tôi sẽ tham gia khóa học DeepAI của Cousera (video Tuần 3 1 "Tổng quan về mạng lưới thần kinh") và Andrew Ng đang giải thích làm thế nào mỗi lớp trong mạng lưới thần kinh chỉ là một hồi quy logistic, nhưng anh ta không giải thích cách nó làm cho mọi thứ chính xác hơn.

Vậy trong mạng 2 lớp, làm thế nào để tính toán logistic nhiều lần làm cho nó chính xác hơn?

Khi sử dụng các hàm kích hoạt logistic, đúng là hàm liên quan đến đầu vào của mỗi đơn vị với đầu ra của nó giống như đối với hồi quy logistic. Nhưng, điều này thực sự không giống như mỗi đơn vị thực hiện hồi quy logistic. Sự khác biệt là, trong hồi quy logistic, các trọng số và độ lệch được chọn sao cho đầu ra phù hợp nhất với các giá trị đích đã cho (sử dụng tổn thất log / entropy chéo). Ngược lại, các đơn vị ẩn trong mạng lưới thần kinh gửi đầu ra của chúng đến các đơn vị hạ nguồn. Không có đầu ra mục tiêu để phù hợp cho các đơn vị ẩn riêng lẻ. Thay vào đó, các trọng số và độ lệch được chọn để giảm thiểu một số hàm mục tiêu phụ thuộc vào đầu ra cuối cùng của mạng.

Thay vì thực hiện hồi quy logistic, có thể có ý nghĩa hơn khi nghĩ về mỗi đơn vị ẩn khi tính toán tọa độ trong một số không gian tính năng. Từ quan điểm này, mục đích của một lớp ẩn là biến đổi đầu vào của nó - vectơ đầu vào được ánh xạ thành một vectơ kích hoạt lớp ẩn. Bạn có thể nghĩ về điều này như ánh xạ đầu vào vào một không gian đặc trưng với kích thước tương ứng với từng đơn vị ẩn.

Lớp đầu ra thường có thể được coi là một thuật toán học tập tiêu chuẩn hoạt động trong không gian tính năng này. Ví dụ, trong một nhiệm vụ phân loại, sử dụng đơn vị đầu ra logistic có mất entropy chéo tương đương với thực hiện hồi quy logistic trong không gian tính năng (hoặc hồi quy logistic đa phương nếu sử dụng đầu ra softmax). Trong tác vụ hồi quy, sử dụng đầu ra tuyến tính có lỗi bình phương tương đương với thực hiện hồi quy tuyến tính bình phương nhỏ nhất trong không gian tính năng.

Đào tạo số lượng mạng để học chức năng ánh xạ không gian tính năng và phân loại / hồi quy (trong không gian tính năng), cùng nhau, mang lại hiệu suất tốt nhất. Giả sử các đơn vị ẩn phi tuyến, tăng chiều rộng của lớp ẩn hoặc xếp chồng nhiều lớp ẩn cho phép ánh xạ không gian tính năng phức tạp hơn, do đó cho phép các chức năng phức tạp hơn phù hợp.

Một cách để thấy sức mạnh của phi tuyến là lưu ý định lý xấp xỉ phổ quát .

Mặc dù nó không thực sự quan trọng trong thực tế (về khả năng của các mạng một lớp), nhưng nó cho bạn biết rằng nếu bạn sử dụng các sigmoids (tùy ý dài), về nguyên tắc bạn có thể xấp xỉ bất kỳ chức năng liên tục nào với bất kỳ mức độ mong muốn nào. Nếu bạn biết lý thuyết Fourier hoặc nhớ định lý xấp xỉ Weierstrass thì không nên ngạc nhiên.

Khi có các lớp ẩn tồn tại trong mạng nơ ron, chúng ta sẽ thêm các tính năng phi tuyến tính. Vui lòng kiểm tra câu trả lời của tôi ở đây để có được một số ý nghĩa.

Điều gì làm cho các mạng thần kinh là một mô hình phân loại phi tuyến?

Cụ thể, một hàm sigmoid lồng nhau sẽ "mạnh mẽ" hơn một phép biến đổi tuyến tính của các tính năng gốc và một hàm sigmoid (hồi quy logistic.)

Dưới đây là một ví dụ bằng số để giải quyết các bình luận của OP.

$X$$10 \times 3$$7$$W$$3 \times 7$$X \times W$$10 \times 7$$7$

Trong hồi quy logistic tiêu chuẩn, chúng ta có 1 đầu ra trong lớp cuối cùng. Tuy nhiên, với một mạng nơ ron lớp ẩn duy nhất, chúng ta có thể có nhiều giá trị trung gian mà mỗi giá trị có thể được coi là đầu ra của một mô hình hồi quy logistic khác nhau, nghĩa là chúng ta không chỉ thực hiện cùng một hồi quy logistic. Sau đó, không phải là một bước nhảy lớn để nghĩ rằng có thể sự kết hợp của những thứ này có khả năng biểu cảm lớn hơn mô hình hồi quy logistic tiêu chuẩn (và cũng đã được thể hiện trong thực tiễn và lý thuyết ).

$N$$\displaystyle y_j = f\left(\sum_{i = 1}^N w_{ji} \cdot x_i + b_j\right)$$f$$w_{ji}$$x_i$$b_j$là một số sai lệch. Các trọng số được chọn bởi một thuật toán tối ưu hóa để tối ưu hóa mục tiêu của chúng tôi, ví dụ như giảm thiểu lỗi phân loại. Khởi tạo là rất quan trọng đối với các thuật toán giảm độ dốc thường được sử dụng để tối ưu hóa các trọng số. Xem https://intoli.com/blog/neural-network-initialization/ trong đó nếu tất cả các trọng số bắt đầu từ 0, mạng không thể học được.