Đây là một câu hỏi về thuật ngữ. Đôi khi tôi thấy mọi người gọi các mạng lưới thần kinh sâu là "tri giác đa tầng", tại sao lại như vậy? Một perceptron, tôi đã được dạy, là một bộ phân loại một lớp (hoặc biến hồi quy) với đầu ra ngưỡng nhị phân sử dụng một cách cụ thể để đào tạo các trọng số (không phải là back-prop). Nếu đầu ra của perceptron không khớp với đầu ra đích, chúng ta sẽ cộng hoặc trừ vectơ đầu vào thành các trọng số (tùy thuộc vào việc perceptron cho kết quả dương tính giả hay âm tính giả). Đây là một thuật toán học máy khá nguyên thủy. Quy trình đào tạo dường như không khái quát hóa cho trường hợp nhiều lớp (ít nhất là không phải không sửa đổi). Một mạng lưới thần kinh sâu được đào tạo thông qua backprop sử dụng quy tắc chuỗi để truyền các gradient của hàm chi phí trở lại thông qua tất cả các trọng số của mạng.

Vì vậy, câu hỏi là. Là một "tri giác đa lớp" có giống với "mạng lưới thần kinh sâu" không? Nếu vậy, tại sao thuật ngữ này được sử dụng? Nó dường như là khó hiểu không cần thiết. Ngoài ra, giả sử thuật ngữ này có thể hoán đổi cho nhau, tôi chỉ thấy thuật ngữ "tri giác đa lớp" khi đề cập đến một mạng chuyển tiếp được tạo thành từ các lớp được kết nối đầy đủ (không có lớp chập hoặc kết nối lặp lại). Làm thế nào rộng là thuật ngữ này? Liệu người ta có sử dụng thuật ngữ "perceptionron nhiều lớp" khi đề cập đến, ví dụ, mạng Inception không? Làm thế nào về một mạng lặp lại sử dụng các mô-đun LSTM được sử dụng trong NLP?

Người ta có thể coi perceptionron nhiều lớp (MLP) là một tập hợp con của mạng nơ ron sâu (DNN), nhưng thường được sử dụng thay thế cho nhau trong tài liệu.

Giả định rằng các tri giác được đặt tên dựa trên quy tắc học tập của chúng là không chính xác. "Quy tắc cập nhật perceptron" cổ điển là một trong những cách có thể được sử dụng để huấn luyện nó. Sự từ chối sớm của các mạng thần kinh là vì lý do này, vì quy tắc cập nhật perceptron có xu hướng biến mất và làm nổ các gradient, khiến cho không thể đào tạo các mạng có nhiều hơn một lớp.

Việc sử dụng lan truyền ngược trong các mạng đào tạo đã dẫn đến việc sử dụng các chức năng kích hoạt squash xen kẽ như tanh và sigmoid .

Vì vậy, để trả lời các câu hỏi,

câu hỏi là. Là một "tri giác đa lớp" có giống với "mạng lưới thần kinh sâu" không?

MLP là tập hợp con của DNN. Trong khi DNN có thể có các vòng lặp và MLP luôn chuyển tiếp, nghĩa là,

Một tri giác đa lớp (MLP) là một đồ thị chu kỳ hữu hạn

Tại sao thuật ngữ này được sử dụng?

Rất nhiều thuật ngữ được sử dụng trong các tài liệu của khoa học đã được sử dụng theo xu hướng của thời đại và đã bắt kịp.

Làm thế nào rộng là thuật ngữ này? Liệu người ta có sử dụng thuật ngữ "perceptionron nhiều lớp" khi đề cập đến, ví dụ, mạng Inception không? Làm thế nào về một mạng lặp lại sử dụng các mô-đun LSTM được sử dụng trong NLP?

Vì vậy, có sự khởi đầu, mạng chập, resnet, v.v ... đều là MLP vì không có chu kỳ giữa các kết nối. Ngay cả khi có một kết nối phím tắt bỏ qua các lớp, miễn là nó theo hướng thuận, nó có thể được gọi là một tri giác đa lớp. Nhưng, các LSTM hoặc Vanilla RNNs v.v ... có các kết nối tuần hoàn, do đó không thể được gọi là MLP mà là một tập hợp con của DNN.

Đây là sự hiểu biết của tôi về mọi thứ. Xin hãy sửa tôi nếu tôi sai.

Liên kết tham khảo:

/cs/53521/what-is-difference-b between-mult lớp-perceptron-and-multlay-neural-network

https://en.wikipedia.org/wiki/Mult Lớp_perceptron

https://en.wikipedia.org/wiki/Perceptron

http://ml.informatik.uni-freiburg.de/former/_media/teaching/ss10/05_mlps.printer.pdf

Câu hỏi hay: lưu ý rằng trong lĩnh vực Deep Learning, mọi thứ không phải lúc nào cũng được cắt ghép và định nghĩa rõ ràng như trong Học thống kê (cũng bởi vì có rất nhiều sự cường điệu), vì vậy đừng mong đợi tìm thấy các định nghĩa khắt khe như trong Toán học. Dù sao, perceptionron đa lớp là một kiến ​​trúc mạng thần kinh chuyển tiếp nguồn cấp dữ liệu cụ thể, trong đó bạn xếp chồng nhiều lớp được kết nối đầy đủ (vì vậy, không có lớp chập nào), trong đó các chức năng kích hoạt của các đơn vị ẩn thường là một sigmoid hoặc tanh. Các nút của lớp đầu ra thường có các hàm kích hoạt softmax (để phân loại) hoặc các hàm kích hoạt tuyến tính (cho hồi quy). Các kiến ​​trúc MLP điển hình không "sâu", nghĩa là chúng ta không có nhiều lớp ẩn. Bạn thường có 1 đến 5 lớp ẩn. Những mạng lưới thần kinh này là phổ biến trong '80,

Bây giờ, với Mạng lưới thần kinh sâu, chúng tôi muốn nói đến một mạng có nhiều lớp (19, 22, 152, ... thậm chí > 1200 , mặc dù điều đó phải thừa nhận là rất cực đoan). Lưu ý rằng

• chúng tôi chưa chỉ định kiến ​​trúc của mạng, vì vậy đây có thể là chuyển tiếp, lặp lại, v.v.
• chúng tôi chưa chỉ định bản chất của các kết nối, vì vậy chúng tôi có thể có các lớp được kết nối đầy đủ, các lớp chập, tái phát, v.v.
• Các lớp "nhiều" thừa nhận không phải là một định nghĩa nghiêm ngặt.

$\Rightarrow 32\times32+32\times10 = 1344$$\Rightarrow 11584$trọng lượng. Đây là một NN rất nhỏ theo tiêu chuẩn ngày nay. Tuy nhiên, khi bạn tiếp tục huấn luyện nó trên một tập dữ liệu lớn phù hợp, bạn thấy rằng tốc độ hội tụ đã chậm lại rất nhiều. Điều này không chỉ do số lượng trọng lượng lớn hơn, mà còn do vấn đề độ dốc biến mất - lan truyền ngược tính toán độ dốc của hàm mất bằng cách nhân các lỗi trên mỗi lớp và các số nhỏ này trở nên nhỏ hơn theo cấp số nhân khi bạn thêm nhiều lớp. Do đó, các lỗi không lan truyền (hoặc lan truyền rất chậm) xuống mạng của bạn và có vẻ như lỗi trên tập huấn luyện ngừng giảm khi các kỷ nguyên đào tạo.

Và đây là một mạng nhỏ - Mạng nơ ron kết hợp sâu có tên AlexNet có 5 lớp nhưng 60 triệu trọng lượng và được coi là nhỏ theo tiêu chuẩn ngày nay! Khi bạn có quá nhiều trọng lượng, thì bất kỳ bộ dữ liệu nào cũng "nhỏ" - ngay cả ImageNet, một bộ dữ liệu hình ảnh được sử dụng để phân loại, chỉ "khoảng" khoảng 1 triệu hình ảnh, do đó, nguy cơ quá mức lớn hơn nhiều so với mạng nông.

Do đó, Deep Learning có thể được hiểu là tập hợp các công cụ được sử dụng trong thực tế để huấn luyện các mạng lưới thần kinh với số lượng lớn các lớp và trọng lượng, đạt được lỗi tổng quát hóa thấp. Nhiệm vụ này đặt ra nhiều thách thức hơn đối với các mạng nhỏ hơn. Bạn chắc chắn có thể xây dựng một Perceptron đa lớp sâu và huấn luyện nó - nhưng (ngoài thực tế nó không phải là kiến ​​trúc tối ưu cho nhiều tác vụ mà Deep Learning được sử dụng ngày nay), bạn có thể sẽ sử dụng các công cụ khác với các công cụ được sử dụng khi sử dụng mạng "Nông cạn". Ví dụ: bạn có thể thích các đơn vị kích hoạt ReLU hơn sigmoid hoặc tanh, vì chúng làm dịu vấn đề độ dốc biến mất.

Tôi muốn thêm rằng theo những gì tôi đã đọc từ nhiều bài viết:

Có nhiều kiến ​​trúc khác nhau thông qua DNN như: MLP (Perceptionron nhiều lớp) và CNN (Mạng thần kinh chuyển đổi). Vì vậy, loại DNN khác nhau được thiết kế để giải quyết các loại vấn đề khác nhau.

MLP là loại NN cổ điển được sử dụng cho:

• Tập dữ liệu dạng bảng (chứa dữ liệu ở định dạng cột như trong bảng cơ sở dữ liệu).
• Phân loại / hồi quy, pbs dự đoán.

MLP rất và có thể được sử dụng nói chung để ánh xạ nghiêng từ đầu vào đến đầu ra.

Nhưng bạn có thể thử định dạng khác như dữ liệu hình ảnh làm điểm so sánh đường cơ sở để xác nhận rằng các mô hình khác phù hợp hơn.

CNN được thiết kế để ánh xạ dữ liệu hình ảnh đến một biến đầu ra. Nó được sử dụng cho :

• Dữ liệu hình ảnh,
• phân loại / dự báo hồi quy pbs,

Nó hoạt động tốt với dữ liệu có mối quan hệ Spacial .

Theo truyền thống, nó được sử dụng cho dữ liệu 2D nhưng nó có thể được sử dụng cho dữ liệu 1D, CNN đạt được trạng thái nghệ thuật trên một số pbs 1D.

Trước tiên, bạn phải "xác định rõ ràng" những gì bạn nhắm đến để giải quyết vấn đề (loại dữ liệu nào cần xử lý, vấn đề phân loại / hồi quy ... vv) để biết loại kiến ​​trúc nào sẽ sử dụng.

Bạn có thể tham khảo những liên kết rất hữu ích với tôi để hiểu thêm về những khái niệm đó :).

• MLPS .
• CNNs.
• Khi nào nên sử dụng Mạng thần kinh MLP, CNN và RNN.

Hy vọng phần bổ sung này sẽ hữu ích: p.