Mạng lưới thần kinh sâu khác với các mạng thần kinh khác như thế nào?

Làm thế nào một mạng lưới thần kinh có tính từ "sâu" thực sự phân biệt với các mạng tương tự khác?

— ken
nguồn

Sự khác biệt chủ yếu là ở số lượng lớp.

Trong một thời gian dài, người ta tin rằng "1-2 lớp ẩn là đủ cho hầu hết các nhiệm vụ" và việc sử dụng nhiều hơn thế là không thực tế, bởi vì việc đào tạo mạng lưới thần kinh có thể đòi hỏi rất cao về mặt tính toán.

Ngày nay, máy tính có khả năng nhiều hơn, vì vậy mọi người đã bắt đầu sử dụng các mạng có nhiều lớp hơn và thấy rằng chúng hoạt động rất tốt cho một số tác vụ.

Từ "sâu" chỉ đơn giản là để phân biệt các mạng này với các mạng truyền thống, "nông hơn".

— Lurker bất mãn
nguồn

Nếu tôi hiểu "học sâu" một cách chính xác, có một số tham số (trọng số) được gắn với nhau, do đó làm giảm không gian tham số. NN bình thường không thể làm điều đó.

— Raphael

@Raphael, re : some parameters (weights) that are tied together, thus reducing the parameter space, bạn có nghĩa là Mạng thần kinh chuyển đổi?

— khai

@publicgk Đó là những gì tôi thấy, vâng.

— Raphael

Tôi đã luôn nghe "học sâu" là khi bạn sử dụng các bộ dữ liệu rất lớn. Đây có phải là một sai lầm và kích thước của dữ liệu không thành vấn đề - hay mọi người có liên quan đến việc học sâu với các tập dữ liệu khổng lồ bởi vì đó là những gì cần thiết cho đào tạo.

— Steven Sagona

Tôi muốn chỉ ra rằng "niềm tin" này rằng một mạng lưới thần kinh chỉ với 1 lớp ẩn có thể tính toán bất kỳ chức năng nào thực sự đã được chứng minh (xem ví dụ: neuralnetworksanddeeplearning.com/chap4.html ). Tôi nghĩ bạn nên giải thích thêm một chút về lý do tại sao nhiều hơn 1 lớp ẩn lại "tiện lợi".

— nbro

Một mạng lưới thần kinh sâu chỉ là một mạng lưới thần kinh (chuyển tiếp) với nhiều lớp.

Tuy nhiên, các mạng lưới niềm tin sâu sắc, các mạng Deep Boltzman, v.v., không được xem là mạng lưới thần kinh sâu (gây tranh cãi), vì cấu trúc liên kết của chúng là khác nhau (chúng có các mạng không bị chặn trong cấu trúc liên kết của chúng).

Xem thêm: /stats//a/59854/84191 .

— Dawny33
nguồn