Làm thế nào một mạng thần kinh nhân tạo ANN, có thể được sử dụng để phân cụm không giám sát?

Tôi hiểu làm thế nào một artificial neural network (ANN), có thể được đào tạo một cách có giám sát bằng cách sử dụng backpropogation để cải thiện sự phù hợp bằng cách giảm lỗi trong các dự đoán. Tôi đã nghe nói rằng ANN có thể được sử dụng cho việc học tập không giám sát nhưng làm thế nào điều này có thể được thực hiện mà không có chức năng chi phí nào đó để hướng dẫn các giai đoạn tối ưu hóa? Với k-mean hoặc thuật toán EM, có một chức năng mà mỗi lần tìm kiếm lặp lại sẽ tăng lên.

Làm cách nào chúng tôi có thể phân cụm với ANN và sử dụng cơ chế nào để nhóm các điểm dữ liệu trong cùng một địa phương?

(và những khả năng bổ sung nào được mang theo khi thêm nhiều lớp vào nó?)

— Vass
nguồn

Bạn có quan tâm đến việc học tập không giám sát NN nói chung, hay cụ thể là phân cụm không giám sát với các mạng lưới thần kinh?

— Denis Tarasov

@DenisTaraov, tôi quan tâm chủ yếu đến việc phân nhóm không giám sát với NN, nhưng không biết nhiều về việc học NN không được giám sát nói chung. Sẽ thật tuyệt nếu một câu trả lời sẽ bao gồm một chút về việc học tập không giám sát NN nói chung trước khi thảo luận về ứng dụng cụ thể.

— Vass 3/03/2015

Bản đồ tự tổ chức (SOM) là một loại mạng được sử dụng để phân cụm.

— Cagdas Ozgenc 3/03/2015

học tập không giám sát trong ANN - Nó trích xuất các thuộc tính thống kê từ tập huấn luyện. - Học tập không giám sát là khó khăn hơn nhưng được coi là hợp lý về mặt sinh học - Yêu cầu không có giáo viên.

— yonas

Câu trả lời:

Mạng lưới thần kinh được sử dụng rộng rãi trong học tập không giám sát để tìm hiểu các biểu diễn tốt hơn của dữ liệu đầu vào. Ví dụ, được cung cấp một tập hợp các tài liệu văn bản, NN có thể tìm hiểu ánh xạ từ tài liệu sang vectơ có giá trị thực theo cách các vectơ kết quả tương tự đối với các tài liệu có nội dung tương tự, tức là giữ khoảng cách. Điều này có thể đạt được bằng cách sử dụng, ví dụ, bộ mã hóa tự động - một mô hình được đào tạo để tái tạo lại vectơ gốc từ một biểu diễn nhỏ hơn (kích hoạt lớp ẩn) với lỗi tái tạo (khoảng cách từ hàm ID) làm hàm chi phí. Quá trình này không cung cấp cho bạn các cụm, nhưng nó tạo ra các biểu diễn có ý nghĩa có thể được sử dụng để phân cụm. Ví dụ, bạn có thể chạy thuật toán phân cụm trên các kích hoạt của lớp ẩn.

Phân cụm: Có một số kiến trúc NN khác nhau được thiết kế đặc biệt để phân cụm. Được biết đến rộng rãi nhất có lẽ là tự tổ chức bản đồ. SOM là một NN có một tập hợp các nơ-ron được kết nối để tạo thành một mạng lưới tôpô (thường là hình chữ nhật). Khi một số mẫu được trình bày cho SOM, nơ ron có vectơ trọng lượng gần nhất được coi là người chiến thắng và trọng lượng của nó được điều chỉnh theo mẫu, cũng như các trọng số của vùng lân cận. Theo cách này, một SOM tự nhiên tìm thấy các cụm dữ liệu. Một thuật toán hơi liên quan đang phát triển khí thần kinh (nó không giới hạn số lượng tế bào thần kinh được xác định trước).

Một cách tiếp cận khác là Lý thuyết cộng hưởng thích ứng trong đó chúng ta có hai lớp: "trường so sánh" và "trường nhận biết". Trường nhận biết cũng xác định kết quả khớp tốt nhất (nơ ron) với vectơ được truyền từ trường so sánh và cũng có các kết nối ức chế bên. Chi tiết triển khai và các phương trình chính xác có thể dễ dàng tìm thấy bằng cách googling tên của các mô hình này, vì vậy tôi sẽ không đặt chúng ở đây.

— Denis Tarasov
nguồn

Bạn muốn nhìn vào bản đồ tự tổ chức . Kohonen (người đã phát minh ra chúng) đã viết một cuốn sách về họ. Có các gói cho điều này trong R ( som , kohonen ), và có các triển khai trong các ngôn ngữ khác như MATLAB .

— gung - Phục hồi Monica
nguồn

bạn có thể đi vào một số chi tiết về cách NN có thể làm điều này và xây dựng trên lý thuyết không? cũng có thể giải thích hiệu quả của việc sử dụng NN sâu (DNN)?

— Vass 3/03/2015

Tôi sợ rằng tôi có rất ít chuyên môn ở đây, @Vass. Tôi không nghĩ rằng việc thêm các lớp bổ sung sẽ làm được nhiều việc, ngoài việc làm chậm nó. Một người khác sẽ phải cung cấp cho bạn lý thuyết, tôi chỉ muốn giúp bạn bắt đầu.

— gung - Tái lập Monica

Một sinh viên trong phòng thí nghiệm của chúng tôi đã thử nghiệm phân cụm bằng SOM. Phải mất mãi để chạy và kết quả rất đáng thất vọng so với các phương pháp khác (trong trường hợp thuật toán phân cụm đồ thị tiêu chuẩn của chúng tôi). Tôi luôn bối rối bởi thực tế là miền mục tiêu 2D tiêu chuẩn (lưới tôpô) dường như là một không gian rất độc đoán. Đáng lo ngại hơn là rất đơn giản và về cơ bản cần phải nén dữ liệu vào một không gian được mô tả chỉ bằng hai biến.

— micans

@micans tạo ra một số điểm tốt, nhưng dữ liệu không chỉ đơn giản được nén vào một không gian được mô tả chỉ bằng hai biến, bởi vì mỗi nút cũng được liên kết với một nguyên mẫu. Ngoài ra nếu chạy chậm, nó cũng có thể là một vấn đề thực hiện. Theo thống kê, các phương pháp khác ngoài SOM sẽ đạt được kết quả phân loại tốt hơn. Đối với vấn đề cấu trúc liên kết, bộ não dường như được tổ chức thành các lớp cấu trúc liên kết 2D, nhưng nó đạt được kết quả tuyệt vời (hoặc vì vậy tôi muốn nghĩ).

— Tom Anderson