Làm thế nào có thể sử dụng autoencoder để phân cụm?

Giả sử tôi có một tập hợp các tín hiệu miền thời gian hoàn toàn không có nhãn . Tôi muốn phân cụm chúng trong 2 hoặc 3 lớp. Autoencoders là các mạng không giám sát, học cách nén các đầu vào. Vì vậy, cho một đầu vào , trọng lượng và , thành kiến và , và đầu ra , chúng ta có thể tìm ra mối quan hệ sau: $x^{(i)}$ $W_1$ $W_2$ $b_1$ $b_2$ $\hat{x}^{(i)}$

z^{(i)} = W_{1} x^{(i)} + b_{1}

$z^{(i)} =W_1x^{(i)}+b_1$

{\hat{x}}^{(i)} = W_{2} z^{(i)} + b_{2}

$\hat{x}^{(i)} =W_2z^{(i)}+b_2$

Vì vậy, sẽ là một dạng nén của , và việc tái thiết sau này. Càng xa càng tốt. $z^{(i)}$ $x^{(i)}$ $\hat{x}^{(i)}$

Điều tôi không hiểu là làm thế nào điều này có thể được sử dụng để phân cụm (nếu có bất kỳ cách nào để làm điều đó). Ví dụ, trong hình đầu tiên của bài báo này , có một sơ đồ khối tôi không chắc là mình hiểu. Nó sử dụng làm đầu vào cho mạng chuyển tiếp, nhưng không có đề cập đến cách mạng đó được đào tạo. Tôi không biết nếu có điều gì đó tôi bỏ qua hoặc nếu bài báo không đầy đủ. Ngoài ra, hướng dẫn này ở phần cuối cho thấy các trọng số được học bởi bộ mã hóa tự động và dường như chúng là hạt nhân mà một CNN sẽ học để phân loại hình ảnh. Vì vậy, ... tôi đoán trọng lượng của trình tự động có thể được sử dụng bằng cách nào đó trong mạng chuyển tiếp để phân loại, nhưng tôi không biết làm thế nào. $z^{(i)}$

Nghi ngờ của tôi là:

$x^{(i)}$ $N$ $x^{(i)}\in\mathbb{R}^{1\times N}$ $z^{(i)}$ $z^{(i)}$ $1$
$z^{(i)}$ $\hat{x}^{(i)}$
$W_i$ $b_i$

Quan sát: lưu ý rằng tôi đã sử dụng MLP làm ví dụ vì đây là kiến trúc cơ bản nhất, nhưng câu hỏi áp dụng cho bất kỳ mạng thần kinh nào khác có thể được sử dụng để phân loại tín hiệu miền thời gian.

— Tendero
nguồn

Câu trả lời:

$x_i$ $z_i$ $z_i$

Có lẽ ai đó khác có thể sử dụng bộ mã hóa tự động cho chuỗi thời gian, bởi vì tôi chưa bao giờ làm điều đó. Tôi nghi ngờ rằng bạn sẽ muốn một trong các lớp là lớp chập 1D, nhưng tôi không chắc chắn.

$x$ $z$ $z$ $\hat{x}$ $x$ $z$

— tom
nguồn

Và trong trường hợp cuối cùng, trọng số của các lớp khác trong MLP sẽ được học như thế nào nếu dữ liệu hoàn toàn không được gắn nhãn? Hoặc cách tiếp cận đó (tức là kết hợp autoencoder-MLP) chỉ có ý nghĩa nếu nhãn có sẵn?

— Tendero

Có, một MLP (còn gọi là mạng nơ ron chuyển tiếp nguồn cấp dữ liệu) chỉ thực sự được sử dụng nếu dữ liệu được dán nhãn. Nếu không, bạn không có thông tin để sử dụng để cập nhật trọng lượng. Bộ mã hóa tự động là một cách 'lừa' để sử dụng các mạng thần kinh vì bạn đang cố gắng dự đoán đầu vào ban đầu và không cần nhãn.

— tom

Vì vậy, cách duy nhất để sử dụng NN để phân cụm sẽ là phương pháp bạn đã đề cập, phải không? Cụ thể, sử dụng một bộ mã hóa tự động và sau đó chạy một thuật toán phân cụm tiêu chuẩn như K-mean.

— Tendero

Đó là cách duy nhất tôi biết. Nếu ai đó có ý tưởng, tôi rất vui khi nghe nó. Mặc dù vậy, bạn có thể thử các thuật toán khác ngoài K-mean, vì có một số giả định khá nghiêm ngặt liên quan đến thuật toán cụ thể đó (nhưng vẫn là một điều tốt để thử trước tiên vì nó nhanh và dễ dàng).

— tom

Trước khi hỏi 'làm thế nào bộ mã hóa tự động có thể được sử dụng để phân cụm dữ liệu?' trước tiên chúng ta phải hỏi 'Có thể tự động mã hóa dữ liệu cụm?'

Vì một bộ mã hóa tự động học cách tạo lại các điểm dữ liệu từ không gian tiềm ẩn. Nếu chúng ta giả sử rằng bộ mã hóa tự động ánh xạ không gian tiềm ẩn trong một cách thức liên tục, thì các điểm dữ liệu từ cùng một cụm phải được ánh xạ với nhau. Do đó, theo một cách nào đó, bộ mã hóa sẽ nhóm các điểm tương tự nhau lại với nhau, tập hợp chúng lại với nhau. Chúng ta đã thấy trong văn học rằng các bộ tự động không thể giữ giả định này về tính liên tục trong không gian tiềm ẩn.

Nhưng với lợi ích của chúng tôi, bộ tự động biến đổi hoạt động chính xác theo cách này. Các bộ mã hóa biến đổi tìm hiểu các ánh xạ không gian tiềm ẩn với hai thuộc tính chính: tính liên tục, tính hoàn chỉnh1.

Thuộc tính liên tục đảm bảo rằng hai điểm gần nhau trong không gian tiềm ẩn không cho hai đầu ra hoàn toàn khác nhau khi được giải mã.
Thuộc tính hoàn chỉnh đảm bảo rằng khi lấy mẫu một điểm từ không gian tiềm ẩn sẽ cho đầu ra có ý nghĩa khi được giải mã.

Do đó, việc sử dụng bộ mã hóa tự động mã hóa đôi khi có thể là đủ. Tuy nhiên, công việc đã được thực hiện để ứng biến / tìm hiểu phân cụm một cách rõ ràng. Thuật toán được đề xuất bởi Xie et al. (2016) 2 là một ví dụ, trong đó "lặp lại tinh chỉnh các cụm với phân phối mục tiêu phụ trợ có nguồn gốc từ một phân công cụm mềm hiện tại."

— Parth Shah
nguồn