Làm cách nào để khởi tạo một mô hình word2vec mới với trọng số mô hình được đào tạo trước?

Tôi đang sử dụng Thư viện Gensim trong python để sử dụng và đào tạo mô hình word2vector. Gần đây, tôi đã xem xét việc khởi tạo trọng lượng mô hình của mình với một số mô hình word2vec được đào tạo trước, chẳng hạn như (mô hình được xử lý trước của GoogleNewDataset). Tôi đã vật lộn với nó vài tuần. Bây giờ, tôi chỉ tìm kiếm rằng trong gesim có một chức năng có thể giúp tôi khởi tạo các trọng số của mô hình của mình với các trọng số mô hình được đào tạo trước. Điều đó được đề cập dưới đây:

reset_from(other_model)

    Borrow shareable pre-built structures (like vocab) from the other_model. Useful if testing multiple models in parallel on the same corpus.

Tôi không biết chức năng này có thể làm điều tương tự hay không. Xin vui lòng giúp đỡ!!!

Cảm ơn Abhishek. Tôi đã tìm ra rồi! Dưới đây là những thí nghiệm của tôi.

1). chúng tôi vẽ một ví dụ dễ dàng:

from gensim.models import Word2Vec
from sklearn.decomposition import PCA
from matplotlib import pyplot
# define training data
sentences = [['this', 'is', 'the', 'first', 'sentence', 'for', 'word2vec'],
            ['this', 'is', 'the', 'second', 'sentence'],
            ['yet', 'another', 'sentence'],
            ['one', 'more', 'sentence'],
            ['and', 'the', 'final', 'sentence']]
# train model
model_1 = Word2Vec(sentences, size=300, min_count=1)

# fit a 2d PCA model to the vectors
X = model_1[model_1.wv.vocab]
pca = PCA(n_components=2)
result = pca.fit_transform(X)
# create a scatter plot of the projection
pyplot.scatter(result[:, 0], result[:, 1])
words = list(model_1.wv.vocab)
for i, word in enumerate(words):
    pyplot.annotate(word, xy=(result[i, 0], result[i, 1]))
pyplot.show()

Từ các ô trên, chúng ta có thể thấy rằng các câu dễ không thể phân biệt nghĩa của các từ khác nhau theo khoảng cách.

2). Tải từ nhúng được đào tạo trước:

from gensim.models import KeyedVectors

model_2 = Word2Vec(size=300, min_count=1)
model_2.build_vocab(sentences)
total_examples = model_2.corpus_count
model = KeyedVectors.load_word2vec_format("glove.6B.300d.txt", binary=False)
model_2.build_vocab([list(model.vocab.keys())], update=True)
model_2.intersect_word2vec_format("glove.6B.300d.txt", binary=False, lockf=1.0)
model_2.train(sentences, total_examples=total_examples, epochs=model_2.iter)

# fit a 2d PCA model to the vectors
X = model_2[model_1.wv.vocab]
pca = PCA(n_components=2)
result = pca.fit_transform(X)
# create a scatter plot of the projection
pyplot.scatter(result[:, 0], result[:, 1])
words = list(model_1.wv.vocab)
for i, word in enumerate(words):
    pyplot.annotate(word, xy=(result[i, 0], result[i, 1]))
pyplot.show()

Từ hình trên, chúng ta có thể thấy rằng các từ nhúng có ý nghĩa hơn.
Hy vọng câu trả lời này sẽ hữu ích.

Chúng ta hãy xem một mã mẫu:

>>>from gensim.models import word2vec

#let us train a sample model like yours
>>>sentences = [['first', 'sentence'], ['second', 'sentence']]
>>>model1 = word2vec.Word2Vec(sentences, min_count=1)

#let this be the model from which you want to reset
>>>sentences = [['third', 'sentence'], ['fourth', 'sentence']]
>>>model2 = word2vec.Word2Vec(sentences, min_count=1)
>>>model1.reset_from(model2)
>>>model1.similarity('third','sentence')
-0.064622000988260417

Do đó, chúng tôi quan sát rằng model1 đang được model2 đặt lại và do đó, từ 'thứ ba' và 'câu' nằm trong từ vựng của nó cuối cùng cũng có sự tương đồng. Đây là cách sử dụng cơ bản, bạn cũng có thể kiểm tra reset_weights () để đặt lại trọng số về trạng thái ban đầu / không được huấn luyện.

Nếu bạn đang tìm kiếm một mạng lưới được đào tạo trước để nhúng từ, tôi sẽ đề xuất GloVe. Blog sau đây từ Keras rất nhiều thông tin về cách thực hiện điều này. Nó cũng có một liên kết đến các nhúng GloVe được đào tạo trước. Có các vectơ từ được đào tạo trước, từ vectơ 50 chiều đến vectơ 300 chiều. Chúng được xây dựng trên cả Wikipedia, Dữ liệu thu thập thông tin chung hoặc dữ liệu Twitter. Bạn có thể tải chúng ở đây: http://nlp.stanford.edu/projects/glove/ . Ngoài ra, bạn nên kiểm tra blog của máy ảnh về cách triển khai chúng. https://blog.keras.io/USE-pre-trained-word-embeddings-in-a-keras-model.html

Tôi đã làm nó ở đây: https://gist.github.com/AbhishekAshokDubey/054af6f92d67d5ef8300fac58f59fcc9

Xem nếu đây là những gì bạn cần