Sự ổn định của chủ đề trong các mô hình chủ đề

Tôi đang làm việc trong một dự án mà tôi muốn trích xuất một số thông tin về nội dung của một loạt các bài tiểu luận mở. Trong dự án cụ thể này, 148 người đã viết bài luận về một tổ chức sinh viên giả định như một phần của một thí nghiệm lớn hơn. Mặc dù trong lĩnh vực của tôi (tâm lý học xã hội), cách điển hình để phân tích các dữ liệu này là viết mã các bài tiểu luận bằng tay, tôi muốn làm điều này một cách định lượng, vì mã hóa bằng tay vừa tốn nhiều công sức và hơi chủ quan đối với tôi nếm thử.

Trong quá trình điều tra về các cách phân tích định lượng dữ liệu phản hồi miễn phí, tôi tình cờ tìm thấy một phương pháp được gọi là mô hình hóa chủ đề (hoặc Phân bổ Dirichlet tiềm ẩn, hoặc LDA). Mô hình chủ đề lấy một đại diện bao gồm các từ của dữ liệu của bạn (ma trận tài liệu thuật ngữ) và sử dụng thông tin về các lần xuất hiện từ để trích xuất các chủ đề tiềm ẩn của dữ liệu. Cách tiếp cận này có vẻ hoàn hảo cho ứng dụng của tôi.

Thật không may, khi tôi áp dụng mô hình chủ đề cho dữ liệu của mình, tôi đã phát hiện ra hai vấn đề:

1. Các chủ đề được phát hiện bởi mô hình chủ đề đôi khi rất khó để giải thích
2. Khi tôi chạy lại các mô hình chủ đề của mình với một hạt giống ngẫu nhiên khác, các chủ đề dường như thay đổi đáng kể

Vấn đề 2 đặc biệt quan tâm đến tôi. Vì vậy, tôi có hai câu hỏi liên quan:

1. Có bất cứ điều gì tôi có thể làm trong thủ tục LDA để tối ưu hóa quy trình phù hợp với mô hình của tôi về tính dễ hiểu và ổn định không? Cá nhân, tôi không quan tâm nhiều đến việc tìm ra mô hình với mức độ lúng túng thấp nhất và / hoặc mô hình phù hợp nhất - Tôi chủ yếu muốn sử dụng quy trình này để giúp tôi hiểu và mô tả những gì những người tham gia nghiên cứu này đã viết trong bài luận của họ. Tuy nhiên, tôi chắc chắn không muốn kết quả của mình là một tạo tác của hạt giống ngẫu nhiên!
2. Liên quan đến câu hỏi trên, có tiêu chuẩn nào cho số lượng dữ liệu bạn cần để thực hiện LDA không? Hầu hết các bài báo tôi đã thấy đã sử dụng phương pháp này để phân tích khối lượng lớn (ví dụ: một kho lưu trữ tất cả các bài báo Khoa học từ 20 năm qua), nhưng, vì tôi đang sử dụng dữ liệu thực nghiệm, nên các tài liệu của tôi nhỏ hơn nhiều.

Tôi đã đăng dữ liệu bài luận ở đây cho bất kỳ ai muốn làm bẩn tay mình và tôi đã dán mã R tôi đang sử dụng bên dưới.

require(tm)
require(topicmodels)

# Create a corpus from the essay 
c <- Corpus(DataframeSource(essays))
inspect(c)

# Remove punctuation and put the words in lower case
c <- tm_map(c, removePunctuation)
c <- tm_map(c, tolower)

# Create a DocumentTermMatrix.  The stopwords are the LIWC function word categories
# I have a copy of the LIWC dictionary, but if you want to do a similar analysis,
# use the default stop words in tm
dtm <- DocumentTermMatrix(c, control = list(stopwords = 
  c(dict$funct, dict$pronoun, dict$ppron, dict$i, dict$we, dict$you, dict$shehe, 
    dict$they, dict$inpers, dict$article, dict$aux)))

# Term frequency inverse-document frequency to select the desired words
term_tfidf <- tapply(dtm$v/rowSums(as.matrix(dtm))[dtm$i], dtm$j, mean) * log2(nDocs(dtm)/colSums(as.matrix(dtm)))
summary(term_tfidf)

dtm <- dtm[, term_tfidf >= 0.04]

lda <- LDA(dtm, k = 5, seed = 532)
perplexity(lda)
(terms <- terms(lda, 10))
(topics <- topics(lda))

Chỉnh sửa:

Tôi đã cố gắng sửa đổi nstarttheo đề xuất của Flounderer trong các bình luận. Thật không may, như được hiển thị bên dưới, thậm chí thiết lập nstarttới 1000 kết quả trong các chủ đề thay đổi khá đột ngột từ hạt giống ngẫu nhiên sang hạt giống ngẫu nhiên. Chỉ cần nhấn mạnh một lần nữa, điều duy nhất tôi thay đổi trong ước tính của hai mô hình dưới đây là hạt giống ngẫu nhiên được sử dụng để bắt đầu ước lượng mô hình, và các chủ đề dường như không nhất quán trong hai lần chạy này.

lda <- LDA(dtm, k = 5, seed = 535, control = list(nstart = 1000))
(terms <- terms(lda, 10))

      Topic 1         Topic 2      Topic 3      Topic 4       Topic 5      
 [1,] "international" "ethnicity"  "free"       "credit"      "kind"       
 [2,] "communicate"   "true"       "team"       "mandatory"   "bridge"     
 [3,] "gain"          "asians"     "cooperate"  "music"       "close"      
 [4,] "use"           "hand"       "order"      "seen"        "deal"       
 [5,] "big"           "hold"       "play"       "barrier"     "designed"   
 [6,] "communication" "effective"  "big"        "stereotypes" "effort"     
 [7,] "america"       "emphasis"   "beginning"  "asians"      "implemented"
 [8,] "chinese"       "halls"      "china"      "fantastic"   "websites"   
 [9,] "ethnicity"     "minorities" "difference" "focusing"    "planned"    
[10,] "networks"      "population" "easier"     "force"       "body"

lda <- LDA(dtm, k = 5, seed = 536, control = list(nstart = 1000))
(terms <- terms(lda, 10))

      Topic 1       Topic 2         Topic 3        Topic 4       Topic 5    
 [1,] "kind"        "international" "issue"        "willing"     "play"     
 [2,] "easier"      "ethnicity"     "close"        "use"         "trying"   
 [3,] "gain"        "communication" "currently"    "hand"        "unity"    
 [4,] "websites"    "communicate"   "implemented"  "networks"    "decision" 
 [5,] "credit"      "bridge"        "particularly" "stereotypes" "gap"      
 [6,] "effort"      "america"       "credit"       "communicate" "normally" 
 [7,] "barriers"    "connection"    "fulfill"      "came"        "asians"   
 [8,] "effects"     "kind"          "grew"         "asians"      "created"  
 [9,] "established" "order"         "perspectives" "big"         "effective"
[10,] "strangers"   "skills"        "big"          "budget"      "prejudice"

Vì sự tò mò của riêng tôi, tôi đã áp dụng một thuật toán phân cụm mà tôi đã làm việc với bộ dữ liệu này.

Tôi đã tạm thời đưa ra kết quả ở đây (chọn tập dữ liệu tiểu luận).

Có vẻ như vấn đề không phải là điểm bắt đầu hay thuật toán, mà là dữ liệu. Bạn có thể 'một cách hợp lý' (theo chủ quan, theo kinh nghiệm hạn chế của tôi) có được các cụm tốt ngay cả với 147 trường hợp miễn là có một số chủ đề / khái niệm / chủ đề / cụm ẩn (bất cứ điều gì bạn muốn gọi).

Nếu dữ liệu không có các chủ đề được phân tách tốt, thì cho dù bạn sử dụng thuật toán nào, bạn có thể không nhận được câu trả lời tốt.

1. Khái niệm "chủ đề" trong cái gọi là "mô hình chủ đề" là sai lệch. Mô hình không biết hoặc không được thiết kế để biết "chủ đề" mạch lạc về mặt ngữ nghĩa. Các "chủ đề" chỉ là phân phối trên các mã thông báo (từ). Nói cách khác, mô hình chỉ nắm bắt được sự xuất hiện của các thuật ngữ. Cho dù các cấu trúc này có ý nghĩa gì hay không không phải là mục đích của mô hình.

2. Mô hình "LDA" có hai phần (về cơ bản là tất cả các mô hình đồ họa): a) định nghĩa mô hình và b) triển khai thuật toán suy luận cho các tham số mô hình suy luận / bất động. Điều bạn đề cập có thể hoặc không phải là vấn đề của mô hình "LDA" nhưng có thể là một số lỗi / lỗi / cấu hình sai của việc triển khai cụ thể mà bạn đã sử dụng (gói R).

3. Hầu như tất cả các triển khai "LDA" đòi hỏi một số ngẫu nhiên. Và theo bản chất của các thuật toán suy luận (ví dụ: MCMC hoặc suy luận đa dạng), bạn sẽ nhận được các giải pháp tối thiểu cục bộ hoặc phân phối nhiều giải pháp. Vì vậy, trong ngắn hạn, những gì bạn quan sát được bằng cách nào đó mong đợi.

Gợi ý thiết thực:

1. Hãy thử các gói R khác nhau: Ví dụ, gói này được thực hiện bởi cựu sinh viên tốt nghiệp của David Blei's. Hoặc, thậm chí thử một môi trường khác, chẳng hạn như môi trường này . Nếu bạn nhận được kết quả tương tự từ tất cả các gói ổn định này, ít nhất, bạn sẽ giảm được vấn đề một chút.

2. Hãy thử chơi một chút mà không loại bỏ các từ dừng. Lý do là, những từ dừng này đóng vai trò quan trọng trong việc kết nối các ý nghĩa ngữ nghĩa trong một kho văn bản nhỏ như vậy (ví dụ, 100 bài báo hoặc hơn). Ngoài ra, cố gắng không lọc mọi thứ.

3. Hãy thử chơi một chút với các tham số siêu, như số lượng chủ đề khác nhau.

Giấy tờ về sự gắn kết chủ đề:

1. http://www.aclweb.org/anthology-new/D/D12/D12-1087.pdf

2. http://people.cs.umass.edu/~wallach/publications/mimno11optimizing.pdf