Hiểu và thực hiện mô hình quy trình Dirichlet

Tôi đang cố gắng thực hiện và tìm hiểu Quy trình Dirichlet để phân cụm dữ liệu của mình (hoặc khi mọi người nói về máy học, ước tính mật độ).

Tôi đã đọc rất nhiều bài báo trong chủ đề và sắp xếp ý tưởng. Nhưng tôi vẫn bối rối; đây là một loạt các câu hỏi

1) Sự khác biệt giữa Mô hình nhà hàng Trung Quốc và DP là gì? 2) Sự khác biệt giữa Mô hình hỗn hợp vô hạn và DP là gì?

Để hiểu đầy đủ mọi thứ, tôi đã triển khai Mô hình nhà hàng Trung Quốc, mô hình Polya Urn và Stick-break; Nhưng có vẻ như, thực hiện DP từ đầu là một việc khó làm! Tôi có thể đọc và viết python, R, Matlab.

1) Có mã nào bạn khuyên bạn nên đọc và cải thiện để hiểu / làm việc / phát triển DP đầy đủ không? 2) Dựa trên nghiên cứu của tôi, các mã, cho Quy trình Dirichlet không dễ đọc! thực sự dài, dài (có lẽ vì hiệu quả quan trọng hơn là sự rõ ràng). 3) Tuy nhiên, có nhiều mã trên Mô hình hỗn hợp vô hạn hơn Quy trình Dirichlet. Nếu hai phương thức này không cách xa nhau thì tôi có thể sử dụng IMM không?! Về cơ bản, tôi muốn xây dựng mô hình mới của mình và tôi không muốn phát minh lại một bánh xe.

Tôi đánh giá cao ý kiến ​​của bạn

• CẬP NHẬT vì nhiều người đã khuyến nghị hướng dẫn của Edwin Chen về "Mô hình hỗn hợp vô hạn với Bayes không tham số và DP" ; Hướng dẫn này có một tiêu đề sai lệch; Nó chỉ bao gồm các đại diện khác nhau của DP, tính đặc hiệu, CPR, phá vỡ mô hình, Mô hình Polya-Urn; và cuối cùng, anh ta đang sử dụng Mô hình Hỗn hợp từ scikit và tạo một vài biểu đồ trên mỗi cụm;

Sự khác biệt giữa DP và CRP là gì?

Quy trình nhà hàng Trung Quốc (CRP) là một phân phối trên các phân vùng của số nguyên . Kết nối với Quy trình Dirichlet (DP) tồn tại nhờ định lý của De Finetti.

Định lý của De Finetti: Giả sử chúng ta có một quá trình ngẫu nhiên có thể trao đổi vô hạn , thì xác suất chung có một biểu diễn dưới dạng hỗn hợp:p ( θ 1 , ... , θ N$(\theta_1,\ldots,\theta_N)$$p(\theta_1,\ldots,\theta_N)$

$$p(\theta_1,\ldots,\theta_N)=\int dP(G) \prod_{i=1}^N G(\theta_i)$$

đối với một số biến ngẫu nhiên .$G$

Các exchangeability phương tiện tài sản mà chúng ta không quan tâm đến một trong hai chỉ số của bảng (chúng tôi không đặt tên cho bảng) và chúng tôi không quan tâm đến thứ tự của các khách hàng tại một bảng cụ thể. Phân vùng khách hàng thành các bộ khác nhau là cấu trúc duy nhất chúng tôi quan tâm. Điều này có nghĩa là với một phân vùng chúng tôi không cần biết các bài tập cụ thể của khách hàng cho các bảng, chúng tôi chỉ cần biết số lượng khách hàng tại mỗi bảng.

Định lý De Finetti của không giúp đỡ trong việc tìm kiếm sự phân bố . Nó chỉ nói rằng nó nên tồn tại.$G$

Quá trình Dirichlet là một trước khi phân phối . Một cách không chính thức, bạn đã ném vào một phân phối xác suất và khi bạn lấy mẫu từ nó, bạn sẽ nhận được phân phối xác suất sau khi phân phối xác suất.

Kết nối giữa cả hai có thể được thiết lập bằng cách chứng minh rằng nếu được lấy mẫu từ Quy trình Dirichlet, phương trình trong định lý của De Finetti giữ cho cụ thể này .$G$$G$

Nếu

$$G \sim DP(\alpha, H)$$

sau đó

$$p(\{\theta_{(z=0)_0},\ldots, \theta_{(z=0)_{n_0}}\},\ldots,\{\theta_{(z=k)_0},\ldots, \theta_{(z=k)_{n_k}}\}) = \frac{\alpha^k \Gamma(\alpha)}{\Gamma(\alpha+n)} \prod_{i=0}^k \Gamma(n_i)$$

Lưu ý rằng được CRP mô tả thông qua xác suất cho các phân vùng cụ thể. Ở đây biểu thị một chỉ số bảng . Và là số lượng khách hàng tại bảng . Để hoàn thiện, hãy nhớ rằng là:$p(\theta_1, \ldots, \theta_N)$$z=i$$i$$n_i$$i$$DP$

$$\{G(A_1),\ldots,G(A_k)\} \sim Dirichlet(\alpha H(A_1), \ldots, \alpha H(A_k))$$

Tôi nghĩ rằng rõ ràng từ giải trình này là kết nối ở đó, nhưng không nên được coi là tầm thường. Cũng lưu ý rằng tôi đã không mô tả CRP theo nghĩa phân phối có điều kiện đối với các khách hàng cá nhân đến. Điều này sẽ thêm một bước khái niệm khác giữa CRP và DP. Lời khuyên của tôi: cảm thấy thoải mái về việc không thoải mái khi hiểu trực tiếp mối quan hệ của họ và bắt đầu chơi xung quanh với việc mô tả các phân phối chung và cận biên cho đến khi bạn tạo lại kết nối. CRP thu được bằng cách gạt ra khỏi từ DP.$G$

Để biết mối liên hệ giữa xác suất chung và mô tả tuần tự của CRP, xem [1].

Điều gì xảy ra nếu khả năng trao đổi không giữ được? Nếu khả năng trao đổi không giữ được, chúng tôi sẽ không nói thêm về DP hoặc CRP, mà là về Quy trình Dirichlet phụ thuộc và Quy trình nhà hàng Trung Quốc phụ thuộc. Và tự nhiên, kết nối giữa họ bị mất!

Xem [2] để biết chi tiết. CRP phụ thuộc mô tả khách hàng nào muốn ngồi cùng với khách hàng nào (độc thân). Bằng cách phân cụm tất cả các mối quan hệ khách hàng-khách hàng, chúng tôi có thể phân công qua các bảng. CRP phụ thuộc không phải là bất biến biên: xác suất của một phân vùng khi loại bỏ một khách hàng cũng phụ thuộc vào chính khách hàng đó. Ngược lại, DP phụ thuộc thường được xác định bởi chính điều này: . Ở đây, ví dụ là bản phân phối Dirichlet hoặc bất kỳ bản phân phối nào khiến và có liên quan.$G_t \sim DP(\alpha, H)$$H$$G_t$$G_{t'}$

Có nhiều cách khái quát khác có thể, một số trong số họ sẽ thừa nhận đại diện cho các phân vùng cũng như phân phối, chẳng hạn như Quy trình nhà hàng Trung Quốc với hai tham số với Quy trình Pitman-Yor hoặc Quy trình tự chọn Ấn Độ với Quy trình Beta [3] . Một số trong số họ sẽ không.

• [1] : Hướng dẫn về các mô hình không đối xứng Bayes (2011) Gershman và Blei
• [2] : Quy trình nhà hàng Trung Quốc phụ thuộc từ xa (2011) Blei và Frazier
• [3] : Các quy trình Beta phân cấp và Quy trình buffet Ấn Độ (2007) Thibaux và Jordan

1) Sự khác biệt giữa Mô hình nhà hàng Trung Quốc và DP là gì?

Không ai. CRP là một đại diện cụ thể của DP. Tùy thuộc vào vấn đề của bạn, bạn có thể muốn sử dụng một đại diện cho một đại diện khác (CRP, Stick-break, v.v.).

2) Sự khác biệt giữa Mô hình hỗn hợp vô hạn và DP là gì?

DP chỉ được sử dụng làm ưu tiên cho Mô hình Hỗn hợp Vô hạn. Đây là lý do tại sao Mô hình hỗn hợp Gaussian vô hạn cũng được gọi là DP-GMM. Trên thực tế, bài báo đầu tiên về chủ đề này là "Mô hình hỗn hợp Gaussian vô hạn" (Rasmussen, 1999)

3) Triển khai

Tôi thực sự đang cố gắng thực hiện bài viết của Rasmussen cho một trường hợp đa biến trong Python. (anh ta sử dụng lấy mẫu Gibbs, đơn giản hơn so với các xấp xỉ suy luận biến đổi). Trong khi đó, tôi tìm thấy:

• Một bài viết rất hay của Edwin Chen: Các mô hình hỗn hợp vô hạn với các vịnh không đối xứng và quá trình Dirichlet

• Giới thiệu về IGMM của Frank Wood / Gentle Giới thiệu về Mô hình hỗn hợp Gaussian vô hạn

• Một nỗ lực để thực hiện IGMM của Michael Mander: Thực hiện GMM vô hạn . Ông báo cáo một số rắc rối trong trường hợp đa biến. Nhưng đây là vào năm 2005. Tôi không chắc liệu nó đã lỗi thời hay chưa và những rắc rối của anh ấy đã được giải quyết trong bài viết của Chen hoặc trong một mô hình hỗn hợp Dirichlet Process Gaussian của Rasmussen gần đây : Lựa chọn phân phối cơ sở (Tôi hiện đang xem xét những điều này.)

Tôi đang vật lộn với điều tương tự. Thông qua diễn đàn này tôi tìm thấy một số gợi ý:

http://scikit-learn.org/urdy/modules/generated/sklearn.mixture.DPGMM.html

http://statistic-research.com/dirichlet- Process-infinite-trộn-models-and -clustering /

Đầu tiên là việc triển khai scikit-learn của một hỗn hợp vô hạn gồm các Gaussian đa biến (không bị tắt bởi n_componentstham số, mặc dù tôi không chắc tại sao nó thực sự ở đó ...).

Cái sau chứa một số mã trong R và mô hình hóa mọi thứ theo kiểu K-nghĩa là thời trang (tôi có ấn tượng), nhưng không chỉ định K (tất nhiên ;-)).

Nếu bạn tìm thấy bất kỳ gói / mô tả hữu ích khác, xin vui lòng gửi chúng!

Tom

Một mã rất dễ hiểu của Jacob Eisenstein có sẵn cho Matlab tại https://github.com/jacobeisenstein/DPMM . Nó dựa trên Luận án "Các mô hình đồ họa để nhận dạng và theo dõi đối tượng trực quan" của EB Sudderth.