Từ Mạng Bayes đến Mạng thần kinh: cách hồi quy đa biến có thể được chuyển sang mạng đa đầu ra

Tôi đang làm việc với Mô hình tuyến tính phân cấp Bayes , ở đây mạng mô tả nó.

đại diện cho doanh số hàng ngày của một sản phẩm trong siêu thị (quan sát).$Y$

là một ma trận các biến hồi quy đã biết, bao gồm giá cả, chương trình khuyến mãi, ngày trong tuần, thời tiết, ngày lễ.$X$

là mức tồn kho tiềm ẩn chưa biết của mỗi sản phẩm, điều này gây ra nhiều vấn đề nhất và tôi coi đó là một vectơ của các biến nhị phân, một cho mỗi sản phẩm có 1 chỉ ra hàng tồn kho và do đó không có sản phẩm. Ngay cả khi trong lý thuyết chưa biết, tôi đã ước tính nó thông qua HMM cho mỗi sản phẩm, vì vậy nó được coi là X.Tôi chỉ quyết định làm sáng tỏ nó để có hình thức chính thức.$S$$1$

là một tham số tác dụng hỗn hợp cho bất kỳ sản phẩm duy nhất nơi mà hậu quả hỗn hợp được coi là giá thành sản phẩm, chương trình khuyến mãi và stockout.$\eta$

là vector của các hệ số hồi quy cố định, trong khi b 1 và b 2 là các vectơ của hệ số hiệu ứng khác nhau. Một nhóm chỉthương hiệuvà nhóm còn lại biểu thịhương vị(đây là một ví dụ, trong thực tế tôi có nhiều nhóm, nhưng ở đây tôi chỉ báo cáo 2 cho rõ ràng).$\beta$$b_1$$b_2$

, Σ b 1 và Σ b 2 là siêu tham số qua các hiệu ứng khác nhau.$\Sigma_{\eta}$$\Sigma_{b_1}$$\Sigma_{b_2}$

Vì tôi đã đếm dữ liệu, hãy nói rằng tôi coi mỗi doanh số sản phẩm là Poisson phân phối có điều kiện trên Regressors (ngay cả đối với một số sản phẩm, phép tính gần đúng tuyến tính và đối với các sản phẩm khác thì mô hình bơm hơi bằng 0 là tốt hơn). Trong trường hợp như vậy tôi sẽ có một sản phẩm ( điều này chỉ dành cho những người quan tâm đến chính mô hình bayesian, bỏ qua câu hỏi nếu bạn thấy nó không thú vị hoặc không tầm thường :) ):$Y$

$\Sigma_{\eta} \sim IW(\alpha_0,\gamma_0)$

$\Sigma_{b_1} \sim IW(\alpha_1,\gamma_1)$

, α 0 , γ 0 , α 1 , γ 1 , α 2 , γ 2 tiếng.$\Sigma_{b_2} \sim IW(\alpha_2,\gamma_2)$$\alpha_0,\gamma_0,\alpha_1,\gamma_1,\alpha_2,\gamma_2$

$\eta \sim N(\mathbf{0},\Sigma_{\eta})$

$b_1 \sim N(\mathbf{0},\Sigma_{b_1})$

$b_2 \sim N(\mathbf{0},\Sigma_{b_2})$

, Σ beta được biết đến.$\beta \sim N(\mathbf{0},\Sigma_{\beta})$$\Sigma_{\beta}$

,$\lambda _{tijk} = \beta*X_{ti} + \eta_i*X_{pps_{ti}} + b_{1_j} * Z_{tj} + b_{2_k} Z_{tk}$

$Y_{tijk} \sim Poi(exp(\lambda_{tijk}))$

, j ∈ 1 , ... , m 1 , k ∈ 1 , ... , m $i \in {1,\dots,N}$$j \in {1,\dots,m_1}$$k \in {1,\dots,m_2}$

Ma trận Z i của các hiệu ứng hỗn hợp cho 2 nhóm, X p p s i chỉ giá, khuyến mãi và tồn kho của sản phẩm được xem xét. I W chỉ ra các phân phối Wishart nghịch đảo, thường được sử dụng cho ma trận hiệp phương sai của các linh mục đa biến thông thường. Nhưng nó không quan trọng ở đây. Một ví dụ về Z i có thể là ma trận của tất cả các giá hoặc thậm chí chúng ta có thể nói Z i = X i . Như liên quan các priors cho ma trận hỗn hợp tác dụng sai-hiệp phương sai, tôi sẽ chỉ cố gắng duy trì mối tương quan giữa các mục, do đó σ i j sẽ là tích cực nếu$Z_i$$X_{pps_i}$$IW$$Z_i$$Z_i=X_i$$\sigma_{ij}$ và j là sản phẩm của cùng một thương hiệu hoặc cùng một hương vị. $i$$j$

Trực giác đằng sau mô hình này sẽ là doanh số của một sản phẩm nhất định phụ thuộc vào giá của nó, tính sẵn có của nó hay không, mà còn phụ thuộc vào giá của tất cả các sản phẩm khác và hàng tồn kho của tất cả các sản phẩm khác. Vì tôi không muốn có cùng một mô hình (đọc: cùng đường cong hồi quy) cho tất cả các hệ số, tôi đã giới thiệu các hiệu ứng hỗn hợp khai thác một số nhóm tôi có trong dữ liệu của mình, thông qua chia sẻ tham số.

Câu hỏi của tôi là:

2. Có cách nào để chuyển đổi mô hình này sang kiến ​​trúc mạng thần kinh không? Tôi biết rằng có nhiều câu hỏi tìm kiếm mối quan hệ giữa mạng bayesian, trường ngẫu nhiên markov, mô hình phân cấp Bayes và mạng nơ ron, nhưng tôi không tìm thấy bất cứ điều gì từ mô hình phân cấp Bayes đến mạng lưới thần kinh. Tôi đặt câu hỏi về các mạng thần kinh vì có vấn đề về chiều cao của tôi (xem xét rằng tôi có 340 sản phẩm), việc ước tính tham số qua MCMC mất vài tuần (tôi đã thử chỉ 20 sản phẩm chạy chuỗi song song trong runJags và phải mất nhiều ngày) . Nhưng tôi không muốn đi ngẫu nhiên và chỉ cung cấp dữ liệu cho mạng thần kinh dưới dạng hộp đen. Tôi muốn khai thác cấu trúc phụ thuộc / độc lập của mạng của tôi.

Ở đây tôi chỉ phác thảo một mạng lưới thần kinh. Như bạn thấy, các biến hồi quy ( và S i chỉ ra giá tương ứng và hàng tồn kho của sản phẩm i ) ở trên cùng được nhập vào lớp ẩn như các sản phẩm cụ thể (Ở đây tôi đã xem xét giá và hàng tồn kho). $P_i$$S_i$$i$(Các cạnh màu xanh và đen không có ý nghĩa đặc biệt, nó chỉ là để làm cho hình rõ hơn). Hơn nữa, và Y 2 có thể tương quan cao trong khi Y $Y_1$$Y_2$$Y_3$có thể là một sản phẩm hoàn toàn khác (nghĩ về 2 loại nước cam và rượu vang đỏ), nhưng tôi không sử dụng thông tin này trong các mạng lưới thần kinh. Tôi tự hỏi nếu thông tin nhóm được sử dụng chỉ trong việc vô hiệu hóa trọng lượng hoặc nếu một người có thể tùy chỉnh mạng cho vấn đề.

Chỉnh sửa, ý tưởng của tôi:

Ý tưởng của tôi sẽ giống như thế này: như trước đây, và Y 2 là các sản phẩm tương quan, trong khi Y 3 là một sản phẩm hoàn toàn khác. Biết điều này một tiên nghiệm tôi làm 2 việc:$Y_1$$Y_2$$Y_3$

1. Tôi phân bổ một số tế bào thần kinh trong lớp ẩn cho bất kỳ nhóm nào tôi có, trong trường hợp này tôi có 2 nhóm {( ), ( Y 3 )}.$Y_1,Y_2$$Y_3$
2. Tôi khởi tạo trọng số cao giữa các đầu vào và các nút được phân bổ (các cạnh đậm) và tất nhiên tôi xây dựng các nút ẩn khác để nắm bắt 'tính ngẫu nhiên' còn lại trong dữ liệu.

Cảm ơn rất nhiều về sự trợ giúp của bạn

Đối với hồ sơ, tôi không xem đây là một câu trả lời, mà chỉ là một nhận xét dài! PDE (phương trình nhiệt) được sử dụng để mô hình hóa dòng nhiệt qua một thanh kim loại cũng có thể được sử dụng để mô hình hóa giá quyền chọn. Không ai mà tôi biết đã từng cố gắng đề xuất một kết nối giữa giá quyền chọn và lưu lượng nhiệt mỗi se. Tôi nghĩ rằng trích dẫn từ liên kết của Danilov đang nói điều tương tự. Cả Biểu đồ Bayes và Mạng lưới thần kinh đều sử dụng ngôn ngữ của biểu đồ để thể hiện mối quan hệ giữa các phần bên trong khác nhau của chúng. Tuy nhiên, đồ thị Bayes cho người ta biết về cấu trúc tương quan của các biến đầu vào và đồ thị của mạng nơ ron cho người ta biết cách xây dựng hàm dự đoán từ các biến đầu vào. Đây là những điều rất khác nhau.
Các phương pháp khác nhau được sử dụng trong DL cố gắng 'chọn' các biến quan trọng nhất, nhưng đó là một vấn đề thực nghiệm. Nó cũng không nói cho ai biết về cấu trúc tương quan của toàn bộ tập hợp các biến hoặc các biến còn lại. Nó chỉ gợi ý rằng các biến còn sống sẽ là tốt nhất cho dự đoán. Ví dụ: nếu nhìn vào mạng lưới thần kinh, người ta sẽ được dẫn đến tập dữ liệu tín dụng của Đức, nếu tôi nhớ lại chính xác, 2000 điểm dữ liệu và 5 biến phụ thuộc. Thông qua thử nghiệm và lỗi tôi nghĩ rằng bạn sẽ thấy rằng một mạng chỉ có 1 lớp ẩn và chỉ sử dụng 2 trong số các biến cho kết quả tốt nhất để dự đoán. Tuy nhiên, điều này chỉ có thể được phát hiện bằng cách xây dựng tất cả các mô hình và thử nghiệm chúng trên bộ thử nghiệm độc lập.