Chính xác thì nó có nghĩa gì khi mượn thông tin?

Tôi thường nói với mọi người về việc mượn thông tin hoặc chia sẻ thông tin trong các mô hình phân cấp của Bayes. Tôi dường như không thể có được một câu trả lời thẳng thắn về ý nghĩa thực sự của nó và nếu nó là duy nhất cho các mô hình phân cấp Bayes. Tôi sắp xếp ý tưởng: một số cấp độ trong hệ thống phân cấp của bạn chia sẻ một tham số chung. Tôi không biết làm thế nào điều này chuyển thành "mượn thông tin" mặc dù.

1. "Vay thông tin" / "chia sẻ thông tin" có phải là một từ mà mọi người muốn ném ra không?

2. Có một ví dụ với hậu thế dạng đóng minh họa cho hiện tượng chia sẻ này?

3. Đây có phải là duy nhất cho một phân tích Bayes? Nói chung, khi tôi thấy các ví dụ về "mượn thông tin" thì chúng chỉ là mô hình hỗn hợp. Có thể tôi đã học được mô hình này theo cách cũ, nhưng tôi không thấy bất kỳ chia sẻ nào.

Tôi không quan tâm đến việc bắt đầu một cuộc tranh luận triết học về phương pháp. Tôi chỉ tò mò về việc sử dụng thuật ngữ này.

Đây là một thuật ngữ đặc biệt từ Bayes theo kinh nghiệm (EB), trên thực tế, khái niệm mà nó đề cập đến không tồn tại trong suy luận Bayes thực sự. Thuật ngữ ban đầu là "sức mạnh vay mượn", được John Tukey đặt ra từ những năm 1960 và được Bradley Efron và Carl Morris phổ biến hơn nữa trong một loạt các bài báo thống kê về nghịch lý và EB tham số của Stein trong những năm 1970 và 1980. Hiện nay nhiều người sử dụng "mượn thông tin" hoặc "chia sẻ thông tin" làm từ đồng nghĩa cho cùng một khái niệm. Lý do tại sao bạn có thể nghe thấy nó trong bối cảnh của các mô hình hỗn hợp là các phân tích phổ biến nhất cho các mô hình hỗn hợp có một cách hiểu EB.

EB có nhiều ứng dụng và áp dụng cho nhiều mô hình thống kê, nhưng bối cảnh luôn là bạn có một số lượng lớn các trường hợp (có thể độc lập) và bạn đang cố ước tính một tham số cụ thể (như giá trị trung bình hoặc phương sai) trong mỗi trường hợp. Trong suy luận Bayes, bạn đưa ra các suy luận sau về tham số dựa trên cả dữ liệu được quan sát cho từng trường hợp và phân phối trước cho tham số đó. Trong suy luận EB, phân phối trước cho tham số được ước tính từ toàn bộ tập hợp các trường hợp dữ liệu, sau đó suy luận tiến hành như đối với suy luận Bayes. Do đó, khi bạn ước tính tham số cho trường hợp cụ thể, bạn đang sử dụng cả dữ liệu cho trường hợp đó và cả phân phối ước tính trước và sau đó đại diện cho "thông tin" hoặc "cường độ"

Bây giờ bạn có thể thấy tại sao EB "mượn" nhưng Bayes thực sự thì không. Trong Bayes thực, phân phối trước đã tồn tại và do đó không cần phải xin hoặc mượn. Trong EB, phân phối trước đã được tạo từ chính dữ liệu được quan sát. Khi chúng tôi suy luận về một trường hợp cụ thể, chúng tôi sử dụng tất cả các thông tin quan sát được từ trường hợp đó và một ít thông tin từ mỗi trường hợp khác. Chúng tôi nói rằng đó chỉ là "mượn", bởi vì thông tin được cung cấp lại khi chúng tôi chuyển sang suy luận về trường hợp tiếp theo.

Ý tưởng về EB và "mượn thông tin" được sử dụng rất nhiều trong bộ gen thống kê, khi mỗi "trường hợp" thường là một gen hoặc một đặc điểm bộ gen (Smyth, 2004; Phipson et al, 2016).

Người giới thiệu

Efron, Bradley và Carl Morris. Nghịch lý của Stein trong thống kê. Khoa học Mỹ 236, không. 5 (1977): 119-127. http://statweb.stanford.edu/~ckirby/brad/other/Article1977.pdf

Smyth, GK (2004). Các mô hình tuyến tính và phương pháp Bayes theo kinh nghiệm để đánh giá biểu thức vi phân trong các thí nghiệm microarray. Các ứng dụng thống kê trong Di truyền học và Sinh học phân tử Tập 3, Số 1, Điều 3. http://www.statsci.org/smyth/pub/ebayes.pdf

Phipson, B, Lee, S, Majewski, IJ, Alexander, WS và Smyth, GK (2016). Ước tính siêu tham số mạnh mẽ bảo vệ chống lại các gen có thể khử được và cải thiện sức mạnh để phát hiện biểu hiện khác biệt. Biên niên sử thống kê ứng dụng 10, 946-963. http://dx.doi.org/10.1214/16-AOAS920

Hãy xem xét một vấn đề đơn giản như ước tính phương tiện của nhiều nhóm. Nếu mô hình của bạn coi chúng là hoàn toàn không liên quan thì thông tin duy nhất bạn có về mỗi ý nghĩa là thông tin trong nhóm đó. Nếu mô hình của bạn coi các phương tiện của chúng có liên quan phần nào (chẳng hạn như trong một số mô hình loại hiệu ứng hỗn hợp) thì các ước tính sẽ chính xác hơn vì thông tin từ các nhóm khác thông báo (thường xuyên, thu hẹp theo một giá trị trung bình) ước tính cho một nhóm nhất định. Đó là một ví dụ về 'thông tin vay mượn'.

Khái niệm này xuất hiện trong công việc tính toán liên quan đến độ tin cậy (không nhất thiết với thuật ngữ 'vay' cụ thể đó mặc dù việc vay theo nghĩa đó là rõ ràng trong các công thức); điều này quay trở lại một chặng đường dài, đến ít nhất một thế kỷ trước, với những tiền thân rõ ràng trở lại giữa thế kỷ XIX. Ví dụ, xem Longley-Cook, LH (1962) Giới thiệu về lý thuyết uy tín PCAS, 49, 194-221.

Đây là Whitney, 1918 (Lý thuyết xếp hạng kinh nghiệm, PCAS, 4, 274-292):

Đây là một rủi ro, ví dụ, rõ ràng được phân loại là một cửa hàng máy móc. Do đó, nếu không có thông tin khác, nó sẽ làm giả tỷ lệ cửa hàng máy, cụ thể là tỷ lệ trung bình cho tất cả các rủi ro của loại này. Mặt khác, rủi ro đã có một kinh nghiệm của riêng nó. Nếu rủi ro lớn, đây có thể là một hướng dẫn tốt hơn về nguy cơ của nó so với trải nghiệm của lớp. Trong mọi trường hợp, cho dù rủi ro là lớn hay nhỏ, cả hai yếu tố này đều có giá trị làm bằng chứng và cả hai đều phải được tính đến. Khó khăn phát sinh từ thực tế là nói chung bằng chứng là mâu thuẫn; do đó, vấn đề là tìm và áp dụng một tiêu chí sẽ cho mỗi trọng lượng phù hợp của nó.

Mặc dù thời hạn vay không có ở đây, khái niệm sử dụng thông tin cấp nhóm để thông báo cho chúng tôi về cửa hàng máy này rõ ràng là có. [Các khái niệm không thay đổi khi "sức mạnh vay" và "thông tin vay" bắt đầu được áp dụng cho tình huống này]

$\sigma_R^2$

$\sigma_R^2$$\sigma_R^2$

$\sigma_R^2$$\sigma_R^2$$\sigma_R$$\sigma_R^2$. Càng ít thông tin trong dữ liệu, thông tin trước càng trở nên quan trọng. Nếu bạn chưa làm như vậy, tôi khuyên bạn nên thử mô phỏng các mô hình hiệu ứng hỗn hợp chỉ với một vài đối tượng. Bạn có thể ngạc nhiên về mức độ không ổn định của các ước tính từ các phương thức Thường xuyên, đặc biệt là khi bạn chỉ thêm một hoặc hai ngoại lệ ... và tần suất một người nhìn thấy các bộ dữ liệu thực sự mà không có ngoại lệ? Tôi tin rằng vấn đề này được đề cập trong Phân tích dữ liệu Bayes của Gelman và cộng sự, nhưng thật đáng buồn là tôi không nghĩ nó có sẵn công khai nên không có siêu liên kết.

Cuối cùng, mô hình đa cấp không chỉ là hiệu ứng hỗn hợp, mặc dù chúng là phổ biến nhất. Bất kỳ mô hình nào trong đó các tham số bị ảnh hưởng không chỉ bởi các mục sư và dữ liệu, mà cả các tham số chưa biết khác có thể được gọi là mô hình đa cấp. Tất nhiên, đây là một bộ mô hình rất linh hoạt, nhưng có thể được viết từ đầu và phù hợp với số lượng công việc tối thiểu bằng các công cụ như Stan, NIMBLE, JAGS, v.v. Đến mức này, tôi không chắc tôi sẽ nói đa cấp mô hình hóa là "cường điệu"; về cơ bản, bạn có thể viết lên bất kỳ mô hình nào có thể được biểu diễn dưới dạng đồ thị chu kỳ có hướngvà phù hợp với nó ngay lập tức (giả sử nó có thời gian chạy hợp lý, đó là). Điều này mang lại sức mạnh và khả năng sáng tạo tiềm năng hơn rất nhiều so với các lựa chọn truyền thống (nghĩa là các gói mô hình hồi quy) nhưng không yêu cầu người ta phải xây dựng toàn bộ gói R từ đầu chỉ để phù hợp với một kiểu mô hình mới.

Tôi giả sử, vì bạn đã gắn thẻ học máy mà bạn quan tâm đến dự đoán, hơn là suy luận. (Tôi tin rằng tôi phù hợp với câu trả lời của @Glen_b, nhưng chỉ dịch theo ngữ cảnh / từ vựng này)

Tôi sẽ tuyên bố trong trường hợp này đó là một từ thông dụng. Một mô hình tuyến tính chính quy với một biến nhóm sẽ mượn thông tin: dự đoán ở cấp độ cá nhân sẽ là sự kết hợp giữa ý nghĩa nhóm và hiệu ứng cá nhân. Một cách để nghĩ về chính quy hóa l1 / l2 là nó chỉ định chi phí hệ số cho mỗi lần giảm trong tổng lỗi, do một biến nhóm ảnh hưởng đến nhiều mẫu hơn một biến riêng lẻ, sẽ có áp lực để ước tính hiệu ứng nhóm, để lại độ lệch nhỏ hơn hiệu ứng nhóm cho từng biến riêng lẻ.

Đối với các điểm riêng lẻ có đủ dữ liệu, hiệu ứng riêng sẽ là 'mạnh', đối với những điểm có ít dữ liệu, hiệu ứng sẽ yếu.

Tôi nghĩ cách dễ nhất để thấy điều này là bằng cách xem xét chính quy hóa L1 và 3 cá nhân cùng nhóm có cùng hiệu quả. Không thường xuyên, vấn đề có vô số giải pháp, trong khi chính quy hóa đưa ra một giải pháp duy nhất.

Gán tất cả các hiệu ứng cho hệ số nhóm có chỉ tiêu l1 thấp nhất, vì chúng ta chỉ cần 1 giá trị để bao gồm 3 cá nhân. Ngược lại, việc gán tất cả hiệu ứng cho các hệ số riêng lẻ là kém nhất, cụ thể là 3 lần so với chỉ tiêu l1 của việc gán hiệu ứng cho hệ số nhóm.

Lưu ý rằng chúng ta có thể có nhiều phân cấp như chúng ta muốn và các tương tác bị ảnh hưởng tương tự: chính quy hóa sẽ đẩy các hiệu ứng đến các biến chính, thay vì các tương tác hiếm hơn.

Blog tjmahr.com/plinating-partial-pooling-in-mixed-effects-models . - được liên kết bởi @IsabellaGhement đưa ra báo giá về sức mạnh vay mượn

"Hiệu ứng này đôi khi được gọi là co rút, bởi vì co rút giá trị cực đoan hơn được kéo theo giá trị trung bình hơn, hợp lý hơn. Trong cuốn sách lme4 , Douglas Bates cung cấp một giải pháp thay thế cho co rút [tên]"

Thuật ngữ co rút hồi giáo có thể có ý nghĩa tiêu cực. John Tukey thích tham khảo quy trình này như là ước tính cho các đối tượng riêng lẻ. Đây là một sự khác biệt cơ bản trong các mô hình làm cơ sở cho các mô hình hiệu ứng hỗn hợp so với các mô hình hiệu ứng cố định nghiêm ngặt. Trong mô hình hiệu ứng hỗn hợp, chúng tôi giả định rằng các mức của một yếu tố nhóm là một lựa chọn từ dân số và do đó, có thể được dự kiến ​​sẽ chia sẻ các đặc điểm ở một mức độ nào đó. Do đó, các dự đoán từ một mô hình hiệu ứng hỗn hợp bị suy giảm so với các mô hình từ các mô hình hiệu ứng cố định nghiêm ngặt.

Một nguồn khác tôi muốn giới thiệu về chủ đề này mà tôi thấy đặc biệt mang tính hướng dẫn là Giới thiệu về Bay theo kinh nghiệm của David Robinson .

Ví dụ chạy của anh ta là liệu một cầu thủ bóng chày sẽ xoay sở để đánh quả bóng tiếp theo ném vào anh ta. Ý tưởng chính là nếu một người chơi đã tồn tại trong nhiều năm, người ta có một bức tranh khá rõ ràng về khả năng của anh ta và đặc biệt, người ta có thể sử dụng mức trung bình được quan sát của anh ta như một ước tính khá tốt về xác suất thành công ở sân tiếp theo.

Ngược lại, một người chơi mới bắt đầu chơi trong một giải đấu chưa tiết lộ nhiều tài năng thực sự của anh ấy. Vì vậy, có vẻ như là một lựa chọn khôn ngoan để điều chỉnh ước tính xác suất thành công của anh ta theo một số ý nghĩa tổng thể nếu anh ta đặc biệt thành công hoặc không thành công trong vài trò chơi đầu tiên của mình, vì ít nhất là ở một mức độ nào đó, do may mắn hoặc xui xẻo .

Như một điểm nhỏ, thuật ngữ "mượn" dường như không được sử dụng theo nghĩa là một cái gì đó đã được mượn sẽ cần phải được trả lại tại một số điểm ;-).