Suy luận không có khả năng - nó có nghĩa là gì?

Gần đây tôi đã nhận thức được các phương pháp 'không có khả năng' đang được băng bó trong văn học. Tuy nhiên tôi không rõ ý nghĩa của một phương pháp suy luận hoặc tối ưu hóa là không có khả năng .

Trong học máy, mục tiêu thường là tối đa hóa khả năng của một số tham số để phù hợp với một chức năng, ví dụ như các trọng số trên mạng thần kinh.

Vậy chính xác triết lý của cách tiếp cận không có khả năng là gì và tại sao các mạng đối nghịch như GAN lại thuộc thể loại này?

Có nhiều ví dụ về các phương pháp không dựa trên khả năng trong thống kê (tôi không biết về học máy). Vài ví dụ:

1. Các xét nghiệm ý nghĩa thuần túy của Fisher . Chỉ dựa trên một giả thuyết null được xác định rõ ràng (chẳng hạn như không có sự khác biệt giữa sữa đầu tiên và sữa cuối cùng trong thí nghiệm Lady Nếm Trà. Giả định này dẫn đến phân phối giả thuyết null, và sau đó là giá trị p. Không có khả năng liên quan. bản thân nó không thể đưa ra một cơ sở để phân tích công suất (không có sự thay thế được xác định chính thức) hoặc khoảng tin cậy (không có tham số được xác định chính thức).

2. Liên kết với 1. là các thử nghiệm ngẫu nhiên Sự khác biệt giữa thử nghiệm Ngẫu nhiên và Thử nghiệm hoán vị , ở dạng cơ bản nhất của nó là một thử nghiệm có ý nghĩa thuần túy.

3. Bootstrapping được thực hiện mà không cần chức năng khả năng. Nhưng có những mối liên hệ với những ý tưởng khả năng, ví dụ như khả năng theo kinh nghiệm .

4. Các phương pháp dựa trên xếp hạng thường không sử dụng khả năng.

5. Nhiều số liệu thống kê mạnh mẽ.

6. Khoảng tin cậy cho trung vị (hoặc các lượng tử khác) có thể dựa trên thống kê đơn hàng. Không có khả năng liên quan đến các tính toán. Khoảng tin cậy cho trung vị , Công cụ ước tính tốt nhất cho phương sai của trung vị thực nghiệm

7. V Vapnik đã có ý tưởng học tập chuyển hóa dường như có liên quan đến https://en.wikipedia.org/wiki/Epilogism như được thảo luận trong Black Swan Taleb và Black Swan .

8. $\text{N}(\mu, \sigma^2)$$\text{N}(9.37, 2.12^2)$

Tại thời điểm bạn có một chức năng khả năng, có một bộ máy khổng lồ để xây dựng. Bayes không thể làm mà không có, và hầu hết những người khác thường sử dụng khả năng hầu hết thời gian. Nhưng nó được chỉ ra trong một bình luận mà ngay cả những người Bayes cũng cố gắng thực hiện mà không có, hãy xem Xấp xỉ_Bayesian_computing . Thậm chí còn có một văn bản mới về chủ đề đó.

Nhưng họ đến từ đâu? Để có được một hàm khả năng theo cách thông thường, chúng ta cần rất nhiều giả định có thể khó biện minh.

Thật thú vị khi hỏi liệu chúng ta có thể xây dựng các hàm khả năng, theo một cách nào đó, từ một số phương pháp không có khả năng này. Chẳng hạn, điểm 6. ở trên, chúng ta có thể xây dựng hàm khả năng cho trung vị từ (một họ) khoảng tin cậy được tính từ thống kê đơn hàng không? Tôi nên hỏi nó như một câu hỏi riêng biệt ...

Câu hỏi cuối cùng của bạn về GAN tôi phải để lại cho người khác.

Cụ thể, các phương pháp không có khả năng [gần đây] là một cách viết lại của các thuật toán ABC, trong đó ABC là viết tắt của tính toán Bayes gần đúng . Điều này dự định bao gồm các phương pháp suy luận không yêu cầu sử dụng hàm khả năng dạng đóng, nhưng vẫn có ý định nghiên cứu một mô hình thống kê cụ thể. Họ không gặp khó khăn về tính toán kèm theo khả năng nhưng không phải từ mô hình tạo ra khả năng này. Xem ví dụ

1. Grelaud, A; Marin, JM; Robert, C; Rodolphe, F; Kiểm đếm, F (2009). "Các phương pháp không có khả năng lựa chọn mô hình trong các trường ngẫu nhiên Gibbs". Phân tích Bayes. 3: 427 Cáp442 .
2. Ratmann, O; Andrieu, C; Wiuf, C; Richardson, S (2009). "Phê bình mô hình dựa trên khả năng suy luận không có khả năng, với một ứng dụng cho sự tiến hóa mạng protein". Kỷ yếu của Viện hàn lâm Khoa học Quốc gia Hoa Kỳ. 106: 10576 mỏ10581 .
3. Bazin, E., Dawson, KJ, & Beaumont, MA (2010). Suy luận không có khả năng về cấu trúc dân số và thích ứng cục bộ trong mô hình phân cấp Bayes. Di truyền học, 185 (2), 587-602 .
4. Didelot, X; Everitt, RG; Johansen, AM; Lawson, DJ (2011). "Ước tính không có khả năng của bằng chứng mô hình". Phân tích Bayes. 6: 49 bóng76 .
5. Gutmann, M. và Corander, J. (2016) Tối ưu hóa Bayes cho khả năng suy luận không có khả năng của các mô hình thống kê dựa trên giả lập Tạp chí Nghiên cứu Máy học .

Để thêm vào các câu trả lời, thống kê tiệm cận thực tế là không có khả năng.

Một "khả năng" ở đây đề cập đến mô hình xác suất cho dữ liệu . Tôi có thể không quan tâm về điều đó. Nhưng tôi có thể tìm thấy một số công cụ ước tính đơn giản, như giá trị trung bình, đó là một bản tóm tắt đầy đủ của dữ liệu và tôi muốn thực hiện suy luận về giá trị trung bình của phân phối (giả sử nó tồn tại, thường là một giả định hợp lý).

Theo định lý giới hạn trung tâm, giá trị trung bình có phân phối chuẩn xấp xỉ bằng N lớn khi phương sai cũng tồn tại. Tôi có thể tạo các thử nghiệm nhất quán (công suất tăng lên 1 khi N chuyển sang vô cùng khi null là sai) có kích thước chính xác. Mặc dù tôi có một mô hình xác suất (đó là sai) cho phân phối mẫu của giá trị trung bình trong các cỡ mẫu hữu hạn, tôi có thể có được suy luận hợp lệ và ước lượng không thiên vị để tăng "tóm tắt hữu ích của dữ liệu" (giá trị trung bình).

Cần lưu ý rằng các thử nghiệm dựa trên CI 95% cho trung vị (nghĩa là tùy chọn 6 trong câu trả lời của @ kjetilbhalvorsen) cũng dựa trên định lý giới hạn trung tâm để cho thấy rằng chúng phù hợp. Vì vậy, không có gì điên rồ khi coi thử nghiệm T đơn giản là thử nghiệm "không tham số" hoặc "không dựa trên khả năng".

$p(y|x)$$x$$y$$p(y|x) = N(y|\mu(x), \sigma)$$p(y|x)$

$p(y|x)$