Tài liệu tham khảo về tối ưu hóa số cho các nhà thống kê

9

Tôi đang tìm kiếm một tài liệu tham khảo (hoặc tài liệu tham khảo) vững chắc về các kỹ thuật tối ưu hóa số nhằm vào các nhà thống kê, nghĩa là, nó sẽ áp dụng các phương pháp này cho một số vấn đề suy luận tiêu chuẩn (ví dụ MAP / MLE trong các mô hình phổ biến). Những thứ như độ dốc gốc (thẳng và ngẫu nhiên), EM và spinoffs / khái quát hóa của nó, ủ mô phỏng, v.v.

Tôi hy vọng nó sẽ có một số lưu ý thực tế về việc thực hiện (vì vậy thường thiếu giấy tờ). Nó không phải hoàn toàn rõ ràng nhưng ít nhất nên cung cấp một thư mục vững chắc.

Một số tìm kiếm chữ thảo đã đưa ra một vài văn bản: Phân tích số cho các nhà thống kê của Ken Lange và Phương pháp thống kê số của John Monahan. Nhận xét của mỗi dường như hỗn hợp (và thưa thớt). Trong số hai phần của mục lục cho thấy ấn bản thứ 2 của cuốn sách Lange là gần nhất với những gì tôi đang theo đuổi.

estimation references optimization

— JMS
nguồn

Chủ đề liên quan: Tối ưu hóa sách giáo khoa cho thống kê và phân tích dữ liệu .

— Richard Hardy

5

Thống kê tính toán của James Gentle (2009).

Đại số ma trận của James Gentle: lý thuyết, tính toán và ứng dụng trong thống kê (2007) , hơn nữa đến cuối cuốn sách, phần mở đầu cũng rất tuyệt nhưng đó không chính xác là những gì bạn đang tìm kiếm.

Nhận dạng mẫu của Christopher M. Giám mục (2006).

Các yếu tố của học tập thống kê của Hastie và cộng sự: khai thác dữ liệu, suy luận và dự đoán (2009).

Bạn có đang tìm kiếm thứ gì đó ở mức độ thấp như một văn bản sẽ trả lời một câu hỏi như: "Tại sao việc lưu trữ ma trận và mảng chiều cao hơn như một mảng 1-D hiệu quả hơn và làm cách nào tôi có thể lập chỉ mục chúng trong M thông thường (0, 1, 3, ...) cách? " hoặc đại loại như "một số kỹ thuật phổ biến được sử dụng để tối ưu hóa các thuật toán tiêu chuẩn như giảm độ dốc, EM, v.v.?" là gì?

Hầu hết các văn bản về học máy sẽ cung cấp các cuộc thảo luận chuyên sâu về (các) chủ đề bạn đang tìm kiếm.

— Đám mây Phillip
nguồn

Thứ hai (một số kỹ thuật phổ biến là gì ...). Hầu hết các văn bản trình bày một mô hình và sau đó mô tả cách làm suy luận. Tôi đang tìm kiếm loại nghịch đảo, trong đó trọng tâm là các cách để phù hợp với một mô hình và sau đó so sánh chúng trong các ứng dụng, nếu điều đó có ý nghĩa. Có một vài trong số những loại sách này cho MCMC nơi họ so sánh các bộ lấy mẫu khác nhau và mô tả nơi chúng hữu ích và một số cạm bẫy (ví dụ Gamerman & Lopes).

— JMS

Ngoài ra, cảm ơn cho các tài liệu tham khảo cho đến nay. Cuốn sách của Hastie et al khá gần, thực sự. Lâu lắm rồi tôi mới lấy nó ra khỏi kệ; cảm ơn vì lời nhắc :)

— JMS 21/03

5

Cuốn sách Nocedal và Wrights

http://users.eecs.northwestern.edu/~nocedal/book/

là một tài liệu tham khảo tốt để tối ưu hóa nói chung, và nhiều điều trong cuốn sách của họ được một nhà thống kê quan tâm. Ngoài ra còn có cả một chương về bình phương tối thiểu phi tuyến tính.

— NRH
nguồn

3

Tối ưu hóa , bởi Kenneth Lange (Springer, 2004), được xem xét trong JASA bởi Russell Steele. Đó là một cuốn sách giáo khoa tốt với đại số Ma trận của Gentle cho một khóa học giới thiệu về Tính toán và Tối ưu hóa Ma trận, giống như cuốn sách của Jan de Leeuw (khóa học / 202B).

— chl
nguồn

@chi Cuốn sách đó trông thật tuyệt! Mặc dù tôi đồng ý với người đánh giá rằng có một số sự vắng mặt dễ thấy (mô phỏng ủ và các hương vị EM ngẫu nhiên khác nhau). Khá kỳ lạ vì nó nằm trong loạt thống kê của họ, nhưng c'est la vie

— JMS

Ngoài ra, bạn có quen thuộc với cuốn sách đại số ma trận của Harville không? Tôi tò mò muốn biết nó so sánh với Gentle như thế nào. Tôi thấy Harville là một tài liệu tham khảo tốt, nhưng rất dày đặc. Chỉ từ cuốn sách của TOC of Gentle, tôi thích toàn bộ phần 2 được dành cho "các ứng dụng được chọn"

— JMS

@JMS Không. Tôi chỉ có sách giáo khoa của Gentle. . Trang chủ là mason.gmu.edu/~jgentle/books/matbk

— chl

Vâng, nhìn vào nó nhiều hơn nó dường như có nhiều hơn từ phía áp dụng. Cuốn sách của Harville rất chứng minh định lý, nhưng tập trung vào các kết quả quan trọng trong thống kê; Tôi nghĩ rằng họ có thể bổ sung cho nhau khá tốt mặc dù vật liệu chồng chéo.

— JMS

1

Để bổ sung cho những điều này, bạn có thể tìm thấy Magnus, JR và H. Neudecker (2007). Ma trận tính toán với các ứng dụng trong thống kê và kinh tế lượng, lần thứ 3 hữu ích mặc dù nặng. Nó phát triển một điều trị đầy đủ các hoạt động vô hạn với ma trận, và sau đó áp dụng chúng cho một số nhiệm vụ thống kê điển hình như tối ưu hóa, MLE và bình phương tối thiểu phi tuyến tính. Nếu cuối cùng bạn sẽ tìm ra sự ổn định lạc hậu của các thuật toán ma trận của bạn, thì việc nắm bắt tốt các phép tính ma trận sẽ là không thể thiếu. Cá nhân tôi đã sử dụng các công cụ tính toán ma trận để lấy kết quả tiệm cận trong thống kê không gian và các mô hình tham số đa biến.

— StasK
nguồn