Làm thế nào để tôi biết nên chọn phương pháp ước lượng tham số nào?

Có khá nhiều phương pháp để ước tính tham số ngoài kia. MLE, UMVUE, MoM, lý thuyết quyết định và những người khác đều có vẻ như họ có một trường hợp khá logic về lý do tại sao chúng hữu ích cho việc ước tính tham số. Có một phương pháp nào tốt hơn các phương pháp khác không, hay đó chỉ là vấn đề làm thế nào chúng ta xác định công cụ ước tính "phù hợp nhất" là gì (tương tự như cách giảm thiểu các lỗi trực giao tạo ra các ước lượng khác nhau từ cách tiếp cận bình phương nhỏ nhất)?

Có một sự nhầm lẫn nhỏ về hai điều ở đây: phương pháp để lấy công cụ ước tính và tiêu chí để đánh giá công cụ ước tính. Khả năng tối đa (ML) và phương pháp thời điểm (MoM) là những cách lấy công cụ ước tính; Phương sai tối thiểu thống nhất không thiên vị (UMVU) và lý thuyết quyết định là các tiêu chí để đánh giá các công cụ ước tính khác nhau một khi bạn có chúng, nhưng chúng sẽ không cho bạn biết làm thế nào để lấy được chúng.

Trong số các phương pháp để lấy công cụ ước tính, ML thường tạo ra các công cụ ước tính hiệu quả hơn (tức là phương sai thấp hơn) so với MoM nếu bạn biết mô hình mà dữ liệu của bạn được dẫn xuất (process quy trình tạo dữ liệu '(DGP) trong thuật ngữ). Nhưng MoM đưa ra ít giả định hơn về mô hình; như tên gọi của nó, nó chỉ sử dụng một hoặc nhiều khoảnh khắc, thường chỉ là trung bình hoặc chỉ trung bình và phương sai, vì vậy đôi khi nó mạnh mẽ hơn nếu bạn không chắc chắn về DGP. Có thể có nhiều hơn một công cụ ước tính MoM cho cùng một vấn đề, trong khi nếu bạn biết DGP, chỉ có một công cụ ước tính ML.

Trong các phương pháp đánh giá công cụ ước tính, lý thuyết quyết định phụ thuộc vào việc sử dụng hàm mất để đánh giá công cụ ước tính của bạn, mặc dù kết quả có thể khá mạnh đối với một loạt các hàm mất 'hợp lý'. Công cụ ước tính UMVU thường không tồn tại; trong nhiều trường hợp là không có ước lượng không thiên vị mà luôn luôn có sai tối thiểu. Và tiêu chí không thiên vị cũng có tính hữu dụng đáng ngờ, vì nó không bất biến đối với các phép biến đổi. Ví dụ: bạn muốn một công cụ ước tính không thiên vị về tỷ lệ cược hoặc tỷ lệ cược log? Hai người sẽ khác nhau.

Tôi muốn đề xuất rằng loại công cụ ước tính phụ thuộc vào một số điều:

1. Hậu quả của việc ước tính sai là gì? . Điều đó có quan trọng không? Có phải ước lượng chỉ là bước trung gian cần thiết cho dự đoán? là hành vi mẫu lớn quan trọng hơn hay ít hơn so với hành vi mẫu nhỏ?)
2. Thông tin trước của bạn về số lượng bạn đang ước tính là gì? (vd
3. Bạn có phần mềm gì? (ví dụ: MCMC không gợi ý tốt nếu bạn không có phần mềm để làm điều đó hoặc sử dụng GLMM nếu bạn không biết cách thực hiện.)

Hai điểm đầu tiên là cụ thể theo ngữ cảnh và bằng cách suy nghĩ về ứng dụng cụ thể của bạn , bạn thường có thể xác định các thuộc tính nhất định mà bạn muốn công cụ ước tính của mình có. Sau đó, bạn chọn công cụ ước tính mà bạn thực sự có thể tính toán, có nhiều thuộc tính mà bạn muốn nó có.

Tôi nghĩ rằng thiếu ngữ cảnh mà một khóa học giảng dạy có ước tính, có nghĩa là tiêu chí "mặc định" thường được sử dụng, tương tự như thông tin trước đó ("mặc định" rõ ràng nhất là bạn biết phân phối lấy mẫu dữ liệu của mình). Phải nói rằng, một số phương thức mặc định là tốt, đặc biệt là nếu bạn không biết đủ về bối cảnh. Nhưng nếu bạn làm biết bối cảnh, và bạn có các công cụ để kết hợp bối cảnh đó, sau đó bạn nên, cho nếu không bạn có thể nhận được kết quả phản trực giác (vì những gì bạn bỏ qua).

Tôi không phải là một fan hâm mộ lớn của MVUE như một quy tắc chung, bởi vì bạn thường phải hy sinh quá nhiều phương sai để có được sự thiên vị. Ví dụ, hãy tưởng tượng bạn đang ném phi tiêu vào một phi tiêu, và bạn muốn đánh vào mắt con bò đực. Giả sử rằng độ lệch tối đa từ mắt bò là 6cm cho một chiến lược ném cụ thể, nhưng trung tâm của các điểm phi tiêu cao hơn 1 cm so với mắt bò. Đây không phải là MVUE, vì trung tâm nên nằm trên bullseye. Nhưng giả sử rằng để dịch chuyển phân phối xuống 1cm (trung bình), bạn phải tăng bán kính của mình lên ít nhất 10cm (do đó, lỗi tối đa bây giờ là 10cm chứ không phải 6cm). Đây là loại điều có thể xảy ra với MVUE trừ khi phương sai đã nhỏ. Giả sử tôi là một cú ném chính xác hơn nhiều, và có thể thu hẹp lỗi của tôi xuống 0,1cm. Bây giờ sự thiên vị thực sự quan trọng, bởi vì tôi sẽ không bao giờ đạt được bullseye!

Nói tóm lại, đối với tôi, sự thiên vị chỉ quan trọng khi nó nhỏ so với phương sai. Và bạn thường sẽ chỉ nhận được phương sai nhỏ khi bạn có một mẫu lớn.