Cách lấy mẫu khi bạn không biết phân phối

Tôi còn khá mới với số liệu thống kê (một số ít các khóa học Uni cấp độ mới bắt đầu) và đã tự hỏi về việc lấy mẫu từ các bản phân phối chưa biết. Cụ thể, nếu bạn không có ý tưởng về phân phối cơ bản, có cách nào để "đảm bảo" rằng bạn có được một mẫu đại diện không?

Ví dụ để minh họa: giả sử bạn đang cố gắng tìm ra sự phân phối của cải toàn cầu. Đối với bất kỳ cá nhân nào, bạn bằng cách nào đó có thể tìm ra sự giàu có chính xác của họ; nhưng bạn không thể "lấy mẫu" từng người trên Trái đất. Vì vậy, giả sử bạn lấy mẫu n = 1000 người một cách ngẫu nhiên.

1. Nếu mẫu của bạn không bao gồm Bill Gates, bạn có thể nghĩ rằng không có tỷ phú nào tồn tại.

2. Nếu bạn lấy mẫu bao gồm Bill Gates, bạn có thể nghĩ tỷ phú phổ biến hơn thực tế.

Trong cả hai trường hợp, bạn thực sự không thể biết tỷ phú phổ biến hay hiếm như thế nào; bạn thậm chí có thể không biết liệu có tồn tại hay không.

Có một cơ chế lấy mẫu tốt hơn tồn tại cho một trường hợp như thế này?

Làm thế nào bạn sẽ nói với một tiên nghiệm nên sử dụng quy trình lấy mẫu nào (và cần bao nhiêu mẫu)?

Đối với tôi, dường như bạn có thể phải "lấy mẫu" một tỷ lệ lớn dân số để biết, với bất cứ điều gì tiếp cận với sự chắc chắn hợp lý, các tỷ phú phổ biến hay hiếm trên hành tinh này và điều này là do sự phân phối cơ bản hơi khó khăn để làm việc với.

Tôi tranh luận về tuyên bố của bạn rằng "Trong cả hai trường hợp, bạn thực sự không thể biết tỷ phú phổ biến hay hiếm như thế nào". Gọi là phần chưa biết của tỷ phú trong dân số. Với đồng phục trước f , phân phối sau của f sau 1000 lần rút ra có 0 tỷ phú là phân phối Beta (1.1001), trông như thế này: $f$$f$$f$$1000$

Trong khi phân phối sau của sau 1000 lần rút ra có 1 tỷ phú là phân phối Beta (2.1000), trông như thế này: $f$$1000$

$f < 0.01$

Có hai điều bạn có thể làm (riêng biệt hoặc kết hợp)

Làm mẫu đuôi

Một là mô hình hóa đuôi của phân phối bằng phân phối tham số. Luật quyền lực được biết là phù hợp với phân phối của cải, vì vậy bạn hãy thử phân phối Pareto. Bạn có thể phù hợp với phân phối đó theo khả năng tối đa, nghĩa là bằng cách tìm các tham số thể hiện đúng nhất mẫu của bạn. Hoặc tốt hơn, bạn có thể đặt một linh mục Bayes vào các tham số, và tính toán toàn bộ hậu thế.

Thật không may, luật công suất rất nhạy cảm với các tham số và không có nhiều biểu dữ liệu lớn trong mẫu của bạn, sẽ có rất nhiều sự không chắc chắn về số mũ. Số lượng tỷ phú ước tính sẽ nhạy cảm với thông số này, nhưng ít hơn nhiều so với tài sản trung bình của các tỷ phú, vì vậy tình hình không quá tệ.

Lấy mẫu quan trọng

Một cách khác là thay đổi cách bạn thu thập mẫu của bạn. Giả sử rằng bạn nghi ngờ (như bạn nên) có nhiều tỷ phú trên đầu người ở Monaco hoặc Zurich hơn ở Mogadishiu. Nếu bạn biết dân số của mỗi thành phố này, bạn có thể thu thập một mẫu lớn hơn ở các thành phố nơi bạn mong đợi sẽ thấy nhiều tỷ phú hơn và một thành viên nhỏ hơn ở các thành phố khác.

Vì vậy, nói Zurich có 400.000 người và Mogadishu 1.400.000 và chúng tôi muốn thăm dò ý kiến ​​của 9.000 người. Chúng tôi quan tâm ở đây về số lượng triệu phú chứ không phải tỷ phú.

Một mẫu không thiên vị sẽ chọn 2.000 người ở Zurich và 7.000 ở Mogadishu. Tuy nhiên, chúng tôi sẽ thiên vị mẫu bằng cách lấy mẫu bảy lần thường xuyên hơn từ Zurich. Vì vậy, chúng tôi sẽ "giả vờ" rằng Zurich có 2.800.000 người và điều chỉnh sau. Điều này có nghĩa là chúng tôi sẽ thăm dò 6.000 người ở Zurich thay vì 2.000 và 4.000 ở Mogadishu.

Giả sử chúng tôi đếm 21 triệu phú trong mẫu Zurich của chúng tôi và chỉ có 1 trong mẫu Mogadishu của chúng tôi. Vì chúng tôi đã lấy mẫu Zurich 7 lần, chúng tôi sẽ chỉ tính là 3 triệu phú.

Thủ tục này sẽ làm giảm phương sai của công cụ ước tính của bạn. Nó cũng có thể được sử dụng cùng với phương pháp đầu tiên, trong trường hợp đó bạn sẽ điều chỉnh lấy mẫu quan trọng khi phù hợp với phân phối tham số.

Tôi nghĩ rằng một phương pháp lấy mẫu tốt dựa trên kiến ​​thức trước đây của hệ thống. Trong lĩnh vực của bạn, bạn có kiến ​​thức về những thành kiến ​​tiềm năng có thể ảnh hưởng đến việc lấy mẫu của bạn. Nếu bạn không có kiến ​​thức đó, bạn có thể có được nó từ văn học.

Trong ví dụ của bạn, bạn biết rằng có những tỷ phú và họ có thể thiên vị việc lấy mẫu của bạn. Vì vậy, bạn có thể quyết định phân tầng lấy mẫu theo cấp học, quốc gia, loại công việc, v.v ... Có nhiều lựa chọn.

Hãy thử với một ví dụ khác. Mục tiêu của bạn là xác định sự phong phú của một loài chuột trong công viên. Trong công viên này, có rừng và đồng cỏ. Theo tài liệu, bạn biết rằng chuột có nhiều trong rừng hơn đồng cỏ. Vì vậy, bạn phân tầng lấy mẫu của bạn bằng đặc tính này. Có thể có quy trình lấy mẫu khác, nhưng tôi nghĩ thông tin tốt nhất của bạn sẽ là từ các tài liệu hiện có.

Và nếu không có tài liệu về lĩnh vực của bạn? Không thể cải thiện, nhưng trong bối cảnh đó, tôi sẽ thực hiện một nghiên cứu trước để xem những yếu tố nào cần được tính đến để lấy mẫu.

Việc một mẫu có đại diện hay không không liên quan gì đến các phép đo quan sát được của mẫu. Một mẫu là đại diện nếu mọi bộ đơn vị quan sát có cùng xác suất được chọn như bất kỳ bộ nào khác có cùng kích thước. Tất nhiên điều này là khó thực hiện trừ khi bạn có thể liệt kê đầy đủ không gian mẫu của bạn. Giả sử bạn có thể lấy điều đó (ví dụ từ dữ liệu điều tra dân số), một mẫu ngẫu nhiên đơn giản sẽ là đại diện.

Bất kể bạn lấy mẫu như thế nào, sẽ luôn có ít nhất ba nguồn lỗi riêng biệt để xem xét:

lỗi lấy mẫu: tình cờ bạn đưa Bill Gates vào mẫu đại diện của bạn. Các phương pháp thống kê, đặc biệt là độ rộng của khoảng tin cậy, v.v. được thiết kế để giải quyết vấn đề này, miễn là bạn có một số kiến ​​thức sơ bộ về phân phối trong tay (ví dụ: tính bình thường, phân phối của cải chắc chắn không có).

sai lệch lấy mẫu: Mẫu không đại diện. Ví dụ: Bill Gates có một số chưa niêm yết, do đó, cuộc khảo sát qua điện thoại của bạn không bao giờ có thể liên lạc với anh ấy (trừ khi bạn sử dụng cái gì đó như "quay số ngẫu nhiên"). Đây là một ví dụ cực đoan, nhưng sự thiên vị lấy mẫu rất phổ biến. Một sự cố phổ biến là lấy các mẫu tại chỗ hoặc tiện lợi: Bạn lấy mẫu khách hàng quen của nhà hàng tại nhà hàng xem họ có thích địa điểm đó không, tần suất họ đã đến đó và họ có kế hoạch quay lại không. Khách hàng lặp lại có nhiều khả năng được lấy mẫu hơn so với khách hàng một lần và các mẫu thuộc loại này có thể bị sai lệch nghiêm trọng trong thái độ của họ.

phản ứng thiên vị: Các phép đo chính họ là không chính xác. Điều này có thể xảy ra do bất cứ điều gì từ trục trặc của đồng hồ đến nói dối có ý thức đến hiệu ứng lượng tử (ví dụ nguyên lý bất định của Heisenberg).