Đã có một số câu trả lời tuyệt vời cho câu hỏi này, nhưng tôi muốn trả lời tại sao lỗi tiêu chuẩn là gì, tại sao chúng ta sử dụng là trường hợp xấu nhất và lỗi tiêu chuẩn thay đổi như thế nào với .np=0.5n
Giả sử chúng tôi thực hiện một cuộc thăm dò chỉ một cử tri, hãy gọi anh ấy hoặc cô ấy là cử tri 1, và hỏi "bạn sẽ bỏ phiếu cho Đảng Tím?" Chúng ta có thể mã câu trả lời là 1 cho "có" và 0 cho "không". Hãy nói rằng xác suất của "có" là . Bây giờ chúng ta có một biến ngẫu nhiên nhị phân là 1 với xác suất và 0 với xác suất . Chúng tôi nói rằng là biến Bernouilli có xác suất thành công , chúng tôi có thể viết . Dự kiến, hoặc có nghĩa là,pX1p1−pX1pX1∼Bernouilli(p)X1E(X1)=∑xP(X1=x)xX1. Nhưng chỉ có hai kết quả, 0 với xác suất và 1 với xác suất , do đó tổng chỉ là . Dừng lại và suy nghĩ. Điều này thực sự có vẻ hoàn toàn hợp lý - nếu có 30% cơ hội cử tri 1 ủng hộ Đảng Tím và chúng tôi đã mã hóa biến thành 1 nếu họ nói "có" và 0 nếu họ nói "không", thì chúng tôi sẽ mong đợi là 0,3 trên trung bình.1−ppE(X1)=0(1−p)+1(p)=pX1
Chúng ta hãy nghĩ những gì xảy ra chúng ta vuông . Nếu thì và nếu thì . Vì vậy, trên thực tế trong cả hai trường hợp. Vì chúng giống nhau, nên chúng phải có cùng giá trị mong đợi, vì vậy . Điều này cho tôi một cách dễ dàng để tính toán phương sai của biến Bernouilli: Tôi sử dụng và do đó độ lệch chuẩn là .X1X1=0X21=0X1=1X21=1X21=X1E(X21)=pVar(X1)=E(X21)−E(X1)2=p−p2=p(1−p)σX1=p(1−p)−−−−−−−√
Rõ ràng tôi muốn nói chuyện với các cử tri khác - hãy gọi họ là cử tri 2, cử tri 3, thông qua cử tri . Giả sử tất cả họ đều có cùng xác suất hỗ trợ Đảng tím. Bây giờ chúng ta có biến Bernouilli, , cho đến , với mỗi cho từ 1 đến . Chúng đều có cùng một giá trị trung bình, và phương sai, .npnX1X2XnXi∼Bernoulli(p)inpp(1−p)
Tôi muốn tìm xem có bao nhiêu người trong mẫu của tôi nói "có" và để làm điều đó tôi chỉ có thể thêm tất cả . Tôi sẽ viết . Tôi có thể tính giá trị trung bình hoặc giá trị mong đợi của bằng cách sử dụng quy tắc nếu những kỳ vọng đó tồn tại và mở rộng rằng . Nhưng tôi đang cộng thêm những kỳ vọng đó và mỗi kỳ vọng là , vì vậy tôi nhận được tổng cộngXiX=∑ni=1XiXE(X+Y)=E(X)+E(Y)E(X1+X2+…+Xn)=E(X1)+E(X2)+…+E(Xn)npE(X)=np. Dừng lại và suy nghĩ. Nếu tôi thăm dò ý kiến 200 người và mỗi người có 30% cơ hội nói rằng họ ủng hộ Đảng Tím, tất nhiên tôi mong đợi 0,3 x 200 = 60 người sẽ nói "có". Vì vậy, công thức vẻ đúng. Ít "rõ ràng" là làm thế nào để xử lý phương sai.np
Có là một quy tắc mà nói
nhưng tôi chỉ có thể sử dụng nó nếu các biến ngẫu nhiên của tôi là độc lập với nhau . Rất tốt, hãy đưa ra giả định đó và bằng một logic tương tự trước khi tôi có thể thấy rằng . Nếu một biến là tổng của thử nghiệm Bernoulli độc lập , với xác suất thành công giống hệt nhau , thì chúng ta nói rằng có phân phối nhị thức, . Chúng tôi đã chỉ ra rằng giá trị trung bình của phân phối nhị thức như vậy là và phương sai là .
Var(X1+X2+…+Xn)=Var(X1)+Var(X2)+…+Var(Xn)
Var(X)=np(1−p)Xn pXX∼Binomial(n,p)npnp(1−p)
Vấn đề ban đầu của chúng tôi là làm thế nào để ước tính từ mẫu. Cách hợp lý để xác định công cụ ước tính của chúng tôi là . Ví dụ, 64 trong số 200 người của chúng tôi nói "có", chúng tôi ước tính rằng 64/200 = 0,32 = 32% số người nói rằng họ ủng hộ Đảng Tím. Bạn có thể thấy rằng là một "thu nhỏ" phiên bản của tổng số của chúng tôi vâng-cử tri, . Điều đó có nghĩa là nó vẫn là một biến ngẫu nhiên, nhưng không còn tuân theo phân phối nhị thức. Chúng ta có thể tìm giá trị trung bình và phương sai của nó, bởi vì khi chúng ta chia tỷ lệ một biến ngẫu nhiên theo một yếu tố không đổi thì nó tuân theo các quy tắc sau: (vì vậy thang đo trung bình bởi cùng một yếu tố ) vàpp^=X/np^XkE(kX)=kE(X)kVar(kX)=k2Var(X) . Lưu ý cách thay đổi tỷ lệ theo . Điều đó có ý nghĩa khi bạn biết rằng nói chung, phương sai được đo bằng bình phương của bất kỳ đơn vị nào mà biến được đo bằng: không áp dụng ở đây, nhưng nếu biến ngẫu nhiên của chúng tôi có chiều cao tính bằng cm thì phương sai sẽ tính bằng tỷ lệ khác nhau - nếu bạn tăng gấp đôi chiều dài, bạn tăng gấp bốn lần diện tích.k2cm2
Ở đây hệ số tỷ lệ của chúng tôi là . Điều này mang lại cho chúng tôi . Điều đó thật tuyệt! Trung bình, công cụ ước tính của chúng tôi chính xác là "nên", xác suất (hoặc dân số) thực sự mà một cử tri ngẫu nhiên nói rằng họ sẽ bỏ phiếu cho Đảng Tím. Chúng tôi nói rằng công cụ ước tính của chúng tôi là không thiên vị . Nhưng trong khi nó là chính xác trung bình, đôi khi nó sẽ quá nhỏ, và đôi khi quá cao. Chúng ta có thể thấy nó có khả năng sai như thế nào bằng cách nhìn vào phương sai của nó. . Độ lệch chuẩn là căn bậc hai,1nE(p^)=1nE(X)=npn=pp^Var(p^)=1n2Var(X)=np(1−p)n2=p(1−p)np(1−p)n−−−−−√và bởi vì nó cho chúng ta biết được công cụ ước tính của chúng ta sẽ bị tắt như thế nào (đó thực sự là một lỗi bình phương gốc , một cách tính sai số trung bình xử lý các lỗi tích cực và tiêu cực như nhau, bằng cách bình phương chúng trước khi tính trung bình) , nó thường được gọi là lỗi tiêu chuẩn . Một nguyên tắc nhỏ, hoạt động tốt đối với các mẫu lớn và có thể được xử lý chặt chẽ hơn bằng cách sử dụng Định lý giới hạn trung tâm nổi tiếng , là hầu hết thời gian (khoảng 95%) ước tính sẽ sai dưới hai lỗi tiêu chuẩn.
Vì nó xuất hiện trong mẫu số của phân số, giá trị cao hơn của - mẫu lớn hơn - làm cho sai số chuẩn nhỏ hơn. Đó là một tin tuyệt vời, như thể tôi muốn một lỗi tiêu chuẩn nhỏ, tôi chỉ làm cho cỡ mẫu đủ lớn. Tin xấu là nằm trong một căn bậc hai, vì vậy nếu tôi tăng gấp bốn lần kích thước mẫu, tôi sẽ chỉ giảm một nửa lỗi tiêu chuẩn. Các lỗi tiêu chuẩn rất nhỏ sẽ liên quan đến các mẫu rất rất lớn, do đó đắt tiền. Có một vấn đề khác: nếu tôi muốn nhắm mục tiêu một lỗi tiêu chuẩn cụ thể, giả sử là 1%, thì tôi cần biết giá trị của để sử dụng trong tính toán của mình. Tôi có thể sử dụng các giá trị lịch sử nếu tôi có dữ liệu bỏ phiếu trước đây, nhưng tôi muốn chuẩn bị cho trường hợp xấu nhất có thể xảy ra. Giá trị nào củannppcó vấn đề nhất? Một biểu đồ là hướng dẫn.
Lỗi tiêu chuẩn trong trường hợp xấu nhất (cao nhất) sẽ xảy ra khi . Để chứng minh rằng tôi có thể sử dụng phép tính, nhưng một số đại số trung học sẽ thực hiện thủ thuật, miễn là tôi biết cách " hoàn thành hình vuông ". p=0.5
p(1−p)−−−−−−−√=p−p2−−−−−√=14−(p2−p+14)−−−−−−−−−−−−−−√=14−(p−12)2−−−−−−−−−−−√
Biểu thức là dấu ngoặc vuông, vì vậy sẽ luôn trả về câu trả lời bằng 0 hoặc dương, sau đó sẽ bị lấy đi từ một phần tư. Trong trường hợp xấu nhất (lỗi tiêu chuẩn lớn) càng ít càng tốt bị lấy đi. Tôi biết ít nhất có thể bị trừ là 0 và điều đó sẽ xảy ra khi , vì vậy khi . Kết quả cuối cùng là tôi nhận được các lỗi tiêu chuẩn lớn hơn khi cố gắng ước tính hỗ trợ cho các đảng chính trị gần 50% phiếu bầu và các lỗi tiêu chuẩn thấp hơn để ước tính hỗ trợ cho các đề xuất về cơ bản ít phổ biến hơn hoặc ít phổ biến hơn thế. Trên thực tế, tính đối xứng của biểu đồ và phương trình của tôi cho tôi thấy rằng tôi sẽ nhận được cùng một lỗi tiêu chuẩn cho các ước tính hỗ trợ của tôi về Đảng Tím, cho dù họ có hỗ trợ phổ biến 30% hay 70%.p−12=0p=12
Vậy tôi cần bao nhiêu người để thăm dò ý kiến để giữ sai số chuẩn dưới 1%? Điều này có nghĩa là, phần lớn thời gian, ước tính của tôi sẽ nằm trong 2% của tỷ lệ chính xác. Bây giờ tôi biết rằng lỗi tiêu chuẩn trường hợp xấu nhất là mang lại cho tôi và vì vậy . Điều đó sẽ giải thích tại sao bạn nhìn thấy số liệu bỏ phiếu trong hàng ngàn.0.25n−−−√=0.5n√<0.01n−−√>50n>2500
Trong thực tế, lỗi tiêu chuẩn thấp không phải là sự đảm bảo cho một ước tính tốt. Nhiều vấn đề trong bỏ phiếu là có tính chất thực tế hơn là lý thuyết. Ví dụ, tôi giả định rằng mẫu là của các cử tri ngẫu nhiên, mỗi người có cùng xác suất , nhưng lấy một mẫu "ngẫu nhiên" trong cuộc sống thực là khó khăn. Bạn có thể thử bỏ phiếu qua điện thoại hoặc trực tuyến - nhưng không chỉ mọi người không có điện thoại hoặc truy cập internet, mà những người không có thể có nhân khẩu học rất khác nhau (và ý định bỏ phiếu) cho những người thực hiện. Để tránh đưa ra sự thiên vị cho kết quả của họ, các công ty bỏ phiếu thực sự thực hiện tất cả các loại trọng số phức tạp của các mẫu của họ, chứ không phải trung bình đơn giảnp∑Xinmà tôi đã lấy. Ngoài ra, mọi người nói dối với người gây ô nhiễm! Những cách khác nhau mà những người gây ô nhiễm đã bù đắp cho khả năng này, rõ ràng là gây tranh cãi. Bạn có thể thấy một loạt các cách tiếp cận trong cách các công ty bỏ phiếu đã đối phó với cái gọi là Yếu tố Shy Tory ở Anh. Một phương pháp sửa chữa liên quan đến việc xem xét cách mọi người bỏ phiếu trong quá khứ để đánh giá mức độ hợp lý của ý định bỏ phiếu của họ, nhưng hóa ra ngay cả khi họ không nói dối, nhiều cử tri chỉ đơn giản là không nhớ lịch sử bầu cử của họ . Khi bạn có những thứ này đang diễn ra, thực sự có rất ít điểm nhận được "lỗi tiêu chuẩn" xuống 0,00001%.
Để kết thúc, đây là một số biểu đồ cho thấy kích thước mẫu được yêu cầu - theo phân tích đơn giản của tôi - bị ảnh hưởng bởi lỗi tiêu chuẩn mong muốn và giá trị "trường hợp xấu nhất" của so với tỷ lệ dễ điều chỉnh hơn. Hãy nhớ rằng đường cong cho sẽ giống hệt với đường cong cho do tính đối xứng của đồ thị trước đó của p = 0,7 p = 0.3 √p=0.5p=0.7p=0.3p(1−p)−−−−−−−√