Bao nhiêu để trả? Một vấn đề thực tế


66

Đây không phải là một câu hỏi làm việc tại nhà mà là vấn đề thực sự mà công ty chúng tôi phải đối mặt.

Rất gần đây (2 ngày trước) chúng tôi đã đặt hàng sản xuất 10000 nhãn sản phẩm cho một đại lý. Đại lý là người độc lập. Anh ta nhận được các nhãn sản xuất từ ​​bên ngoài và công ty thanh toán cho các đại lý. Mỗi nhãn có giá chính xác $ 1 cho công ty.

Hôm qua, đại lý đi kèm với nhãn nhưng nhãn được gói trong một gói 100 nhãn mỗi nhãn. Theo cách này, có tổng số 100 gói và mỗi gói chứa 100 nhãn, do đó tổng số 10000 nhãn. Trước khi thanh toán cho đại lý 10000 đô la, chúng tôi đã quyết định đếm vài gói để đảm bảo rằng mỗi gói chứa chính xác 100 nhãn. Khi chúng tôi đếm các nhãn, chúng tôi đã tìm thấy gói thiếu 100 nhãn (chúng tôi đã tìm thấy 97 nhãn). Để đảm bảo rằng đây không phải là tình cờ nhưng đã cố tình thực hiện, chúng tôi đã đếm thêm 5 gói và tìm thấy số nhãn sau trong mỗi gói (bao gồm cả gói đầu tiên):

Packet Number    Number of labels
1                97 
2                98  
3                96
4                100
5                95 
6                97  

Không thể đếm từng gói, vì vậy chúng tôi quyết định thanh toán trung bình. Vì vậy, số lượng nhãn trung bình trong sáu gói là 97.166, vì vậy tổng số thanh toán được quyết định là $ 9716.

Tôi chỉ muốn biết làm thế nào các nhà thống kê phải đối phó với loại vấn đề như vậy .
Hơn nữa tôi muốn biết chúng ta nên trả bao nhiêu để có được sự đảm bảo 95% rằng chúng ta chưa trả nhiều hơn số lượng thực tế của toàn bộ nhãn.

Thông tin thêm:

P (bất kỳ gói nào chứa hơn 100 nhãn) = 0
P (bất kỳ gói nào chứa nhãn nhỏ hơn 90) = 0 {nhãn nhỏ hơn 90 sẽ dễ dàng được phát hiện trong khi đếm các gói vì gói sẽ có trọng lượng nhỏ hơn}


EDIT: Đại lý chỉ đơn giản là phủ nhận sai lầm đó. Chúng tôi đã tìm thấy các đại lý này làm việc trên một khoản hoa hồng cụ thể mà họ nhận được từ nhà sản xuất về khoản tiền mà công ty đang trả. Khi chúng tôi liên lạc trực tiếp với nhà sản xuất, chúng tôi thấy rằng đó không phải là lỗi của nhà sản xuất cũng như đại lý. Nhà sản xuất cho biết, Nhãn Nhãn bị ngắn vì các tờ không được tiêu chuẩn hóa về kích thước và bất kỳ số nào được cắt từ một tờ duy nhất mà chúng sẽ bó chúng lại với nhau trong một gói.

Hơn nữa, chúng tôi được xác nhận xác nhận đầu tiên của chúng tôi được cung cấp trong thông tin bổ sung, bởi vì nhà sản xuất thừa nhận rằng từ việc tăng biên kích thước của tấm, không thể cắt nhãn bổ sung, từ việc giảm kích thước của tấm không thể cắt giảm 100 nhãn có cùng kích thước.


7
+1 (1) Làm thế nào bạn có thể biện minh cho khẳng định đầu tiên trong phần "thông tin bổ sung"? (2) Làm thế nào chính xác bạn có thể cân các gói?
whuber

15
Anh và Isaac Newton phải đối mặt với cùng một vấn đề 300 năm trước. (Các đặt cược vào họ hơi lớn hơn, bởi vì "labels" trong câu hỏi đã được đúc tiền xu.) Do đó bạn có thể thưởng thức đọc tài khoản của Hội đồng xét xử của hộp pyx Stephen Stigler tại stat.wisc.edu/sites/default/files/TR442_0.pdf .
whuber

7
@Neeraj Nếu trọng lượng của tất cả các mặt hàng là phù hợp, tại sao không chỉ cân nhắc toàn bộ giao hàng?
Phục hồi Monica

9
Đề nghị trả 9000 đô la và chờ họ nói "Nhưng chúng tôi chỉ rút ngắn cho bạn 600 chứ không phải 1000"
Dean MacGregor

5
Ngoài câu hỏi thống kê tuyệt vời, +1, tôi muốn chia sẻ một lời khuyên trực tiếp hơn từ nhiều năm trong ngành in: tất cả các máy in chuyên nghiệp, phù hợp đều có chính sách vượt / giảm như thế này vì hầu hết các máy in không cung cấp số đếm chính xác bất cứ thứ gì không sử dụng "đánh số" (số sê-ri riêng lẻ). Nhưng họ nên có một số lượng tuyệt vời những gì họ đã cho bạn, và nếu rút ngắn giảm giá cho bạn nếu nhiều hơn nhỏ (5%, nói). Tính giá đầy đủ cho các khoản chưa biết là KHÔNG chính sách tiêu chuẩn.
BrianH

Câu trả lời:


20

Tôi sẽ quan tâm đến phản hồi về đoạn văn bắt đầu "Khi phản ánh ...", vì một phần cụ thể của mô hình đã khiến tôi thức đêm.

Mô hình Bayes

Câu hỏi sửa đổi khiến tôi nghĩ rằng chúng ta có thể phát triển mô hình một cách rõ ràng mà không cần sử dụng mô phỏng. Mô phỏng đưa ra sự thay đổi bổ sung do tính ngẫu nhiên vốn có của lấy mẫu. Các nhà khoa học trả lời là tuyệt vời, mặc dù.

Giả định : số lượng nhãn nhỏ nhất trên mỗi phong bì là 90 và lớn nhất là 100.

Do đó, số lượng nhãn nhỏ nhất có thể là 9000 + 7 + 8 + 6 + 10 + 5 + 7 = 9043 (như được đưa ra bởi dữ liệu của OP), 9000 do giới hạn dưới của chúng tôi và các nhãn bổ sung đến từ dữ liệu được quan sát.

Biểu thị số lượng nhãn trong một phong bì . Biểu thị số lượng nhãn hơn 90, tức là , do đó . Các phân phối nhị thức mô hình tổng số thành công (ở đây là một thành công là sự hiện diện của một nhãn trong một phong bì) trong thử nghiệm khi các thử nghiệm độc lập với thành công liên tục Xác suất nên có giá trịChúng tôi lấy , đưa ra 11 kết quả khác nhau có thể. Tôi cho rằng vì kích thước trang tính không đều, một số trang chỉ có chỗ choYiiXiX=Y90X{0,1,2,...,10}npX0,1,2,3,...,n.n=10Xcác nhãn bổ sung vượt quá 90 và rằng "không gian bổ sung" này cho mỗi nhãn vượt quá 90 xảy ra độc lập với xác suất . VậypXiBinomial(10,p).

(Sau khi phản ánh, mô hình giả định / nhị thức độc lập có thể là một giả định kỳ lạ để thực hiện, vì nó sửa chữa hiệu quả thành phần của các trang in thành không chính thống và dữ liệu chỉ có thể thay đổi vị trí của chế độ, nhưng mô hình sẽ không bao giờ thừa nhận một bản phân phối đa phương thức. Ví dụ, theo một mô hình thay thế, có thể là máy in chỉcó các tờ có kích thước 97, 98, 96, 100 và 95: điều này đáp ứng tất cả các ràng buộc đã nêu và dữ liệu không loại trừ khả năng này. Có thể phù hợp hơn khi coi mỗi kích thước trang tính là danh mục riêng và sau đó phù hợp với mô hình đa cực Dirichlet với dữ liệu. Tôi không làm điều này ở đây vì dữ liệu rất khan hiếm, vì vậy xác suất sau cho mỗi trong số 11 loại sẽ bị ảnh hưởng rất mạnh bởi trước đó. Mặt khác, bằng cách phù hợp với mô hình đơn giản hơn, chúng ta cũng đang hạn chế các loại suy luận mà chúng ta có thể thực hiện.)

Mỗi phong bì là một thực iid của . Tổng các thử nghiệm nhị thức có cùng xác suất thành công cũng là nhị thức, vì vậy(Đây là một định lý - để xác minh, sử dụng định lý duy nhất MGF.)iXpiXiBinomial(60,p).

Tôi thích suy nghĩ về những vấn đề này trong chế độ Bayes, bởi vì bạn có thể đưa ra tuyên bố xác suất trực tiếp về số lượng quan tâm sau. Một điển hình trước cho các thử nghiệm nhị thức với chưa biết là phân phối beta , rất linh hoạt (thay đổi trong khoảng từ 0 đến 1, có thể đối xứng hoặc không đối xứng theo cả hai hướng, đồng nhất hoặc một trong hai khối Dirac, có antimode hoặc chế độ .. Đó là một công cụ tuyệt vời!). Trong trường hợp không có dữ liệu, có vẻ hợp lý để giả sử xác suất thống nhất trên . Nghĩa là, người ta có thể mong đợi nhìn thấy một tờ chứa 90 nhãn thường xuyên bằng 91, thường là 92, ..., thường là 100. Vì vậy, ưu tiên của chúng tôi làpppBeta(1,1).Nếu bạn không nghĩ rằng phiên bản beta trước này là hợp lý, thì đồng phục trước có thể được thay thế bằng phiên bản beta khác trước đó và toán học thậm chí sẽ không tăng độ khó!

Phân phối sau trên là theo các thuộc tính liên hợp của mô hình này. Tuy nhiên, đây chỉ là một bước trung gian vì chúng tôi không quan tâm đến nhiều như chúng tôi quan tâm đến tổng số nhãn. May mắn thay, các tính chất của liên hợp cũng có nghĩa là phân phối dự báo sau của các tờ là beta-nhị thức , với các tham số của beta sau. Có "thử nghiệm", nghĩa là các nhãn mà sự hiện diện của chúng trong phân phối là không chắc chắn, do đó mô hình sau của chúng tôi trên các nhãn còn lại làppBeta(1+43,1+17)p940ZZBB(44,18,940).

nhập mô tả hình ảnh ở đây

Vì chúng tôi có phân phối trên và mô hình giá trị trên mỗi nhãn (nhà cung cấp đồng ý một đô la cho mỗi nhãn), chúng tôi cũng có thể suy ra phân phối xác suất theo giá trị của lô. Suy ra tổng giá trị đô la của lô. Chúng tôi biết rằng , vì chỉ mô hình hóa các nhãn mà chúng tôi không chắc chắn. Vì vậy, việc phân tán trên giá trị được đưa ra bởi .ZDD=9043+ZZD

Cách thích hợp để xem xét giá cả là gì?

Chúng ta có thể thấy rằng các lượng tử ở 0,025 và 0,975 (một khoảng 95%) tương ứng là 553 và 769. Vì vậy, khoảng 95% trên D là . Thanh toán của bạn rơi vào khoảng đó. (Phân phối trên không chính xác đối xứng, do đó, đây không phải là khoảng 95% trung tâm - tuy nhiên, sự không đối xứng là không đáng kể. một để xem xét!)[9596,9812]D

Tôi không biết về hàm lượng tử để phân phối nhị thức beta trong R, vì vậy tôi đã tự viết bằng cách sử dụng tìm kiếm gốc của R.

qbetabinom.ab <- function(p, size, shape1, shape2){
    tmpFn <- function(x) pbetabinom.ab(x, size=size, shape1=shape1, shape2=shape2)-p
    q <- uniroot(f=tmpFn, interval=c(0,size))
    return(q$root)
}

Một cách khác để suy nghĩ về nó chỉ là suy nghĩ về sự mong đợi. Nếu bạn lặp lại quá trình này nhiều lần, chi phí trung bình bạn sẽ trả là bao nhiêu? Chúng ta có thể tính toán kỳ vọng của trực tiếp. Mô hình nhị thức beta có kỳ vọng , vì vậy gần như chính xác những gì bạn đã trả. Khoản lỗ dự kiến ​​của bạn cho thỏa thuận chỉ là 6 đô la! Tất cả đã nói, làm tốt lắm!DE(D)=E(9043+Z)=E(Z)+9043.E(Z)=nαα+β=667.0968E(D)=9710.097,

Nhưng tôi không chắc một trong hai số liệu này có liên quan nhất. Rốt cuộc, nhà cung cấp này đang cố gắng lừa dối bạn! Nếu tôi đang thực hiện thỏa thuận này, tôi sẽ ngừng lo lắng về việc hòa vốn hoặc giá trị hợp lý của lô và bắt đầu xác định khả năng tôi trả quá nhiều! Nhà cung cấp rõ ràng đang cố gắng lừa gạt tôi, vì vậy tôi hoàn toàn nằm trong quyền của mình để giảm thiểu tổn thất và không quan tâm đến điểm hòa vốn. Trong cài đặt này, mức giá cao nhất tôi sẽ cung cấp là 9615 đô la, vì đây là mức định lượng 5% của hậu thế trên , tức là có xác suất 95% rằng tôi đang trả thấpD . Nhà cung cấp không thể chứng minh với tôi rằng tất cả các nhãn đều ở đó, vì vậy tôi sẽ phòng ngừa các vụ cá cược của mình.

(Tất nhiên, việc nhà cung cấp chấp nhận thỏa thuận cho chúng tôi biết rằng anh ta có tổn thất thực sự không đáng kể ... Tôi chưa tìm ra cách sử dụng thông tin đó để giúp chúng tôi xác định chính xác hơn số tiền bạn bị lừa, ngoại trừ lưu ý bởi vì anh ấy đã chấp nhận lời đề nghị, bạn đã hòa vốn tốt nhất .)

So sánh với bootstrap

Chúng tôi chỉ có 6 quan sát để làm việc. Sự biện minh cho bootstrap là không có triệu chứng, vì vậy hãy xem xét kết quả trông như thế nào trên mẫu nhỏ của chúng tôi. Biểu đồ này cho thấy mật độ của mô phỏng boostrap. nhập mô tả hình ảnh ở đây

Mẫu "gập ghềnh" là một tạo tác của cỡ mẫu nhỏ. Bao gồm hoặc loại trừ bất kỳ một điểm nào sẽ có tác động lớn đến giá trị trung bình, tạo ra vẻ ngoài "bó" này. Cách tiếp cận Bayes làm phẳng các cụm này và, theo tôi, là một bức chân dung đáng tin cậy hơn về những gì đang diễn ra. Đường thẳng đứng là 5% lượng tử.


đó là một câu trả lời tuyệt vời Bạn đã cung cấp cái nhìn sâu sắc mới bằng cách xử phạt rủi ro. Cảm ơn
Neeraj

1
Tôi rất vui khi biết rằng khoản lỗ dự kiến ​​của bạn chỉ là 6 đô la. :-) Cảm ơn một lần nữa cho một câu hỏi tuyệt vời.
Phục hồi Monica

1
Phân phối nhị thức mô hình số lần thành công trong thử nghiệm khi các thử nghiệm độc lập với xác suất thành công không đổi nên phải lấy các giá trịChúng tôi lấy , đưa ra 11 kết quả khác nhau có thể có. Tôi giả sử rằng vì kích thước trang tính không đều, một số trang chỉ có chỗ cho nhãn bổ sung vượt quá 90 và "không gian bổ sung" này cho mỗi nhãn xảy ra với xác suất . np0,1,2,3,....,n.n=10Xp
Phục hồi Monica

1
Mô hình Poisson có thể lấy các giá trị . Vì vậy, nó chỉ định xác suất dương cho việc có nhãn cho mỗi gói. Bây giờ, có xác suất nhỏ mục theo bất kỳ mô hình Poisson hợp lý nào cho dữ liệu này, nhưng không ai sử dụng mô hình Poisson vì nó không tôn trọng các ràng buộc . 0,1,2,3,...101,102,103,...,1061060X10
Phục hồi lại


20

EDIT: Bi kịch! Giả định ban đầu của tôi là không chính xác! (Hoặc nghi ngờ, ít nhất - làm bạn tin tưởng những gì người bán nói cho bạn Tuy nhiên, chiếc mũ chóp để Morten, cũng?.) Mà tôi đoán là một giới thiệu tốt để thống kê, nhưng Các phần Tấm Cách tiếp cận hiện đang bổ sung dưới đây ( vì mọi người dường như thích Toàn bộ tờ một, và có lẽ ai đó vẫn sẽ thấy nó hữu ích).

Trước hết, vấn đề lớn. Nhưng tôi muốn làm cho nó phức tạp hơn một chút.

Do đó, trước khi thực hiện, hãy để tôi làm cho nó đơn giản hơn một chút và nói - phương pháp bạn đang sử dụng ngay bây giờ là hoàn toàn hợp lý . Nó rẻ thật dễ dàng. Vì vậy, nếu bạn phải gắn bó với nó, bạn không nên cảm thấy tồi tệ. Chỉ cần chắc chắn rằng bạn chọn gói của bạn ngẫu nhiên. VÀ, nếu bạn chỉ có thể cân nhắc mọi thứ một cách đáng tin cậy (mẹo đội mũ cho whuber và user777), thì bạn nên làm điều đó.

Lý do tôi muốn làm cho nó phức tạp hơn một chút là vì bạn đã có - bạn chưa nói với chúng tôi về toàn bộ sự phức tạp, đó là - đếm mất thời gian và thời gian cũng là tiền . Nhưng giá bao nhiêu ? Có lẽ nó thực sự rẻ hơn để đếm tất cả mọi thứ!

Vì vậy, những gì bạn thực sự đang làm là cân bằng thời gian cần thiết, với số tiền bạn đang tiết kiệm. (Tất nhiên, nếu bạn chỉ chơi trò chơi này một lần. Lần tiếp theo bạn có điều này xảy ra với người bán, họ có thể đã bắt kịp và thử một mẹo mới. Về lý thuyết trò chơi, đây là điểm khác biệt giữa Trò chơi bắn súng đơn và Iterated Trò chơi. Nhưng bây giờ, hãy giả vờ rằng người bán sẽ luôn làm điều tương tự.)

Một điều nữa trước khi tôi có được ước tính mặc dù. (Và, xin lỗi vì đã viết quá nhiều mà vẫn không nhận được câu trả lời, nhưng sau đó, đó là một câu trả lời khá hay cho một nhà thống kê sẽ làm gì? Họ sẽ dành một lượng lớn thời gian để đảm bảo rằng họ hiểu được từng phần nhỏ của vấn đề trước khi họ cảm thấy thoải mái khi nói bất cứ điều gì về nó.) Và đó là một cái nhìn sâu sắc dựa trên những điều sau đây:

(CHỈNH SỬA: NẾU BẠN THỰC SỰ THỰC HIỆN ...) Người bán của bạn không tiết kiệm tiền bằng cách xóa nhãn - họ tiết kiệm tiền bằng cách không in tờ. Họ không thể bán nhãn của bạn cho người khác (tôi giả sử). Và có lẽ, tôi không biết và tôi không biết nếu bạn làm thế, họ không thể in một nửa tờ của bạn và nửa tờ của người khác. Nói cách khác, trước khi bạn bắt đầu đếm, bạn có thể giả sử rằng tổng số nhãn là một trong hai 9000, 9100, ... 9900, or 10,000. Đó là cách tôi sẽ tiếp cận nó, bây giờ.

Phương pháp toàn bộ tờ

Khi một vấn đề hơi rắc rối như vấn đề này (rời rạc và bị ràng buộc), rất nhiều nhà thống kê sẽ mô phỏng những gì có thể xảy ra. Đây là những gì tôi mô phỏng:

# The number of sheets they used
sheets <- sample(90:100, 1)
# The base counts for the stacks
stacks <- rep(90, 100)
# The remaining labels are distributed randomly over the stacks
for(i in 1:((sheets-90)*100)){
    bucket <- sample(which(stacks!=100),1)
    stacks[bucket] <- stacks[bucket] + 1
}

Điều này mang lại cho bạn, giả sử họ đang sử dụng toàn bộ trang tính và các giả định của bạn là chính xác, có thể là một bản phân phối nhãn của bạn (theo ngôn ngữ lập trình R).

Sau đó, tôi đã làm điều này:

alpha = 0.05/2
for(i in 4:20){
    s <- replicate(1000, mean(sample(stacks, i)))
    print(round(quantile(s, probs=c(alpha, 1-alpha)), 3))
}

Điều này tìm thấy, bằng cách sử dụng phương pháp "bootstrap", khoảng tin cậy sử dụng 4, 5, ... 20 mẫu. Nói cách khác, Trung bình, nếu bạn sử dụng N mẫu, khoảng tin cậy của bạn sẽ lớn đến mức nào? Tôi sử dụng điều này để tìm một khoảng đủ nhỏ để quyết định số lượng tờ và đó là câu trả lời của tôi.

Bởi "đủ nhỏ", ý tôi là khoảng tin cậy 95% của tôi chỉ có một số nguyên trong đó - ví dụ: nếu khoảng tin cậy của tôi là từ [93.1, 94.7], thì tôi sẽ chọn 94 là số tờ chính xác, vì chúng tôi biết nó là một con số

Mặc dù khó khăn khác - sự tự tin của bạn phụ thuộc vào sự thật . Nếu bạn có 90 tờ, và mỗi cọc có 90 nhãn, thì bạn hội tụ rất nhanh. Tương tự với 100 tờ. Vì vậy, tôi đã xem xét 95 tờ, trong đó có sự không chắc chắn lớn nhất và thấy rằng để có độ chắc chắn 95%, trung bình bạn cần khoảng 15 mẫu. Vì vậy, nói chung, bạn muốn lấy 15 mẫu, bởi vì bạn không bao giờ biết những gì thực sự ở đó.

SAU bạn biết bạn cần bao nhiêu mẫu, bạn biết rằng khoản tiết kiệm dự kiến ​​của bạn là:

100Nmissing15c

Trong đó là chi phí đếm một ngăn xếp. Nếu bạn cho rằng có một cơ hội bằng nhau của mọi số từ 0 đến 10 bị thiếu, thì khoản tiết kiệm dự kiến ​​của bạn là c $. Nhưng, và đây là điểm tạo ra phương trình - bạn cũng có thể tối ưu hóa nó, để đánh đổi sự tự tin của bạn, cho số lượng mẫu bạn cần. Nếu bạn ổn với sự tự tin mà 5 mẫu mang lại cho bạn, thì bạn cũng có thể tính toán số tiền bạn sẽ thực hiện ở đó. (Và bạn có thể chơi với mã này, để tìm ra điều đó.)c50015

Nhưng bạn cũng nên tính tiền cho anh chàng đã khiến bạn làm tất cả công việc này!

(EDIT: THÊM!) Cách tiếp cận một phần

Được rồi, vì vậy hãy giả sử những gì nhà sản xuất nói là đúng và không cố ý - một vài nhãn bị mất trong mỗi tờ. Bạn vẫn muốn biết, Về bao nhiêu nhãn, tổng thể?

Vấn đề này là khác nhau bởi vì bạn không còn có một quyết định trong sạch mà bạn có thể đưa ra - đó là một lợi thế cho giả định Toàn bộ. Trước đây, chỉ có 11 câu trả lời có thể - bây giờ, có 1100 và nhận được khoảng tin cậy 95% cho chính xác có bao nhiêu nhãn có thể sẽ lấy nhiều mẫu hơn bạn muốn. Vì vậy, hãy xem liệu chúng ta có thể nghĩ về điều này khác đi.

Bởi vì đây thực sự là việc bạn đưa ra quyết định, chúng tôi vẫn còn thiếu một vài thông số - bạn sẵn sàng mất bao nhiêu tiền, trong một giao dịch và chi phí bao nhiêu để tính một ngăn xếp. Nhưng hãy để tôi thiết lập những gì bạn có thể làm, với những con số đó.

Mô phỏng lại (mặc dù đạo cụ cho người dùng777 nếu bạn có thể làm điều đó mà không cần!), Đó là thông tin để xem xét kích thước của các khoảng khi sử dụng số lượng mẫu khác nhau. Điều đó có thể được thực hiện như thế này:

stacks <- 90 + round(10*runif(100))
q <- array(dim=c(17,2))
for(i in 4:20){
    s <- replicate(1000, mean(sample(stacks, i)))
    q[i-3,] <- quantile(s, probs=c(.025, .975))
}
plot(q[,1], ylim=c(90,100))
points(q[,2])

Giả định (lần này) rằng mỗi ngăn xếp có số lượng nhãn ngẫu nhiên đồng đều trong khoảng từ 90 đến 100 và cung cấp cho bạn:

Giới hạn về khoảng tin cậy theo số lượng mẫu

Tất nhiên, nếu mọi thứ thực sự giống như chúng được mô phỏng, thì ý nghĩa thực sự sẽ là khoảng 95 mẫu trên mỗi ngăn xếp, thấp hơn so với thực tế có vẻ như - đây là một lập luận trong thực tế đối với phương pháp Bayes. Tuy nhiên, nó mang lại cho bạn cảm giác hữu ích về mức độ chắc chắn hơn về câu trả lời của bạn, khi bạn tiếp tục lấy mẫu - và giờ đây bạn có thể đánh đổi một cách rõ ràng chi phí lấy mẫu với bất kỳ thỏa thuận nào bạn định về giá cả.

Mà tôi biết bây giờ, tất cả chúng ta thực sự tò mò muốn nghe về.


6
+1 Phân tích này trực tiếp và sáng tạo giải quyết câu hỏi: một nhà thống kê (tốt) sẽ nghĩ về vấn đề như thế nào? Tập trung vào số lượng tờ là một cái nhìn sâu sắc có giá trị.
whuber

1
Phương pháp lợi ích chi phí là một ý tưởng tuyệt vời. Tôi đã nói rằng người đàn ông tập thể * hàng giờ trí tuệ dành cho vấn đề này đã vượt quá mức tiết kiệm $ 284 từ n = 6 mẫu mà Neeraj đã sử dụng. :)
RobertF

1
Câu trả lời tốt đẹp. Như bạn hiện đang mã hóa nó, khi máy in lấy ra một ngăn xếp đầy đủ, anh ta chỉ cần thả nhãn phụ xuống đất, điều này có thể hợp lý. Nhưng nếu bạn muốn có 9000,9100...10000tổng số nhãn ở cuối, bạn có thể thay thế logic if của mình bucket <- sample(which(stacks!=100),1)và sau đó luôn tăng ngăn xếp.
Adam C

1
Ah, chỉ cần chú ý rằng bản thân mình! Cảm ơn đã bắt. Chắc chắn là một sai lầm.
one_observation

1
Làm thế nào để bạn tính toán khoảng tin cậy? Sử dụng bootstrap?
RobertF

3

Đây là một mẫu khá hạn chế. (Đoạn mã nằm trong R)

> sample <- c(97,98,96,100,95,97)

Để dự đoán ban đầu với số lượng dự kiến ​​trong tổng dân số và giá trị độ tin cậy 95% cho giá, chúng ta có thể bắt đầu với giá trị trung bình và lượng tử 5%

> 100*mean(sample)
[1] 9716.667
> 100*quantile(sample,0.05)
  5% 
9525 

Để đi xa hơn, chúng ta sẽ phải tạo ra một mô hình lý thuyết và đưa ra các giả định bổ sung. Có một số nguồn không chắc chắn khi chơi - (1) độ không đảm bảo đối với dạng chức năng của mô hình điền gói, (2) độ không đảm bảo khi ước tính các tham số cho mô hình và (3) lỗi lấy mẫu.

Đối với mô hình, giả sử rằng có một quy trình thả từng nhãn một cách độc lập vào một gói dễ bị thất bại ở một tỷ lệ không xác định . Chúng tôi sẽ không cho rằng nhà sản xuất đang tham gia lừa đảo, chỉ là một số phần cuối bị xáo trộn hoặc bằng cách khác trên sàn. Thành công của mỗi lần thả sau đó là một biến ngẫu nhiên Bernoulli. Đối với mỗi gói, quy trình được lặp lại lần, nghĩa là số lượng nhãn trong mỗi gói sẽ tuân theo phân phối nhị thức. Chúng ta có thể ước tính từ mẫu như sau:pn=100p

> n <- 100
> (p<-1-mean(sample)/100)
[1] 0.02833333

Vì và , chúng ta có thể xấp xỉ phân phối nhị thức tốt với phân phối Poisson đơn giản hơnn100np10

> (lambda <- n*p)
[1] 2.833333

Chúng ta có thể tìm thấy một số đảm bảo nhỏ ở chỗ phân phối Poisson có phương sai bằng với giá trị trung bình của nó, và phương sai mẫu khá gần với giá trị trung bình của mẫuλ=lambda

> var(sample)
[1] 2.966667

Nếu chúng ta giả sử rằng mỗi gói được điền độc lập, thì số lần thất bại trong toàn bộ 100 gói cũng xấp xỉ Poisson với tham số . Giá trị trung bình và 95% làλr=100*lambda

> 100*100-100*lambda
[1] 9716.667
> 100*100-qpois(0.95,100*lambda)
[1] 9689

Vấn đề là tỷ lệ thất bại, , chưa được biết, và chúng tôi chưa tính đến sự không chắc chắn của nó. Chúng ta hãy quay trở lại phân phối nhị thức, và vì mục đích linh hoạt và đơn giản, giả sử rằng là biến ngẫu nhiên Beta với các tham số hình dạng không xác định và . Điều này làm cho quá trình này trở thành quy trình Beta-Bernoulli. Chúng tôi cần một số giả định trước cho và , vì vậy chúng tôi sẽ cung cấp cho nhà sản xuất lợi ích của sự nghi ngờ, nhưng không có nhiều sự tin cậy và tạo ra và .ppαβαβα=1β=0

Trong 600 quan sát, bạn đã quan sát 583 thành công và 17 lần thất bại, vì vậy chúng tôi cập nhật quy trình Beta-Bernoilli để có các tham số và . Vì vậy, đối với gói 100, chúng tôi mong đợi giá trị trung bình là 97.17138 và độ lệch chuẩn là 1.789028 (xem ví dụ: mục nhập của Wikipedia cho các công thức). Sử dụng hàm phân phối, chúng ta có thể thấy rằng xác suất có ít hơn 90 trong một gói là đủ thấp (0,05%) mà chúng ta sẽ bỏ qua giả định đó; làm như vậy là bảo thủ để thiết lập giá của chúng tôi.α=1+583β=0+17

Cái hay của mô hình này là dễ dàng cập nhật và (thêm thành công mới vào và thất bại mới cho , mô hình sau vẫn là beta-binomial) để quan sát nhiều hơn để giảm sự không chắc chắn và giả định ban đầu của bạn là rõ ràng.αβαβ

Bây giờ, giả sử mỗi gói được điền độc lập, chúng ta có thể xem toàn bộ hộp gói là 10000 sự kiện độc lập thay vì 100 sự kiện của 100 phụ. Do đó, giá trị trung bình là 9717.138 với độ lệch chuẩn 69.57153. Sử dụng chức năng phân phối, bạn có thể tính số tin cậy 95% vào khoảng 9593. Tôi đã sử dụng gói R VGAMcho các *betabinom.abchức năng của nó để thực hiện điều đó.

Vì vậy, sự không chắc chắn trong tham số ước tính làm giảm giá tin cậy 95% gần 100 và chúng tôi kết thúc khá gần với xấp xỉ đơn giản ban đầu của chúng tôi.

Dù là cách tiếp cận hay mô hình nào, dữ liệu bổ sung có thể được sử dụng để xác nhận mô hình, nghĩa là xem dữ liệu bổ sung là hợp lý theo mô hình lý thuyết hoặc liệu các điều chỉnh hoặc mô hình mới có được bảo hành hay không. Quá trình mô hình hóa tương tự như phương pháp khoa học.


2

Trong một trường hợp khó khăn, thiên hướng đầu tiên của tôi sẽ là tính toán khoảng tin cậy 95% cho mẫu của bạn có nghĩa là phân phối bình thường bị cắt giảm nằm giữa giới hạn dưới và trên của 90 và 100 nhãn.

Gói R truncnormcho phép bạn tìm các khoảng tin cậy cho phân phối chuẩn bị cắt cụ thể với giá trị trung bình mẫu được chỉ định, độ lệch chuẩn mẫu, giới hạn dưới và giới hạn trên.

Vì bạn đang lấy mẫu n = 5 từ một dân số tương đối nhỏ (N = 100), bạn có thể muốn nhân độ lệch chuẩn mẫu của mình với hệ số dân số hữu hạn = [(Nn) / (N-1)] ^. 5 = 0,98.


5
Tôi tự hỏi liệu các biến chứng bổ sung của việc giả sử Bình thường bị cắt cụt có đáng giá - hoặc thậm chí hợp lệ - với điều kiện là các số liệu rời rạc và chỉ có thể đảm nhận một số lượng nhỏ các giá trị có thể.
whuber

@whuber - Đúng, nhưng khoảng tin cậy vượt quá mức phân phối của giá trị trung bình mẫu, là một đại lượng liên tục. Thay vì sử dụng khoảng tin cậy 95%, có lẽ lựa chọn tốt hơn là tìm khu vực dưới sự phân phối giữa các đại lượng riêng biệt, giả sử 93 và 99.
RobertF

Mặc dù vậy, bạn không cần một Bình thường cắt ngắn để làm việc với trung bình mẫu. Có vẻ như một biến chứng không cần thiết.
whuber

1
CLT không khẳng định rằng bất cứ điều gì sẽ tuân theo phân phối bình thường bị cắt ngắn. Bootstrapping có thể có vấn đề vì nó phụ thuộc vào kết quả tiệm cận cho tính hợp lệ của nó.
whuber

1
Bởi vì độ lệch chuẩn của giá trị trung bình nhanh chóng trở nên nhỏ hơn nhiều so với phạm vi, nên việc cắt ngắn thực tế không liên quan. Chúng ta đang nói về một giải pháp thực tế không quá phức tạp bởi các chi tiết không cần thiết và có thể gây mất tập trung.
whuber

2

Một cách tiếp cận nhanh chóng và đơn giản là xem xét tất cả các mẫu có thể có kích thước 6. Chỉ có 15.625 hoán vị. Nhìn vào những điều này và lấy trung bình cho từng trường hợp, sau đó sắp xếp các mức trung bình và trích xuất lượng tử 5%, chúng ta nhận được giá trị 96.

Vì vậy, số tiền ước tính bạn nên sẵn sàng trả là khoảng 9600. Đây là một thỏa thuận tốt với một vài cách tiếp cận tinh vi hơn.

Một cải tiến ở đây sẽ là mô phỏng một số lượng lớn các mẫu có kích thước 6 và sử dụng cùng một quy trình để tìm phần trăm thứ 5 của phương tiện mẫu. Sử dụng hơn một triệu cộng đồng, tôi thấy tỷ lệ phần trăm thứ 5 là 96.1667, vì vậy với đồng đô la gần nhất, khoản thanh toán sẽ là 9617 đô la, chỉ chênh lệch 2 đô la so với kết quả 9615 của người dùng777.


1
Bạn có thể giải thích tại sao đây là một câu trả lời phù hợp cho số tiền phải trả? Tại sao không sử dụng giá trị trung bình của mẫu, ví dụ?
whuber

Bạn sẽ sử dụng mẫu có nghĩa là nếu bạn muốn có một khoản thanh toán phù hợp với số lượng nhãn bạn nghĩ là có. Nhưng người hỏi yêu cầu đảm bảo 95% rằng anh ta không trả tiền cho nhiều nhãn hơn so với được thực hiện. Vì vậy, chúng tôi có một ý tưởng về việc phân phối trung bình mẫu cho các mẫu có kích thước 6 và sử dụng phân vị thứ 5.
soakley

1
Sẽ là tốt để bao gồm lời giải thích đó trong câu trả lời của bạn. Bạn cũng có thể xem xét giải thích lý do tại sao bạn nghĩ quy trình lấy mẫu lại này thực sự tạo ra giới hạn tin cậy hợp lệ hoặc đáng tin cậy. Mặc dù nó có thể làm như vậy với nhiều bộ dữ liệu lớn, người ta phải xem xét liệu nó có thể được sử dụng theo cùng một cách với một bộ dữ liệu nhỏ như vậy không.
whuber

0

Có vẻ như bạn đã kết luận rằng lỗi được thực hiện có chủ ý, nhưng một nhà thống kê sẽ không đi đến kết luận như vậy (mặc dù bằng chứng dường như ủng hộ điều này).

Người ta có thể thiết lập điều này như một bài kiểm tra giả thuyết:

H0: Đại lý trung thực nhưng khá cẩu thả

H1: Các đại lý là lừa đảo, và sự thiếu hụt là cố ý.

Giả sử, giả sử H0, sau đó mỗi độ lệch là một sự kiện ngẫu nhiên có giá trị trung bình = 0 và cơ hội bằng nhau là dương hoặc âm. Chúng ta hãy giả sử thêm rằng các độ lệch thường được phân phối. Độ lệch chuẩn cho phân phối chuẩn dựa trên độ lệch trong 6 điểm dữ liệu là sd = 1.722

Nếu nhà thống kê không nhớ rõ lý thuyết của anh ta, nhưng có R ở gần (không phải là kịch bản không thể xảy ra) thì anh ta / cô ta có thể viết mã sau đây để kiểm tra khả năng không nhận được độ lệch dương (không có gói nào hơn 100) nếu H0 là thật.

numpackages=c(97,98,96,100,95,97)
error<-100-numpackages
errorStdev<-sd(error)
numSimulations<-1000000
max100orLes<-0
for(p in 1:numSimulations)
{
  simulatedError<-rnorm(6,mean=0,sd=errorStdev)

  packageDeviations<-round(simulatedError)

  maxValue<-max(packageDeviations)
  if(maxValue<=0)
  {
    max100orLes<-max100orLes+1
  }   
}
probH0<-100*max100orLes/numSimulations
cat("The probability the H0 is correct is:",probH0,"%")

Kết quả của mô phỏng là:

The probability the H0 is correct is: 5.3471 %

Xác suất của đại lý là Trung thực chỉ là 5,35% và do đó, rất có thể bạn là nạn nhân của lừa đảo.

Vì bạn nói rằng đây không phải là một câu hỏi bài tập về nhà, mà là một tình huống thực sự cho công ty của bạn, nên đây không còn là một bài tập trong việc tính toán các nhãn số dự kiến ​​chính xác, mà thay vào đó là một trường hợp khó hiểu về cách xử lý một nhà cung cấp không trung thực.

Những gì bạn làm từ đây, thực sự không thể được trả lời bằng thống kê một mình. Nó rất nhiều phụ thuộc vào đòn bẩy và mối quan hệ của bạn với các đại lý.

May mắn nhất !

Morten Bunes Gustavsen


1
Tôi đang gặp khó khăn khi thấy cách bạn đạt 5,35%. Có vẻ như bạn đang giả sử số lượng nhãn là kết quả của việc phân bổ ngẫu nhiên trung bình 100 nhãn cho mỗi gói. Nếu vậy, thì bạn đã quan sát độ lệch trung bình là với sai số chuẩn là , cho thấy mức độ quan sát là lỗi chuẩn dưới . Một xấp xỉ bình thường, như bạn đề xuất, cho giá trị p là , thấp hơn 5,35% - và không cần phải chạy bất kỳ mô phỏng nào để tìm ra điều đó. Tuy nhiên, tính toán này bỏ qua các giả định rõ ràng trong câu hỏi. 17/61.72/60.7017/6/0.704.01000.00003
whuber

thất bại luôn là một lựa chọn, vì vậy tôi có thể đã phạm sai lầm ... tuy nhiên các tính toán của tôi được ghi lại trong mã R tôi đã cung cấp, vì vậy không có lý do gì để tự hỏi làm thế nào tôi có được kết quả của mình. Có, giả thuyết H0 trong trường hợp của tôi là người giao dịch là trung thực và sau đó độ lệch sẽ là dao động ngẫu nhiên với giá trị trung bình trên 100. Stdev trong tính toán của tôi chỉ là Stdev của loạt (-3, -2, -4, 0, -5, -3) là độ lệch từ 100 trong mỗi gói.
Morten Bunes Gustavsen

Tôi thực sự chỉ sử dụng độ lệch bình thường này và vẽ 6 mẫu, và kiểm tra xem không có mẫu nào lớn hơn 0. Tôi chạy mô phỏng 1000.000 lần và cho biết tôi đã không may mắn bao nhiêu lần khi không có mẫu nào trên 0. Điều này hóa ra là 5,35% các trường hợp. Lý do tôi chọn góc độ này là vì câu hỏi đã tuyên bố rõ ràng rằng đó là tình huống thực tế (tức không phải là một bài tập học thuật), và anh ấy / cô ấy muốn biết một nhà thống kê sẽ làm gì trong trường hợp này.
Morten Bunes Gustavsen

3
Câu hỏi cũng cho biết không có cơ hội đếm hơn 100 nhãn trong một gói. Bất kể, những gì bạn đã làm là một mô phỏng rộng rãi các con số trông giống như dữ liệu - nhưng nếu có bất cứ điều gì, thì nó phải làm gì với câu hỏi ("chúng ta nên trả bao nhiêu").
whuber

-2

Làm thế nào về một cái gì đó giống như một mô hình đa quốc gia.

Dự đoán của mỗi kết quả được ước tính là 1/6, 1/6, .... (dựa trên 6 quan sát) và do đó E (x) = 97.16 và Var (x) = sum (95 ^ 2 * 1/6 + ...) - E (x) ^ 2 = 2,47 nên CI 95% sẽ là [94, 100]


3
Điều này dường như không phải là đa thức: CI của bạn dường như là một khoảng lý thuyết Bình thường sử dụng công thức không quan tâm cho phương sai. Bên cạnh đó, làm thế nào để trả lời câu hỏi về việc phải trả bao nhiêu?
whuber

đa thức áp dụng cho kết quả, tức là 95, 96, 97 ... 100 và có CI là lý thuyết Bình thường vì xe (x) / sd ~ N. số tiền phải trả sẽ tương đương với kỳ vọng là 97,16 * 100
Xing

4
Bạn có để ý rằng bạn hoàn toàn không sử dụng giả định đa quốc gia không? CI của bạn quá ngắn, như WS Gosset đã quan sát vào năm 1908. Nhưng nếu bạn chỉ dựa vào đề xuất của bạn về giá trị trung bình của mẫu, tại sao lại tính CI?
whuber
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.