Số lượng thùng tối ưu trong biểu đồ theo quy tắc Freedman nhỏ Diaconis: sự khác biệt giữa tỷ lệ lý thuyết và số thực tế

Wikipedia báo cáo rằng theo quy tắc Freedman và Diaconis, số lượng thùng tối ưu trong biểu đồ, sẽ tăng lên khi$k$

Trong đó là cỡ mẫu.$n$

Tuy nhiên, nếu bạn xem nclass.FDhàm trong R, thực hiện quy tắc này, ít nhất là với dữ liệu Gaussian và khi , số lượng thùng dường như tăng với tốc độ nhanh hơn , gần hơn với (thực ra, mức phù hợp nhất gợi ý ). Lý do cho sự khác biệt này là gì?$\log(n)\in(8,16)$$n^{1/3}$$n^{1-\sqrt{1/3}}$$m\approx n^{0.4}$

Chỉnh sửa: thêm thông tin:

Đường dây là một OLS, với khả năng chặn 0.429 và độ dốc 0.4. Trong mỗi trường hợp, dữ liệu ( x) được tạo từ một gaussian chuẩn và được đưa vào nclass.FD. Biểu đồ mô tả kích thước (chiều dài) của vectơ so với số lớp tối ưu được trả về bởi nclass.FDhàm.

Trích dẫn từ wikipedia:

Một lý do chính đáng tại sao số lượng thùng phải tỷ lệ với là như sau: giả sử rằng dữ liệu thu được dưới dạng n thực hiện độc lập phân phối xác suất giới hạn với mật độ mịn. Sau đó, biểu đồ vẫn bằng nhau »gồ ghề« vì n có xu hướng vô cùng. Nếu là »chiều rộng« của phân phối (ví dụ: độ lệch chuẩn hoặc phạm vi giữa các phần tư), thì số đơn vị trong một thùng (tần số) là thứ tự và lỗi tiêu chuẩn tương đối là theo thứ tự . So sánh với thùng tiếp theo, sự thay đổi tương đối của tần số là thứ tự với điều kiện là đạo hàm của mật độ là khác không. Hai cái này có cùng thứ tự nếu$n^{1/3}$$s$$n h/s$$\sqrt{s/(n h)}$$h/s$$h$là thứ tự , do đó là thứ tự .$s/n^{1/3}$$k$$n^{1/3}$

Quy tắc FreedmanTHER Diaconis là:

Lý do xuất phát từ thực tế là chức năng biểu đồ dự kiến ​​sẽ bao gồm tất cả dữ liệu, do đó nó phải trải rộng phạm vi của dữ liệu.

Quy tắc Freedman-Diaconis đưa ra một công thức cho chiều rộng của các thùng.

Hàm này đưa ra một công thức cho số lượng thùng.

Mối quan hệ giữa số lượng thùng và chiều rộng của thùng sẽ bị ảnh hưởng bởi phạm vi của dữ liệu.

Với dữ liệu Gaussian, phạm vi dự kiến ​​sẽ tăng lên với .$n$

Đây là chức năng:

> nclass.FD
function (x) 
{
    h <- stats::IQR(x)
    if (h == 0) 
        h <- stats::mad(x, constant = 2)
    if (h > 0) 
        ceiling(diff(range(x))/(2 * h * length(x)^(-1/3)))
    else 1L
}
<bytecode: 0x086e6938>
<environment: namespace:grDevices>

diff(range(x)) là phạm vi của dữ liệu.

Vì vậy, như chúng ta thấy, nó chia phạm vi dữ liệu theo công thức FD cho chiều rộng thùng (và làm tròn lên) để lấy số lượng thùng.

Dường như tôi có thể rõ ràng hơn, vì vậy đây là một lời giải thích chi tiết hơn:
Quy tắc Freedman-Diaconis thực tế không phải là quy tắc về số lượng thùng, mà là chiều rộng của thùng. Theo phân tích của họ, chiều rộng thùng phải tỷ lệ với . Do tổng chiều rộng của biểu đồ phải liên quan chặt chẽ với phạm vi mẫu (có thể rộng hơn một chút, do làm tròn đến số đẹp) và phạm vi dự kiến ​​thay đổi theo , số lượng thùng không hoàn toàn tỷ lệ nghịch với bin-width, nhưng phải tăng nhanh hơn thế. Vì vậy, số lượng thùng không nên tăng lên là - gần với nó, nhưng nhanh hơn một chút, vì cách phạm vi đi vào nó.$n^{−1/3}$$n$$n^{1/3}$

Nhìn vào dữ liệu từ các bảng năm 1925 của Tippett [1], phạm vi dự kiến ​​trong các mẫu bình thường tiêu chuẩn dường như tăng khá chậm với , mặc dù - chậm hơn cả :$n$$\log(n)$

(thực sự, amip chỉ ra trong các bình luận bên dưới rằng nó phải tỷ lệ thuận - hoặc gần như vậy - với , phát triển chậm hơn so với phân tích của bạn trong câu hỏi dường như gợi ý. Điều này khiến tôi tự hỏi liệu có một số vấn đề khác đang đến, nhưng tôi chưa điều tra xem liệu hiệu ứng phạm vi này có giải thích đầy đủ dữ liệu của bạn hay không.)$\sqrt{\log(n)}$

Nhìn nhanh vào các số của Tippett (tăng đến n = 1000) cho thấy phạm vi dự kiến ​​trong Gaussian rất gần với tuyến tính trong trên , nhưng có vẻ như không thực sự tỷ lệ thuận với các giá trị trong phạm vi này.$\sqrt{\log(n)}$$10\leq n\leq 1000$

[1]: LHC Tippett (1925). "Về các cá nhân cực đoan và phạm vi mẫu được lấy từ dân số bình thường". Biometrika 17 (3/4): 364 Từ387