Là độ lệch thấp trong một mẫu có phải là từ đồng nghĩa với phương sai cao không?

Điều sau đây có đúng không?

độ lệch thấp = phương sai
cao độ lệch cao = phương sai thấp

Tôi hiểu độ lệch cao và thấp nhưng sau đó phương sai khác nhau như thế nào? Hay là những từ đồng nghĩa ở trên?

Phương sai thực sự không có gì để làm với thiên vị.

— Michael R. Chernick

Đây có phải là một câu hỏi chung về lấy mẫu thống kê? Nếu vậy xin vui lòng bỏ mạng lưới thần kinh . Nếu đó là cụ thể về các mạng thần kinh, vui lòng giải thích lý do và thêm nhiều ngữ cảnh.

— smci

Câu trả lời:

Không. Bạn có thể có cả cao hoặc thấp cùng một lúc. Dưới đây là một ví dụ minh họa. nguồn hình ảnh và bài viết Tôi cũng khuyên bạn nên đọc bài viết mà bức tranh này đến từ đâu.

Lý do bạn có ấn tượng như vậy là ở "thời kỳ đầu" của học máy, có một khái niệm gọi là sự đánh đổi sai lệch thiên vị (như @Kodiologist đã đề cập, khái niệm này vẫn đúng và là một khái niệm cơ bản của các mô hình điều chỉnh ngày nay).

Khi tăng độ phức tạp của mô hình, phương sai được tăng lên và độ lệch giảm
khi chuẩn hóa mô hình, độ lệch được tăng lên và phương sai giảm.

Trong bài giảng Deep Learning Coursera gần đây của Andrew Ng, ông đã đề cập rằng trong khuôn khổ học sâu gần đây (với lượng dữ liệu khổng lồ), mọi người ít nói về sự đánh đổi. Thay vào đó, có nhiều cách để chỉ giảm phương sai và không tăng sai lệch (Ví dụ: tăng kích thước dữ liệu đào tạo), ngược lại.

— Haitao Du
nguồn

Cảm ơn, bạn có liên kết đến bài viết?

— luôn luôn là

Nhận xét của Andrew Ng có lẽ liên quan đến học máy "dữ liệu lớn". Cả lý thuyết và thực tiễn đều cho rằng khi kích thước dữ liệu nhỏ, sự đánh đổi sai lệch rất nhiều vấn đề.

— Martin L

Sự đánh đổi vẫn xuất hiện khá thường xuyên trong hiện tại. Ví dụ, hồi quy chính quy có lợi thế dự đoán so với OLS bằng cách đánh đổi phương sai cho sai lệch theo cách tăng độ chính xác trên mạng. Ngoài ra, thật dễ dàng để đưa ra một công cụ ước lượng không thiên vị có quá nhiều phương sai không hữu ích và công cụ ước tính 0 phương sai có quá nhiều sai lệch sẽ không hữu ích.

— Kodiologist

@Kodiologist cảm ơn vì nhận xét. Tôi sửa lại câu trả lời của mình, hy vọng nó tốt hơn.

— Haitao Du

Yah, tôi chắc chắn thích nó tốt hơn bây giờ!

— Matthew Drury

Sự khác biệt giữa sai lệch và phương sai giống như giữa độ chính xác và độ chính xác :

Độ chính xác của hệ thống đo lường là mức độ gần với giá trị thực (số thực) của một đại lượng. (≈ thiên vị)

Độ chính xác của hệ thống đo lường là mức độ mà các phép đo lặp lại cho kết quả tương tự. (Phương sai)

— Eric Duminil
nguồn