Tôi đang tìm kiếm một lời giải thích trực quan về sự đánh đổi sai lệch, nói chung và cụ thể trong bối cảnh hồi quy tuyến tính.
Câu trả lời:
Tưởng tượng một số dữ liệu 2D - giả sử chiều cao so với cân nặng của học sinh tại một trường trung học - được vẽ trên một cặp trục.
Bây giờ giả sử bạn phù hợp với một đường thẳng thông qua nó. Dòng này, tất nhiên đại diện cho một tập hợp các giá trị dự đoán, không có phương sai thống kê. Nhưng độ lệch là (có thể) cao - nghĩa là nó không phù hợp với dữ liệu lắm.
Tiếp theo, giả sử bạn mô hình hóa dữ liệu với một spline đa thức bậc cao. Bạn không hài lòng với sự phù hợp, vì vậy bạn tăng mức độ đa thức cho đến khi sự phù hợp được cải thiện (trên thực tế, nó sẽ chính xác tùy ý). Bây giờ bạn có một tình huống với độ lệch có xu hướng bằng không, nhưng phương sai rất cao.
Lưu ý rằng sự đánh đổi sai lệch sai lệch không mô tả mối quan hệ tỷ lệ - nghĩa là, nếu bạn vẽ biểu đồ sai lệch so với phương sai, bạn sẽ không nhất thiết nhìn thấy một đường thẳng qua gốc tọa độ có độ dốc -1. Trong ví dụ spline đa thức ở trên, việc giảm mức độ gần như chắc chắn làm tăng phương sai ít hơn nhiều so với việc giảm độ lệch.
Sự đánh đổi sai lệch thiên vị cũng được nhúng trong hàm lỗi tổng bình phương. Dưới đây, tôi đã viết lại (nhưng không thay đổi) dạng thông thường của phương trình này để nhấn mạnh điều này:
Ở phía bên tay phải, có ba thuật ngữ: đầu tiên trong số này chỉ là lỗi không thể khắc phục (phương sai trong chính dữ liệu); Điều này nằm ngoài tầm kiểm soát của chúng tôi vì vậy hãy bỏ qua nó. Các thứ hai dài là bậc hai của thiên vị ; và thứ ba là phương sai . Thật dễ dàng để thấy rằng khi một người đi lên thì người kia đi xuống - cả hai không thể thay đổi cùng một hướng. Nói cách khác, bạn có thể nghĩ về hồi quy bình phương nhỏ nhất là (ngầm) tìm ra sự kết hợp tối ưu giữa sai lệch và phương sai từ các mô hình ứng cử viên.
Giả sử bạn đang xem xét bảo hiểm y tế thảm khốc và có 1% khả năng bị bệnh sẽ phải trả 1 triệu đô la. Do đó, chi phí dự kiến của việc bị bệnh là 10.000 đô la. Công ty bảo hiểm, muốn kiếm lợi nhuận, sẽ tính phí cho bạn 15.000 cho chính sách này.
Mua chính sách mang lại chi phí dự kiến cho bạn là 15.000, có phương sai bằng 0 nhưng có thể được coi là sai lệch vì nó cao hơn 5.000 so với chi phí dự kiến mắc bệnh.
Không mua chính sách sẽ cho chi phí dự kiến là 10.000, không thiên vị vì nó bằng với chi phí dự kiến thực sự của việc bị bệnh, nhưng có phương sai rất cao. Sự đánh đổi ở đây là giữa một cách tiếp cận luôn sai nhưng không bao giờ nhiều và một cách tiếp cận đúng trung bình nhưng có nhiều thay đổi.
Tôi đặc biệt khuyên bạn nên xem khóa học Caltech ML của Yaser Abu-Mostafa, Bài giảng 8 (Bias-Variance Tradeoff) . Dưới đây là những phác thảo:
Giả sử bạn đang cố gắng học hàm sin:
Tập huấn luyện của chúng tôi chỉ bao gồm 2 điểm dữ liệu.
Nếu bạn nhìn vào sự phát triển của hàm chi phí liên quan đến kích thước của tập huấn luyện (số liệu từ Coursera - Machine Learning của Andrew Ng ):
Độ lệch cao:
Phương sai cao:
Tôi thường nghĩ về hai hình ảnh này:
Đầu tiên, ý nghĩa của sai lệch và phương sai:
Hãy tưởng tượng trung tâm của vùng mắt của Red bull là giá trị trung bình thực của biến ngẫu nhiên mục tiêu mà chúng ta đang cố gắng dự đoán và vùng màu đỏ biểu thị mức chênh lệch chênh lệch của biến này. Mỗi lần chúng ta lấy một tập hợp các quan sát mẫu và dự đoán giá trị của biến này, chúng ta vẽ một chấm màu xanh. Chúng tôi dự đoán chính xác nếu chấm màu xanh rơi vào vùng màu đỏ. Nói cách khác, độ lệch là thước đo khoảng cách các chấm màu xanh được dự đoán từ vùng màu đỏ thực sự, theo trực giác đây là một lỗi. Phương sai là cách phân tán dự đoán của chúng tôi.
Bây giờ sự đánh đổi ở đây là:
khi chúng ta cố gắng giảm một trong các tham số này (hoặc sai lệch hoặc phương sai), tham số khác sẽ tăng. Nhưng có một điểm ngọt ngào ở đâu đó ở giữa sai lệch không quá ít và sai lệch không quá ít tạo ra lỗi dự đoán ít nhất trong thời gian dài.
Những hình ảnh này được lấy từ http://scott.fortmann-roe.com/docs/BiasVariance.html . Kiểm tra các giải thích với hồi quy tuyến tính và hàng xóm gần nhất của K để biết thêm chi tiết
Đây là một lời giải thích rất đơn giản. Hãy tưởng tượng bạn có một biểu đồ phân tán các điểm {x_i, y_i} được lấy mẫu từ một số phân phối. Bạn muốn phù hợp với một số mô hình cho nó. Bạn có thể chọn một đường cong tuyến tính hoặc một đường cong đa thức bậc cao hơn hoặc một cái gì đó khác. Bất cứ điều gì bạn chọn sẽ được áp dụng để dự đoán các giá trị y mới cho một tập hợp các điểm {x_i}. Hãy gọi đây là bộ xác nhận. Giả sử rằng bạn cũng biết các giá trị {y_i} thực sự của chúng và chúng tôi đang sử dụng các giá trị này chỉ để kiểm tra mô hình.
Các giá trị dự đoán sẽ khác với các giá trị thực. Chúng ta có thể đo lường các tính chất của sự khác biệt của họ. Chúng ta hãy xem xét một điểm xác nhận duy nhất. Gọi nó là x_v và chọn một số mô hình. Chúng ta hãy tạo một bộ dự đoán cho một điểm xác nhận bằng cách sử dụng 100 mẫu ngẫu nhiên khác nhau để huấn luyện mô hình. Vì vậy, chúng tôi sẽ nhận được 100 giá trị y. Sự khác biệt giữa giá trị trung bình của các giá trị đó và giá trị thực được gọi là độ lệch. Phương sai của phân phối là phương sai.
Tùy thuộc vào mô hình nào chúng ta sử dụng, chúng ta có thể đánh đổi giữa hai điều này. Hãy xem xét hai thái cực. Mô hình phương sai thấp nhất là một trong đó hoàn toàn bỏ qua dữ liệu. Giả sử chúng ta chỉ dự đoán 42 cho mọi x. Mô hình đó có phương sai bằng không trên các mẫu đào tạo khác nhau ở mọi điểm. Tuy nhiên nó rõ ràng là thiên vị. Sự thiên vị chỉ đơn giản là 42-y_v.
Một trong những cực đoan khác, chúng ta có thể chọn một mô hình mà trang phục càng nhiều càng tốt. Ví dụ, phù hợp với đa thức 100 độ đến 100 điểm dữ liệu. Hoặc cách khác, nội suy tuyến tính giữa các nước láng giềng gần nhất. Điều này có độ lệch thấp. Tại sao? Bởi vì đối với bất kỳ mẫu ngẫu nhiên nào, các điểm lân cận tới x_v sẽ dao động rộng rãi nhưng chúng sẽ nội suy cao hơn thường xuyên vì chúng sẽ nội suy thấp. Vì vậy, trung bình trên các mẫu, chúng sẽ hủy bỏ và do đó độ lệch sẽ rất thấp trừ khi đường cong thực có nhiều biến thể tần số cao.
Hoever các mô hình overfit này có phương sai lớn trên các mẫu ngẫu nhiên vì chúng không làm mịn dữ liệu. Mô hình nội suy chỉ sử dụng hai điểm dữ liệu để dự đoán điểm trung gian và do đó tạo ra rất nhiều nhiễu.
Lưu ý rằng độ lệch được đo tại một điểm duy nhất. Nó không quan trọng nếu nó là tích cực hay tiêu cực. Nó vẫn là một thiên vị tại bất kỳ x cho trước. Các thiên vị trung bình trên tất cả các giá trị x có thể sẽ nhỏ nhưng điều đó không làm cho nó không thiên vị.
Thêm một ví dụ nữa. Giả sử bạn đang cố gắng dự đoán nhiệt độ tại các vị trí tại Hoa Kỳ vào một lúc nào đó. Giả sử bạn có 10.000 điểm đào tạo. Một lần nữa, bạn có thể có được một mô hình phương sai thấp bằng cách làm một cái gì đó đơn giản bằng cách chỉ trả về mức trung bình. Nhưng điều này sẽ được thiên vị thấp ở bang Florida và thiên vị cao ở bang Alaska. Bạn sẽ tốt hơn nếu bạn sử dụng mức trung bình cho mỗi tiểu bang. Nhưng ngay cả khi đó, bạn sẽ bị thiên vị cao trong mùa đông và thấp vào mùa hè. Vì vậy, bây giờ bạn bao gồm tháng trong mô hình của bạn. Nhưng bạn vẫn sẽ bị thiên vị thấp ở Thung lũng chết và cao trên Núi Shasta. Vì vậy, bây giờ bạn đi đến mức độ mã zip của độ chi tiết. Nhưng cuối cùng nếu bạn tiếp tục làm điều này để giảm sự thiên vị, bạn sẽ hết điểm dữ liệu. Có thể đối với một mã zip và tháng nhất định, bạn chỉ có một điểm dữ liệu. Rõ ràng điều này sẽ tạo ra nhiều phương sai. Vì vậy, bạn thấy có một mô hình phức tạp hơn làm giảm sự thiên vị với chi phí phương sai.
Vì vậy, bạn thấy có một sự đánh đổi. Các mô hình mượt mà hơn có phương sai thấp hơn trong các mẫu đào tạo nhưng cũng không nắm bắt được hình dạng thực của đường cong. Các mô hình kém mịn màng có thể chụp đường cong tốt hơn nhưng với chi phí là ồn ào hơn. Một nơi nào đó ở giữa là mô hình Goldilocks tạo ra sự đánh đổi chấp nhận được giữa hai người.
Hãy tưởng tượng nếu nhiệm vụ xây dựng mô hình có thể được lặp lại cho các bộ dữ liệu đào tạo khác nhau, tức là chúng tôi đào tạo một mô hình mới cho các tập dữ liệu khác nhau mỗi lần (hiển thị trong hình bên dưới). Nếu chúng tôi sửa điểm dữ liệu thử nghiệm và đánh giá dự đoán mô hình vào thời điểm này, dự đoán sẽ bị thay đổi do tính ngẫu nhiên trong quy trình tạo mô hình. Từ hình dưới đây cho tình huống này, P_1, P_2, Mạnh, P_n là những dự đoán khác nhau và cũng ngẫu nhiên.
Đặt giá trị trung bình của dự đoán là -
Lỗi thiên vị là do sự khác biệt giữa giá trị trung bình của các dự đoán này và giá trị chính xác.
Lỗi phương sai không là gì ngoài phương sai trong các dự đoán này, tức là mức độ khác nhau của các dự đoán này.
Đây là trực giác đằng sau lỗi sai lệch và sai lệch.
Để được giải thích chi tiết, hãy truy cập trực giác bên phải đằng sau sự đánh đổi sai lệch thiên vị