Có phải các cuộc thi Kaggle chỉ giành chiến thắng một cách tình cờ?

Các cuộc thi Kaggle xác định thứ hạng cuối cùng dựa trên một bộ thử nghiệm được tổ chức.

Một bộ kiểm tra tổ chức là một mẫu; nó có thể không đại diện cho dân số được mô hình hóa. Vì mỗi bài nộp giống như một giả thuyết, thuật toán giành chiến thắng trong cuộc thi có thể, cuối cùng, có thể kết thúc phù hợp với tập kiểm tra tốt hơn các bài kiểm tra khác. Nói cách khác, nếu một bộ thử nghiệm khác được chọn và cuộc thi lặp lại, liệu thứ hạng có giữ nguyên không?

Đối với tập đoàn tài trợ, điều này không thực sự quan trọng (có lẽ 20 bài nộp hàng đầu sẽ cải thiện đường cơ sở của họ). Mặc dù, trớ trêu thay, cuối cùng họ có thể sử dụng một mô hình được xếp hạng đầu tiên tệ hơn so với năm mô hình hàng đầu khác. Nhưng, đối với những người tham gia cuộc thi, có vẻ như Kaggle cuối cùng là một trò chơi may rủi - may mắn không cần phải vấp phải giải pháp đúng đắn, cần phải vấp ngã vào một thử thách phù hợp với bộ thử nghiệm!

Có thể thay đổi cuộc thi để tất cả các đội hàng đầu không thể thống kê chiến thắng? Hoặc, trong nhóm này, mô hình giá rẻ nhất hoặc tính toán nhất có thể giành chiến thắng?

Vâng, lý luận của bạn là chính xác. Nếu một bộ thử nghiệm khác được chọn và cuộc thi lặp lại, thứ hạng thực sự sẽ thay đổi. Hãy xem xét ví dụ sau. Tất cả các mục tham gia cuộc thi Kaggle với nhãn nhị phân chỉ cần đoán ngẫu nhiên (và, nói một cách độc lập) để dự đoán đầu ra của chúng. Tình cờ, một trong số họ sẽ đồng ý với việc nắm giữ nhiều hơn những người khác, mặc dù không có dự đoán nào đang diễn ra.

Mặc dù điều này hơi khó hiểu, nhưng chúng ta có thể thấy rằng phương sai trong mỗi mô hình của bài nộp có nghĩa là việc áp dụng nhiều mục như vậy thực sự sẽ phù hợp với tiếng ồn của tập hợp giữ. Điều này cho chúng ta biết rằng (tùy thuộc vào phương sai của mô hình riêng lẻ), các mô hình N hàng đầu có thể khái quát giống nhau. Đây là khu vườn của những con đường rèn , ngoại trừ "các nhà nghiên cứu" không giống nhau (nhưng điều đó không quan trọng).

Có thể thay đổi cuộc thi để tất cả các đội không thể được phân biệt thống kê với thành tích cao nhất trong bài kiểm tra chiến thắng?

Thật.

• Một cách tiếp cận (không thực tế) sẽ là giải quyết rõ ràng phương sai của một mô hình nhất định trong mỗi mục, điều này sẽ cho chúng ta một CI về hiệu suất nắm giữ của chúng.
• Một cách tiếp cận khác, có thể cần rất nhiều tính toán, là khởi động một CI về hiệu năng giữ chỗ, bằng cách đưa ra API đào tạo và thử nghiệm cho tất cả các mô hình.

Có nhiều loại thi đấu khác trong Kaggle không có yếu tố cơ hội. Ví dụ, chiếc Stanta's Stolen Sleigh này .

Đây là một vấn đề tối ưu hóa riêng biệt và thậm chí nó không có ban lãnh đạo tư nhân. Những gì bạn nhìn thấy trong ban lãnh đạo công cộng là kết quả cuối cùng.

So với việc học có giám sát, điều đó có một khởi đầu dễ dàng đối với nhiều người, loại hình cạnh tranh này có bản chất "khó" hơn.