Thống kê và dữ liệu lớn validation

1

Tôi đã đào tạo hai mô hình (phân loại nhị phân bằng h2o AutoML) và tôi muốn chọn một mô hình để sử dụng. Tôi có kết quả như sau: model_id auc logloss logloss_train logloss_valid gini_train gini_valid DL_grid_1 0.542694 0.287469 0.092717 0.211956 0.872932 0.312975 DL_grid_2 0.543685 0.251431 0.082616 0.186196 0.900955 …

14 model-selection validation auc gini log-loss

1

Khi xây dựng mô hình hồi quy bằng cách sử dụng các bộ mô hình hóa / xác thực riêng biệt, nó có phù hợp với việc tuần hoàn lại dữ liệu xác nhận không?

Giả sử tôi đã phân chia 80/20 giữa các quan sát mô hình hóa / xác nhận. Tôi đã điều chỉnh mô hình cho tập dữ liệu mô hình hóa và tôi cảm thấy thoải mái với lỗi mà tôi thấy trên tập dữ liệu xác thực. Trước khi tôi …

13 regression predictive-models validation

3

Tại sao không phải là phương pháp nắm giữ (chia dữ liệu thành đào tạo và thử nghiệm) được sử dụng trong thống kê cổ điển?

Trong lớp học của tôi tiếp xúc với khai thác dữ liệu, phương pháp nắm giữ được giới thiệu như một cách đánh giá hiệu suất mô hình. Tuy nhiên, khi tôi học lớp đầu tiên về các mô hình tuyến tính, điều này không được giới thiệu như một …

12 regression validation model-evaluation out-of-sample

1

Tên của lỗi tương đối tuyệt đối trung bình với điểm Brier?

Câu hỏi ngày hôm qua Xác định độ chính xác của mô hình ước tính xác suất của sự kiện khiến tôi tò mò về tính điểm xác suất. Điểm Brier là số đo bình phương trung bình. Liệu hiệu suất lỗi tuyệt đối có nghĩa là11NΣi = 1N( p …

12 classification error validation scoring-rules brier-score

3

Kiểm tra tính nhất quán là gì?

Tôi đã được hỏi một câu hỏi như "Bạn đã thực hiện bất kỳ kiểm tra tính nhất quán trong công việc hàng ngày của bạn?" trong một cuộc phỏng vấn qua điện thoại cho vị trí Biuleristician. Tôi không biết phải trả lời sao. Bất kỳ thông tin được …

11 validation

2

Tỷ lệ lỗi có phải là hàm Lồi của tham số Chính quy lambda không?

Khi chọn tham số chính quy lambda trong Ridge hoặc Lasso, phương pháp được đề xuất là thử các giá trị khác nhau của lambda, đo lỗi trong Tập xác thực và cuối cùng chọn giá trị đó của lambda trả về lỗi thấp nhất. Nó không phải là cleat …

11 cross-validation error regularization validation optimization

1

Trực giác đằng sau sự thay đổi của chỉ số thông tin (VI) để xác nhận cụm là gì?

Đối với những người không thống kê như tôi, rất khó nắm bắt ý tưởng về VIsố liệu (biến thể thông tin) ngay cả sau khi đọc bài báo liên quan của Marina Melia " So sánh cụm - Khoảng cách dựa trên thông tin " (Tạp chí Phân tích …

11 r clustering validation intuition

1

Số liệu đánh giá dự đoán cho dữ liệu bảng / dọc

Tôi muốn đánh giá một số mô hình khác nhau cung cấp dự đoán hành vi ở cấp độ hàng tháng. Dữ liệu được cân bằng và 100.000 và 12. Kết quả là tham dự một buổi hòa nhạc trong một tháng nhất định, do đó, con số này không …

11 repeated-measures predictive-models stata panel-data validation

3

Chia dữ liệu chuỗi thời gian thành các bộ huấn luyện / kiểm tra / xác nhận

Cách tốt nhất để phân chia dữ liệu chuỗi thời gian thành các bộ xác thực / kiểm tra / xác thực, trong đó bộ xác thực sẽ được sử dụng để điều chỉnh siêu tham số? Chúng tôi có dữ liệu bán hàng hàng ngày trong 3 năm và …

11 time-series cross-validation validation

2

Làm thế nào để tạo mẫu đại diện từ một bộ dữ liệu tổng thể lớn?

Các kỹ thuật thống kê để tạo ra một bộ mẫu, đại diện cho toàn bộ dân số (với mức độ tin cậy đã biết) là gì? Cũng thế, Làm thế nào để xác nhận, nếu mẫu phù hợp với tập dữ liệu tổng thể? Có thể, mà không phân …

10 sampling sample-size validation

2

Xu hướng lạc quan - ước tính lỗi dự đoán

Cuốn sách Các yếu tố của học thống kê (có sẵn trong PDF trực tuyến) thảo luận về xu hướng tối ưu (7.21, trang 229). Nó nói rằng độ lệch lạc quan là sự khác biệt giữa lỗi huấn luyện và lỗi trong mẫu (lỗi được quan sát nếu chúng …

9 error bias validation

4

Tính tỷ lệ dữ liệu mẫu được sử dụng để phù hợp / đào tạo và xác nhận mô hình

Cung cấp một cỡ mẫu "N" mà tôi dự định sử dụng để dự báo dữ liệu. Một số cách để chia nhỏ dữ liệu để tôi sử dụng một số cách để thiết lập mô hình và dữ liệu còn lại để xác thực mô hình là gì? Tôi …

9 machine-learning modeling sample validation

2

Sự khác biệt giữa phân tích độ nhạy và xác nhận mô hình là gì?

Tôi đã đọc cả hai trang wikipedia về phân tích độ nhạy và xác thực mô hình (ở đây, chỉ xác thực hồi quy tuyến tính) nhưng tôi không quản lý để tìm cách tách hai thuật ngữ này. Tôi có ấn tượng rằng cái đầu tiên được sử dụng …

9 validation sensitivity-analysis

1

Thực hành tốt nhất để đo lường và tránh quá mức?

Tôi đang phát triển hệ thống giao dịch tự động cho thị trường chứng khoán. Những thách thức lớn đã được thừa. Bạn có thể giới thiệu một số tài nguyên mô tả các phương pháp để đo lường và tránh quá mức không? Tôi đã bắt đầu với các …

9 time-series machine-learning dataset data-mining validation

4

Có bắt buộc phải tập hợp dữ liệu của bạn để xác thực một mô hình không?

Tôi đang gặp khó khăn khi ở cùng một trang với người giám sát của mình khi xác nhận mô hình của tôi. Tôi đã phân tích dư lượng (quan sát các giá trị được trang bị) và tôi đã sử dụng nó làm đối số để thảo luận về …

8 r references glmm validation glmmtmb

Câu hỏi được gắn thẻ «validation»