Để bắt đầu, tôi khuyên bạn nên cảnh giác với những tuyên bố rằng chỉ có mộtcách để làm một cái gì đó. Chia mẫu thu được thành "tập huấn" và tập dữ liệu "kiểm tra" là cách tiếp cận phổ biến trong nhiều ứng dụng khoa học dữ liệu / máy học. Thông thường, các phương pháp mô hình hóa này ít quan tâm đến việc kiểm tra giả thuyết về một quy trình tạo dữ liệu cơ bản, điều này có nghĩa là chúng có xu hướng hơi vô thần. Trong thực tế, hầu hết các loại phân tách đào tạo / kiểm tra này chỉ muốn xem liệu mô hình có quá phù hợp về mặt hiệu suất dự đoán hay không. Tất nhiên, cũng có thể sử dụng phương pháp đào tạo / kiểm tra để xem liệu một mô hình nhất định có sao chép theo các tham số nào là "có ý nghĩa" hay không để xem liệu các ước tính tham số có nằm trong phạm vi dự kiến trong cả hai trường hợp hay không.
Về lý thuyết, các mô hình xác nhận hoặc vô hiệu hóa là những gì khoa học, viết lớn, được cho là đang làm. Các nhà nghiên cứu độc lập, kiểm tra riêng, tạo và kiểm tra các giả thuyết hỗ trợ hoặc bác bỏ các lập luận về một lý thuyết về lý do tại sao hoặc trong trường hợp nào xảy ra hiện tượng quan sát được - đó là doanh nghiệp khoa học trong một vỏ hạt (hoặc ít nhất là trong một câu quá dài). Vì vậy, để trả lời câu hỏi của bạn, với tôi, ngay cả các phân tách đào tạo / kiểm tra cũng không "xác nhận" một mô hình. Đó là một cái gì đó làm mất trọng lượng của nhiều năm bằng chứng được tích lũy từ nhiều nhà nghiên cứu độc lập nghiên cứu cùng một tập hợp hiện tượng. Mặc dù vậy, tôi sẽ cho rằng việc này có thể là một điều gì đó khác biệt về ngữ nghĩa về những gì tôi xem xác thực mô hình có nghĩa là gì so với việc xác thực thuật ngữ có nghĩa là gì trong các cài đặt được áp dụng ...
Tùy thuộc vào dữ liệu và phương pháp mô hình hóa của bạn, có thể không phải lúc nào cũng phù hợp theo quan điểm thống kê để phân chia mẫu của bạn thành các bộ huấn luyện và thử nghiệm. Ví dụ, các mẫu nhỏ có thể đặc biệt khó áp dụng phương pháp này. Ngoài ra, một số bản phân phối có thể có các thuộc tính nhất định khiến chúng khó lập mô hình ngay cả với các mẫu tương đối lớn. Trường hợp không thổi phồng của bạn có thể phù hợp với mô tả sau này. Nếu mục tiêu là đạt được xấp xỉ "sự thật" về một tập hợp các mối quan hệ hoặc các quá trình cơ bản được cho là giải thích cho một số hiện tượng, bạn sẽ không được phục vụ tốt bằng cách sử dụng một cách tiếp cận dưới quyền để kiểm tra một giả thuyết nhất định. Vì vậy, có lẽ bước đầu tiên là thực hiện phân tích sức mạnh để xem liệu bạn thậm chí có khả năng sao chép việc tìm kiếm sự quan tâm trong dữ liệu của bạn không.
Một tùy chọn khác là chỉ định một số mô hình để xem liệu chúng "giải thích" tốt hơn cho dữ liệu được quan sát hay không. Mục tiêu ở đây sẽ là xác định mô hình tốt nhất trong số các lựa chọn thay thế hợp lý. Đây là một đối số, không phải là một đối số tuyệt đối, bạn sẽ đưa ra về mô hình của mình. Về cơ bản, bạn thừa nhận rằng có thể có các mô hình khác có thể được đặt ra để giải thích dữ liệu của bạn, nhưng mô hình của bạn là mô hình thay thế tốt nhất được thử nghiệm (ít nhất là bạn hy vọng như vậy). Tất cả các mô hình trong tập hợp, bao gồm cả mô hình giả thuyết của bạn, nên có căn cứ về mặt lý thuyết; nếu không, bạn có nguy cơ thiết lập một nhóm người đàn ông rơm thống kê.
Ngoài ra còn có các yếu tố Bayes trong đó bạn có thể tính toán trọng số của bằng chứng mà mô hình của bạn cung cấp, dựa trên dữ liệu của bạn, cho một giả thuyết cụ thể liên quan đến các kịch bản thay thế.
Đây là một danh sách đầy đủ các tùy chọn, nhưng tôi hy vọng nó có ích. Bây giờ tôi sẽ bước xuống từ hộp xà phòng. Chỉ cần nhớ rằng mọi mô hình trong mọi nghiên cứu được công bố về hành vi của con người là không chính xác. Hầu như luôn luôn có các biến bị bỏ qua có liên quan, các tương tác không được điều chỉnh, các quần thể được lấy mẫu không hoàn hảo và chỉ là lỗi lấy mẫu cũ đơn giản khi chơi làm xáo trộn sự thật tiềm ẩn.