Làm thế nào tôi có thể so sánh các mô hình mà không phù hợp?

Hồi quy và học máy được sử dụng trong khoa học tự nhiên để kiểm tra các giả thuyết, ước tính các tham số và đưa ra dự đoán bằng cách khớp các mô hình với dữ liệu. Tuy nhiên, khi tôi có một mô hình tiên nghiệm , tôi không muốn thực hiện bất kỳ sự phù hợp nào --- ví dụ, một mô hình của một hệ thống vật lý xác định được tính toán từ các nguyên tắc đầu tiên. Tôi chỉ đơn giản muốn biết mô hình của mình khớp với dữ liệu tốt như thế nào và sau đó hiểu phần nào của mô hình đóng góp đáng kể cho trận đấu. Ai đó có thể chỉ cho tôi một cách nghiêm ngặt về mặt thống kê để làm điều này?

Nói một cách cụ thể hơn, giả sử tôi có một hệ thống vật lý mà tôi đã đo một biến phụ thuộc ( nằm trong khoảng từ 1 đến , cỡ mẫu) trong các điều kiện khác nhau được mô tả bởi ba biến độc lập , và . Mặc dù hệ thống thực sự tạo ra dữ liệu rất phức tạp, tôi đã thực hiện một số giả định đơn giản hóa để rút ra mô hình lý thuyết cho hệ thống, như vậy$y_i$$i$$n$$x_{1,i}$$x_{2,i}$$x_{3,i}$$f$

$y_i = f(x_{1,i}, x_{2,i}, x_{3,i}) + \epsilon_i$ ,

Trong đó là hàm phi tuyến tính (và không tuyến tính hóa) của các biến độc lập và là sự khác biệt giữa các giá trị được dự đoán theo mô hình và được đo. là hoàn toàn quy định trước; không có sự phù hợp nào được thực hiện và không có thông số nào được ước tính. Mục tiêu đầu tiên của tôi là xác định xem có phải là mô hình hợp lý cho quy trình tạo ra các giá trị đo được .$f$$\epsilon_i$$f$$f$$y_i$

Tôi cũng đã phát triển các mô hình đơn giản và , được lồng trong (nếu điều đó quan trọng trong trường hợp này). Mục tiêu thứ hai của tôi là xác định xem phù hợp với dữ liệu tốt hơn đáng kể so với hoặc , cho thấy các tính năng phân biệt mô hình với các mô hình và đóng vai trò quan trọng trong quá trình tạo ra .$g(x_{1,i}, x_{2,i})$$h(x_{1,i})$$f$$f$$g$$h$$f$$g$$h$$y_i$

Ý tưởng cho đến nay

Có lẽ nếu có một số cách để xác định số lượng tham số hoặc số bậc tự do cho mô hình toán học của tôi, thì có thể sử dụng các quy trình hiện tại như kiểm tra tỷ lệ khả năng hoặc so sánh AIC. Tuy nhiên, với dạng phi tuyến của và không có bất kỳ tham số rõ ràng nào, tôi không chắc liệu có hợp lý không khi gán tham số hoặc giả sử cái gì tạo thành một mức độ tự do.$f$

Tôi đã đọc rằng các biện pháp về mức độ phù hợp, chẳng hạn như hệ số xác định ( ), có thể được sử dụng để so sánh hiệu suất của mô hình. Tuy nhiên, đối với tôi không rõ ngưỡng cho sự khác biệt có ý nghĩa giữa các giá trị có thể là gì. Hơn nữa, vì tôi không khớp mô hình với dữ liệu, giá trị trung bình của phần dư không bằng 0 và có thể khác nhau đối với mỗi mô hình. Do đó, một mô hình phù hợp có xu hướng dự đoán thấp dữ liệu có thể mang lại giá trị kém như một mô hình không thiên vị nhưng khớp với dữ liệu kém.$R^2$$R^2$$R^2$

Tôi cũng đã đọc một chút về các bài kiểm tra mức độ phù hợp (ví dụ: Anderson-Darling), nhưng vì số liệu thống kê không phải là lĩnh vực của tôi, tôi không chắc loại bài kiểm tra này phù hợp với mục đích của tôi như thế nào. Bất kỳ hướng dẫn sẽ được đánh giá cao.

Trong tình huống này, về cơ bản, bạn đang so sánh các bản phân phối của trong số 3 mô hình. Vì vậy, bạn cần kiểm tra các vấn đề như:$\epsilon_i$

1. Các giá trị trung bình của khác nhau giữa 3 mô hình không và có giá trị trung bình nào khác 0 không? (Đó là, có sự sai lệch trong bất kỳ mô hình nào không và 3 mô hình có khác nhau về độ lệch không?)$\epsilon_i$
2. Có bất kỳ mối quan hệ hệ thống nào của với các giá trị được dự đoán từ mô hình tương ứng hoặc với các giá trị của các biến độc lập ? Bạn nên xem xét cả ba biến độc lập ở đây ngay cả khi mô hình cụ thể chỉ sử dụng 1 hoặc 2 trong số chúng.$\epsilon_i$$x_{1,i},x_{2,i}, x_{3,1}$
3. Có sự khác biệt đáng kể về phương sai của giữa 3 mô hình không?$\epsilon_i$

Các chi tiết về cách tốt nhất để tiếp cận những câu hỏi này sẽ phụ thuộc vào bản chất của dữ liệu của bạn. Ví dụ: nếu các giá trị của nhất thiết là dương và có các lỗi đo lường điển hình tỷ lệ thuận với các giá trị của chúng (thường là trong trường hợp thực tế), thì có thể thực hiện phân tích này về sự khác biệt giữa chuyển đổi log và dự đoán chuyển đổi log từ mỗi mô hình của bạn.$y_i$$y_i$

Phân tích trực quan về các bản phân phối của trong số 3 mô hình, ví dụ với các ô mật độ, sẽ là bước đầu tiên quan trọng.$\epsilon_i$

Tùy thuộc vào bản chất của dữ liệu, các thử nghiệm thống kê tham số tiêu chuẩn hoặc không tham số tiêu chuẩn về sự khác biệt về giá trị trung bình, được áp dụng cho cho 3 mô hình, sẽ giải quyết Vấn đề 1.$\epsilon_i$

Vấn đề 2 về cơ bản là những gì được thực hiện để kiểm tra chất lượng của bất kỳ mô hình được trang bị nào; trong trường hợp của bạn, phân tích này có thể hiển thị các miền của các biến độc lập mà qua đó một hoặc nhiều mô hình được chỉ định trước của bạn không hoạt động tốt. Các sơ đồ của so với các giá trị dự đoán và các giá trị biến độc lập, với các đường cong hoàng thổ để làm nổi bật các xu hướng, cho mỗi mô hình của bạn sẽ hữu ích.$\epsilon_i$

Nếu không có sai lệch trong bất kỳ mô hình nào và phân tích Vấn đề 2 cho thấy không có vấn đề gì, thì Vấn đề 3 còn lại là liệu có bất kỳ mô hình nào vượt trội về độ chính xác / phương sai hay không. Trong trường hợp lý tưởng với phân phối thông thường trong mỗi mô hình, các thử nghiệm F có thể kiểm tra sự bằng nhau của phương sai.$\epsilon_i$

Một so sánh xác suất của các mô hình, ví dụ như liên quan đến một số khả năng được tính toán từ với một số dữ liệu (và xuất phát từ thử nghiệm AIC hoặc tỷ lệ này), rất ít có ý nghĩa.$\epsilon$

Đây là vì

1. Bạn đã biết chắc chắn rằng mô hình sẽ sai.
2. Phần dư mà bạn kết thúc không có liên quan đến phân phối lỗi được giả thuyết mà bạn sử dụng để kiểm tra các giả thuyết khác nhau. (bạn không có mô hình thống kê / xác suất)
3. Mục tiêu của bạn không phải là kiểm tra một giả thuyết (khoa học cơ bản / thuần túy), mà là đặc trưng cho hiệu suất dự đoán của một mô hình đơn giản hóa (khoa học ứng dụng).

Hầu hết mọi người thường mô tả các mô hình theo tỷ lệ phần trăm lỗi cho các dự đoán.

Ví dụ:

• Dự đoán giảm áp suất dòng chảy của đường ống sử dụng hệ số ma sát tổng hợp hệ số ma sát-Reynold tương quan số dựa trên các số Reynold phi Newton khác nhau

  Nó được chỉ ra rằng những mối tương quan này có thể được sử dụng để dự đoán áp suất giảm xuống trong phạm vi ± 20% cho một nồng độ bùn và điều kiện vận hành nhất định.

• Dự đoán độ nhớt hiệu quả của nanofluids dựa trên cơ sở lưu biến huyền phù của các hạt rắn

  Mô hình hiện tại phù hợp với các giá trị độ nhớt 501 với độ lệch trung bình thấp hơn 5% và 75% trong số chúng nằm trong hệ số tương quan 0,78 Hồi1.

• Ứng dụng trí thông minh nhân tạo để mô hình hóa độ nhớt của nhựa đường

  Hình 2 trình bày so sánh giữa độ nhớt đo được ( ) và độ nhớt tính theo mô hình Einstein. Một sự khác biệt giữa các giá trị được tính toán và đo được xác định rằng có sự tương tác vật lý cao giữa nền nhựa đường và các hạt cao su.$\rho$

• Phương pháp đóng góp trái phiếu để ước tính hằng số luật của henry

  Một hệ số tương quan (r2) là 0,94 đã được xác định cho mối quan hệ giữa các LWAPC đã biết (hệ số phân vùng nước log đến ‐ không khí) và các ước tính ước tính cho các bộ dữ liệu tổng hợp 345.

Về cơ bản, bạn có thể google bất kỳ mô hình nào là đơn giản hóa thực tế và bạn sẽ tìm thấy những người mô tả sự khác biệt của họ với thực tế theo các hệ số tương quan, hoặc phần trăm biến thể.

Tôi muốn kiểm tra giả thuyết rằng "hiện tượng A" liên quan đến việc  x_3,i đóng góp đáng kể vào việc sản xuất  y. Mô hình  fkết hợp hiện tượng A trong khi  g và  hkhông, vì vậy nếu giả thuyết của tôi là đúng, tôi sẽ dự đoán mô hình đó hoạt động  ftốt hơn đáng kể so với  g hoặc  h.

Để so sánh như vậy, bạn có thể coi hiệu suất đo được như một mẫu, một mẫu được lấy ra từ một quần thể hiệu suất (giả thuyết) lớn hơn.

Vì vậy, bạn muốn mô tả các tham số về phân bố dân số của các lỗi  và so sánh các tham số đó. Điều này bạn có thể coi là xác suất. Chẳng hạn, bạn có thể gọi nó là 'lỗi trung bình của mô hình là  ' . Giả thuyết của bạn là về những tham số mô tả phân phối lỗi.$\epsilon$y ± x$y \pm x$

Tuy nhiên, quan điểm này có một chút vấn đề, vì thường "mẫu" được sử dụng để đo hiệu suất, không thực sự là một lựa chọn ngẫu nhiên (ví dụ: đó là các phép đo dọc theo một phạm vi được xác định trước hoặc trong một bộ vật phẩm thực tế được chọn). Sau đó, bất kỳ định lượng sai số nào trong ước tính hiệu suất chung không nên dựa trên một mô hình để lựa chọn ngẫu nhiên (ví dụ: sử dụng phương sai trong mẫu để mô tả lỗi te của ước tính). Vì vậy, vẫn còn ít ý nghĩa khi sử dụng một mô hình xác suất để mô tả các so sánh. Nó có thể là đủ để chỉ nêu dữ liệu mô tả và làm cho "ước tính" của bạn về khái quát hóa dựa trên các đối số logic.