RMSE so với hệ số xác định

Tôi đang đánh giá một mô hình vật lý và muốn biết một trong những phương pháp tôi nên sử dụng ở đây (giữa RMSE và Hệ số xác định R2)

Vấn đề như sau: Tôi có một hàm đưa ra dự đoán cho giá trị đầu vào x, . Tôi cũng có quan sát thực tế cho giá trị mà tôi gọi là .y$\overline{y_x}= f(x)$$y_x$

Câu hỏi của tôi là những ưu và nhược điểm của RMSE hoặc . Tôi đã thấy cả hai đều được sử dụng trong các bài báo cho vấn đề mà tôi đang làm việc.$R^2$

Tôi đã sử dụng cả hai, và có một vài điểm để thực hiện.

• Rmse rất hữu ích vì nó đơn giản để giải thích. Mọi người đều biết nó là gì.
• Rmse không hiển thị giá trị tương đối. Nếu , bạn phải biết cụ thể phạm vi . Nếu , thì 0,2 là một giá trị tốt. Nếu , có vẻ như nó không còn tốt nữa.α < y x < β α = 1 , β = 1000 α = 0 , β = $rmse=0.2$$\alpha <y_x< \beta$$\alpha=1, \beta=1000$$\alpha=0, \beta=1$
• Theo cách tiếp cận trước đây, rmse là một cách tốt để che giấu sự thật rằng những người bạn đã khảo sát hoặc các phép đo bạn thực hiện hầu hết đều thống nhất (mọi người đánh giá sản phẩm có 3 sao) và kết quả của bạn có vẻ tốt vì dữ liệu đã giúp bạn. Nếu dữ liệu là một chút ngẫu nhiên, bạn sẽ tìm thấy mô hình của bạn quay quanh Sao Mộc.
• Sử dụng hệ số xác định đã điều chỉnh, thay vì thông thường$R^2$
• Hệ số xác định rất khó giải thích. Ngay cả những người trong lĩnh vực này cũng cần một mẹo ghi chú như \ footnote {Hệ số xác định được điều chỉnh là tỷ lệ biến thiên trong một tập dữ liệu có thể được giải thích bằng mô hình thống kê. Giá trị này cho thấy kết quả trong tương lai có thể được dự đoán bởi mô hình. có thể lấy 0 là tối thiểu và 1 là tối đa.}$R^2$
• Tuy nhiên, hệ số xác định rất chính xác trong việc cho biết mô hình của bạn giải thích hiện tượng tốt như thế nào. nếu , bất kể giá trị , mô hình của bạn là xấu. Tôi tin rằng điểm giới hạn cho một mô hình tốt bắt đầu từ 0,6 và nếu bạn có thứ gì đó trong khoảng 0,7-0,8, mô hình của bạn là một mô hình rất tốt.y $R^2=0.2$$y_x$
• Tóm lại, nói rằng, với mô hình của bạn, bạn có thể giải thích 70% những gì đang diễn ra trong dữ liệu thực. 30% còn lại, là điều bạn không biết và bạn không thể giải thích. Có thể là do có các yếu tố gây nhiễu, hoặc bạn đã mắc một số sai lầm khi xây dựng mô hình.$R^2=0.7$
• Trong khoa học máy tính, hầu hết mọi người đều sử dụng rmse. Khoa học xã hội sử dụng thường xuyên hơn.$R^2$
• Nếu bạn không cần phải chứng minh các tham số trong mô hình của mình, chỉ cần sử dụng rmse. Tuy nhiên, nếu bạn cần đưa vào, xóa hoặc thay đổi các tham số trong khi xây dựng mô hình của mình, bạn cần sử dụng để cho thấy các tham số này có thể giải thích dữ liệu tốt nhất.$R^2$
• Nếu bạn sẽ sử dụng , hãy viết mã bằng ngôn ngữ R. Nó có thư viện và bạn chỉ cần cung cấp cho nó dữ liệu để có tất cả kết quả.$R^2$

Đối với một nhà khoa học máy tính đầy tham vọng, thật tuyệt vời khi viết về thống kê. Trân trọng.

Bất kể bạn đo lường Errror là gì, hãy xem xét đưa ra vectơ kết quả hoàn chỉnh của bạn trong một phụ lục. Những người thích so sánh với phương pháp của bạn nhưng thích một phép đo lỗi khác có thể lấy được giá trị như vậy từ bảng của bạn.

$R^2$ :

• Không phản ánh lỗi hệ thống. Hãy tưởng tượng bạn đo đường kính thay vì bán kính của các vật thể tròn. Bạn có một sự đánh giá quá cao dự kiến ​​là 100%, nhưng vẫn có thể đạt tới gần bằng 1.$R^2$

• Không đồng ý với những bình luận trước đó rằng rất khó hiểu. Giá trị càng cao, mô hình của bạn càng chính xác, nhưng nó có thể bao gồm các lỗi hệ thống.$R^2$

• Có thể được biểu thị bằng công thức dễ hiểu khi bạn xây dựng tỷ lệ tổng của phần dư bình phương và chia cho trung bình:

$R^2 = 1 - {\frac{SS_E}{mean}} = 1 - \frac{\sum{(y_i - \overline{y_i}})^2}{\sum{(y_i - \overline{y}})^2}$

• nên được thể hiện trong phiên bản nâng cao hơn của . Ở đây nhiều người dự đoán sẽ trừng phạt mô hình. Dự kiến ​​sẽ mạnh mẽ hơn chống lại quá mức.$R^2_{adj.}$

$RMSE$ :

• Bạn chỉ có thể đạt thấp bằng cách có cả độ chính xác cao (các ngoại lệ đơn lẻ nhưng lớn bị trừng phạt nặng) và không có lỗi hệ thống. Vì vậy, theo một cách nào đó, thấp đảm bảo chất lượng tốt hơn .$RMSE$$RMSE$$R^2$

• Số này có một đơn vị và dành cho những người không quen thuộc với dữ liệu của bạn không dễ hiểu. Ví dụ, nó có thể được chia theo giá trị trung bình của dữ liệu để tạo ra một . Hãy cẩn thận, đây không phải là định nghĩa duy nhất của . Một số người thích chia theo phạm vi dữ liệu của họ thay vì chia cho giá trị trung bình.$rel. RMSE$$rel. RMSE$

Như những người khác đã đề cập, sự lựa chọn có thể phụ thuộc vào lĩnh vực và trạng thái nghệ thuật của bạn. Có một phương pháp cực kỳ được chấp nhận để so sánh quá? Sử dụng phép đo giống như họ làm và bạn có thể liên kết trực tiếp các lợi ích phương pháp của mình một cách dễ dàng trong cuộc thảo luận.

Cả Root-mean-Square-Error (RMSE) và hệ số xác định ( ) đều$R^2$ cung cấp thông tin khác nhau, nhưng bổ sung, cần được đánh giá khi đánh giá mô hình vật lý của bạn. Không phải là "tốt hơn", nhưng một số báo cáo có thể tập trung nhiều hơn vào một số liệu tùy thuộc vào ứng dụng cụ thể.

Tôi sẽ sử dụng những điều sau đây như một hướng dẫn rất chung để hiểu sự khác biệt giữa cả hai số liệu:

Các RMSE mang đến cho bạn một cảm giác khoảng cách giữa (hoặc xa) giá trị dự đoán của bạn là từ dữ liệu thực tế bạn đang cố gắng mô hình. Điều này hữu ích trong nhiều ứng dụng mà bạn muốn hiểu tính chính xác và chính xác của các dự đoán của mô hình của bạn (ví dụ: mô hình chiều cao của cây).

Ưu

1. Nó tương đối dễ hiểu và giao tiếp vì các giá trị được báo cáo nằm trong cùng đơn vị với biến phụ thuộc được mô hình hóa.

Nhược điểm

1. Nó nhạy cảm với các lỗi lớn (phạt các lỗi dự đoán lớn hơn các lỗi dự đoán nhỏ hơn).

Các hệ số xác định ( )$R^2$ rất hữu ích khi bạn đang cố gắng để hiểu như thế nào lựa chọn biến độc lập của bạn (s) giải thích sự thay đổi trong biến phụ thuộc của bạn (s). Điều này hữu ích khi bạn đang cố gắng giải thích những yếu tố nào có thể thúc đẩy quá trình quan tâm cơ bản (ví dụ: các biến khí hậu và điều kiện đất đai liên quan đến chiều cao của cây).

Ưu

1. Cung cấp một ý nghĩa tổng thể về mức độ các biến được chọn của bạn phù hợp với dữ liệu.

Nhược điểm

1. Như các biến độc lập hơn được thêm vào mô hình của bạn, tăng (xem adj. hoặc Thông tin Tiêu chuẩn Akaike của như giải pháp thay thế tiềm năng).$R^2$$R^2$

Tất nhiên, ở trên sẽ phải tuân theo kích thước mẫu và thiết kế lấy mẫu, và một sự hiểu biết chung rằng mối tương quan không ngụ ý nhân quả.

Ngoài ra còn có MAE, có nghĩa là lỗi tuyệt đối. Không giống như RMSE, nó không quá nhạy cảm với các lỗi lớn. Từ những gì tôi đã đọc, một số lĩnh vực thích RMSE, những lĩnh vực khác MAE. Tôi thích sử dụng cả hai.

Trên thực tế, đối với các nhà khoa học thống kê nên biết sự phù hợp nhất của mô hình, thì RMSE rất quan trọng đối với những người trong nghiên cứu mạnh mẽ của mình. Nếu RMSE rất gần với 0, thì mô hình được trang bị tốt nhất.

Hệ số xác định là tốt cho các nhà khoa học khác như nông nghiệp và các lĩnh vực khác. Đó là một giá trị từ 0 đến 1. Nếu là 1, 100% giá trị khớp với các tập dữ liệu được quan sát. Nếu là 0, thì dữ liệu hoàn toàn không đồng nhất. Dr.SK.Khadar Babu, Đại học VIT, Vellore, TamilNadu, Ấn Độ.

Nếu một số số được thêm vào mỗi phần tử của một trong các vectơ, RMSE thay đổi. Tương tự nếu tất cả các phần tử trong một hoặc cả hai vectơ được nhân với một số. Mã R theo sau;

#RMSE vs pearson's correlation
one<-rnorm(100)
two<-one+rnorm(100)

rumis<-(two - one)^2
(RMSE<-sqrt(mean(rumis)))
cor(one,two)

oneA<-one+100

rumis<-(two - oneA)^2
(RMSE<-sqrt(mean(rumis)))
cor(oneA,two)

oneB<-one*10
twoB<-two*10

rumis<-(twoB - oneB)^2
(RMSE<-sqrt(mean(rumis)))
cor(oneB,twoB)
cor(oneB,twoB)^2

Cuối cùng, sự khác biệt chỉ là tiêu chuẩn hóa vì cả hai đều dẫn đến sự lựa chọn của cùng một mô hình, bởi vì RMSE nhân số lần quan sát trong tử số hoặc bình phương R, và mẫu số của sau này là không đổi trên tất cả các mô hình (chỉ vẽ một số đo so với khác cho 10 mô hình khác nhau).