Một cách tốt để đo lường tuyến tính tinh thần của một bộ dữ liệu là gì?

Tôi có một bộ dữ liệu thu thập theo kinh nghiệm liên quan đến hai biến. Trong một phạm vi nhỏ, mối quan hệ xuất hiện tuyến tính, tuy nhiên trên phạm vi lớn hơn rõ ràng có một số mối quan hệ đa thức bậc hai như có thể nhìn thấy trong hình ảnh tại http://imgur.com/W7f9p .

Tôi đang cố gắng để có được một thước đo tuyến tính cho các phạm vi khác nhau được xem xét. Ví dụ, ở 20 <x <60 hoặc 100 <x <120 thì nó rất tuyến tính, nhưng ở 20 <x <180 thì nó không tuyến tính lắm. Tôi đã cố gắng khớp một đường thẳng với dữ liệu và tính toán dữ liệu R ^ 2 (mức độ phù hợp) nhưng điều này cho thấy đường thẳng trên phạm vi lớn hơn phù hợp hơn so với phạm vi nhỏ hơn. Mặc dù điều này có thể đúng với MS Excel, nhưng từ hình ảnh rõ ràng là phạm vi lớn hơn sẽ ít tuyến tính hơn ... nếu bạn giữ cạnh của một mảnh giấy so với các điểm.

Có cách nào tốt hơn để đo "độ tuyến tính" của bộ dữ liệu không?

Phù hợp với một bậc hai thay vì một hàm tuyến tính. Giá trị tuyệt đối của ước tính hệ số cao nhất của bậc hai đóng vai trò là thước đo hợp lý của tuyến tính, bằng 0 nếu dữ liệu nằm chính xác trên một dòng. Hơn nữa, nếu dữ liệu đến từ một mô hình tuyến tính có nhiễu Gaussian, định lý Gauss-Markov đảm bảo rằng các ước tính hệ số là không thiên vị, do đó dưới sự lặp lại của sự phù hợp với nhiều dữ liệu từ cùng một phân phối mô hình, giá trị dự kiến ​​của hệ số sẽ là số không.

Tất nhiên trong một lần phù hợp, người ta thường không nhận được số không, vì vậy người ta sẽ phải sử dụng một số thử nghiệm cho tầm quan trọng của các hệ số.

Một cách để đi là chạy hồi quy phân cấp với biến trục Y của bạn làm tiêu chí / kết quả. Trong bước / khối 1, bạn sẽ nhập biến X của mình làm công cụ dự đoán và trong bước / khối 2, nhập thuật ngữ sản phẩm (X bình phương hoặc nhân với chính nó). Thuật ngữ bình phương X đại diện cho thành phần bậc hai của bạn. Các trọng số hồi quy được tiêu chuẩn hóa (betas) cho bình phương X và X sẽ cho bạn cảm giác về "sức mạnh" của các thành phần tuyến tính và bậc hai so với nhau và thay đổi bình phương R từ bước / khối 1 sang bước / khối 2 là một dấu hiệu cho thấy mô hình phù hợp với dữ liệu tốt hơn như thế nào khi bạn đã thêm vào thành phần bậc hai.

Xem Ch. 8 trong Keith, TZ (2005). Hồi quy bội và hơn thế nữa. Allyn & Bacon. 980-0205326440

Thước đo tuyến tính tốt nhất giữa hai biến x và y là hệ số tương quan mô men sản phẩm Pearson. Càng gần 1 về giá trị tuyệt đối thì sự phù hợp càng gần với một đường thẳng hoàn hảo. Bây giờ nếu bạn nghĩ rằng có sự tuyến tính tốt trong một tiểu vùng, hãy tính tương quan cho chỉ các cặp trong tiểu vùng. Nếu có một sự thay đổi hình dạng bên ngoài khu vực đó, nó sẽ hiển thị trong sự giảm tương quan khi tất cả các dữ liệu được bao gồm.

Các công cụ thống kê tiêu chuẩn là hệ số tương quan (xem câu trả lời của Michael Chernick) là một giá trị giữa [-1,1] và là đơn vị độc lập. Liên quan đến hệ số tương quan là hiệp phương sai. Hiệp phương sai bị ảnh hưởng bởi các đơn vị nhưng có thể dễ giải thích hơn. Tuy nhiên, tôi không thích một trong những lựa chọn đó trong trường hợp chung. Tôi không thích chúng bởi vì chúng không phải là sự biến đổi độc lập. Hãy xem xét rằng một đường thẳng hoặc ngang thẳng được coi là phi tuyến tính bởi cả hai biện pháp đó.

Một tùy chọn đơn vị tốt hơn là sử dụng phân rã giá trị số ít (SVD). SVD chia dữ liệu thành các phần thành phần được xếp hạng theo mức độ đóng góp của chúng cho toàn bộ. Do đó, tỷ lệ của số ít nhất so với số ít lớn thứ hai là một số liệu của tuyến tính. Lưu ý, để sử dụng phương pháp này, trước tiên bạn phải tập trung dữ liệu (làm cho tọa độ trung bình X, Y, Z, v.v bằng 0).

Ví dụ: Pts: 1126640.141 233575.2013; 1126630.008 233572,8567; 1126625.829 233572.7434;
1126625.416 233577.3781;

Pts tập trung: 9.792639127 0.656480018; -0.340591673 -1,68817349; -4,519928343 -1.801499913; -4.932119113 2.833193384;

Ma trận SVD, D: 11.86500017 0; 0 3.813448344

Tỷ lệ giá trị số ít 3.111357

Tỷ lệ trên có thể được hiểu một cách đại khái là dữ liệu dài gấp ba lần theo hướng của dòng phù hợp nhất vì nó là tuyến tính chéo.

Đối với giải pháp với các đơn vị có đơn vị và không yêu cầu SVD. Làm một số dòng phù hợp có trung tâm của dòng là một trong các tham số. Sử dụng dữ liệu tập trung ở trên rất đơn giản: dòng pt = 0 0 (luôn luôn là trường hợp cho dữ liệu tập trung) hướng dòng = -0.999956849 -0.009289783

Các vectơ từ tâm của đường thẳng đến mỗi điểm là tọa độ tập trung của các điểm. Tìm độ dài hình chiếu của các vectơ này trên đường thẳng (giá trị tuyệt đối của vectơ chấm theo hướng đường thẳng) và độ dài của thành phần vectơ vuông góc (chiều dài của hướng vectơ chéo). Chiều dài song song, chiều dài vuông góc 9,798315123, 0,565480194; 0,336259742, 1,684936621; 4.536468847, 1.759433021; 4.905586534, 2.878889448;

Tối đa của các phép chiếu song song là sự kéo dài dữ liệu dọc theo đường. Độ dài tối đa của hình chiếu vuông góc là thước đo độ phi tuyến tính. Tỷ lệ của hai là một xấp xỉ của tỷ lệ giá trị số ít ở trên.

Ghi chú 1. Tính bất biến trong tuyến tính là không thể. Hãy xem xét, trong một phép biến đổi affine, chúng ta có thể chia tỷ lệ trừ một trong các trục tọa độ gần bằng 0 (làm cho bất kỳ tập hợp điểm nào thành tuyến tính). Vì vậy, bất biến phù hợp là tốt nhất chúng ta có thể làm. 2. Các phương pháp này KHÔNG ROBUST cho dữ liệu ngoại lệ. 3. Ví dụ là 2D nhưng được khái quát thành N chiều.