Khai thác dữ liệu: Làm thế nào tôi nên tìm về các hình thức chức năng?

Tôi rất tò mò về các thủ tục lặp lại có thể được sử dụng để khám phá ra dạng hàm của hàm y = f(A, B, C) + error_termnơi đầu vào duy nhất của tôi là một tập hợp các quan sát ( y, A, Bvà C). Xin lưu ý rằng hình thức chức năng củaf là không rõ.

Hãy xem xét các tập dữ liệu sau:

AA BB CC DD EE FF
== == == == == == =
98 11 66 84 67 10500
71 44 48 12 47 7250
54 28 90 73 95 5463
34 95 15 45 75 2581
56 37 0 79 43 3221
68 79 1 65 9 4721
53 2 90 10 18 3095
38 75 41 97 40 4558
29 99 46 28 96 5336
22 63 27 43 4 2196
4 5 89 78 39 492
10 28 39 59 64 1178
11 59 56 25 5 3418
10 4 79 98 24 431
86 36 84 14 67 10526
80 46 29 96 7 7793
67 71 12 43 3 5411
14 63 2 9 52 368
99 62 56 81 26 13334
56 4 72 65 33 3495
51 40 62 11 52 5178
29 77 80 2 54 7001
42 32 4 17 72 1926
44 45 30 25 5 3360
6 3 65 16 87 288

Trong ví dụ này, giả sử rằng chúng tôi biết điều đó FF = f(AA, BB, CC, DD, EE) + error term, nhưng chúng tôi không chắc chắn về hình thức chức năng của f(...).

Quy trình / phương pháp nào bạn sẽ sử dụng để tìm ra hình thức chức năng của f(...)?

(Điểm thưởng: Dự đoán tốt nhất của bạn về fđịnh nghĩa của dữ liệu được cung cấp ở trên là gì? :-) Và vâng, có một câu trả lời "đúng" sẽ mang lại R^2vượt quá 0,99.)

Để tìm dạng hàm phù hợp nhất (được gọi là hồi quy dạng tự do hoặc biểu tượng) cho dữ liệu, hãy thử công cụ này - với tất cả kiến ​​thức của tôi, đây là dạng tốt nhất hiện có (ít nhất là tôi rất hào hứng về nó) ... và nó miễn phí :-)

http://creativemachines.cornell.edu/eureqa

EDIT : Tôi đã bắn nó với Eureqa và tôi sẽ đi:

với R 2 =

Tôi sẽ gọi nó là một sự phù hợp hoàn hảo (Eureqa đưa ra các giải pháp khác phù hợp hơn, tốt hơn, nhưng những điều này cũng phức tạp hơn một chút. Eureqa thích cái này, vì vậy tôi đã chọn cái này) - và Eureqa đã làm mọi thứ cho tôi trong vài giây một máy tính xách tay bình thường ;-)

Chỉ riêng R 2 không phải là một thước đo tốt về sự phù hợp, nhưng chúng ta đừng đi sâu vào vấn đề đó ở đây ngoại trừ việc quan sát rằngsự khôn ngoancó giá trị trong mô hình hóa.$R^2$

Cuối cùng, lưu ý rằng các kỹ thuật tiêu chuẩn về phân tích dữ liệu khám phá (EDA) và hồi quy (nhưng không phải theo từng bước hoặc các quy trình tự động khác) đề xuất sử dụng mô hình tuyến tính trong biểu mẫu

Sử dụng OLS, điều này đạt được trên 0,99. Bị kích động bởi một kết quả như vậy, người ta bị cám dỗ vuông cả hai bên và hồi quy f trên a , b ∗ c , a ∗ b ∗ c , và tất cả các hình vuông và sản phẩm của họ. Điều này ngay lập tức tạo ra một mô hình$R^2$$f$$a$$b*c$$a*b*c$

với MSE gốc dưới 34 và R 2 điều chỉnh là 0,9999$R^2$ . Các hệ số ước tính của 1.0112 và 0.988 cho thấy dữ liệu có thể được tạo một cách giả tạo với công thức

cộng với một chút lỗi phân phối thông thường của SD xấp xỉ bằng 50.

Chỉnh sửa

Đáp lại gợi ý của @ knorv, tôi tiếp tục phân tích. Để làm như vậy, tôi đã sử dụng các kỹ thuật đã thành công cho đến nay, bắt đầu bằng việc kiểm tra ma trận phân tán của phần dư so với các biến ban đầu. Chắc chắn, có một dấu hiệu rõ ràng của sự tương quan giữa và dư (mặc dù OLS hồi quy của f đối với một , một 2 , và b * c đã không chỉ một là "quan trọng"). Tiếp tục trong tĩnh mạch này tôi khám phá tất cả các mối tương quan giữa các điều khoản bậc hai một 2 , ... , e 2 , một $a$$f$$a$$a^2$$b*c$$a$ và phần dư mới và tìm thấy một mối quan hệ nhỏ nhưng có ý nghĩa cao với b 2 . "Rất có ý nghĩa" có nghĩa là tất cả việc rình mò này liên quan đến việc xem xét khoảng 20 biến số khác nhau, do đó, tiêu chí quan trọng của tôi đối với chuyến thám hiểm câu cá này là khoảng 0,05 / 20 = 0,0025: bất cứ điều gì ít nghiêm ngặt hơn đều có thể dễ dàng trở thành vật phẩm của việc thăm dò.$a^2, \ldots, e^2, a*b, a*c, \ldots, d*e$$b^2$

Điều này có một cái gì đó mang hương vị của một mô hình vật lý mà chúng ta mong đợi, và do đó tìm kiếm các mối quan hệ với các hệ số "thú vị" và "đơn giản". Vì vậy, ví dụ, khi thấy rằng hệ số ước tính của là -0,0092 (trong khoảng -0,005 đến -0,013 với độ tin cậy 95%), tôi đã chọn sử dụng -1/100 cho nó. Nếu đây là một số dữ liệu khác, chẳng hạn như các quan sát về một hệ thống xã hội hoặc chính trị, tôi sẽ không thực hiện các thay đổi như vậy mà chỉ sử dụng các ước tính OLS như hiện trạng.$b^2$

Dù sao, một sự phù hợp được cải thiện được đưa ra bởi

$0$

$a$$b^2$

BTW, sử dụng hồi quy mạnh mẽ Tôi có thể phù hợp với mô hình

với SD dư là 27,4 và tất cả các phần dư trong khoảng từ -51 đến +47: về cơ bản là tốt như mức phù hợp trước đó nhưng với một biến ít hơn. Theo nghĩa đó thì khó hiểu hơn, nhưng ít khó hiểu hơn theo nghĩa là tôi đã không làm tròn các hệ số thành các giá trị "đẹp". Tuy nhiên, đây là hình thức tôi thường ưu tiên trong phân tích hồi quy mà không có bất kỳ lý thuyết nghiêm ngặt nào về các loại giá trị mà các hệ số nên có và các biến nào nên được đưa vào.

$R^2$

Câu hỏi của bạn cần tinh chỉnh bởi vì chức năng fgần như chắc chắn không được xác định duy nhất bởi dữ liệu mẫu. Có nhiều chức năng khác nhau có thể tạo ra cùng một dữ liệu.

Điều đó đang được nói, Phân tích phương sai (ANOVA) hoặc "nghiên cứu độ nhạy" có thể cho bạn biết rất nhiều về cách đầu vào của bạn (AA..EE) ảnh hưởng đến đầu ra của bạn (FF).

Tôi vừa thực hiện một ANOVA nhanh chóng và tìm thấy một mô hình hợp lý tốt : FF = 101*A + 47*B + 49*C - 4484. Hàm dường như không phụ thuộc vào DD hoặc EE tuyến tính. Tất nhiên, chúng ta có thể đi xa hơn với mô hình và thêm các thuật ngữ bậc hai và hỗn hợp. Cuối cùng, bạn sẽ có một mô hình hoàn hảo phù hợp với dữ liệu và không có giá trị dự đoán. :)

Nói rộng ra, không có bữa ăn trưa miễn phí trong học máy:

Cụ thể, nếu thuật toán A vượt trội hơn thuật toán B trên một số hàm chi phí, thì nói một cách lỏng lẻo là phải tồn tại chính xác như nhiều hàm khác trong đó B vượt trội hơn A

/ chỉnh sửa: đồng thời, một SVM xuyên tâm có C = 4 và sigma = 0,206 dễ dàng mang lại R2 là 0,99. Trích xuất phương trình thực tế được sử dụng để lấy dữ liệu này được để lại như một bài tập cho lớp. Mã nằm trong R.

setwd("~/wherever")
library('caret')
Data <- read.csv("CV.csv", header=TRUE)
FL <- as.formula("FF ~ AA+BB+CC+DD+EE")
model <- train(FL,data=Data,method='svmRadial',tuneGrid = expand.grid(.C=4,.sigma=0.206))
R2( predict(model, Data), Data$FF)

Tất cả các Mô hình đều sai nhưng một số hữu ích: GEPBox

Y (T) = - 4709,7
+ 102,60 * AA (T) - 17.0707 * AA (T-1)
+ 62.4994 * BB (T) + 41.7453 * CC (T) + 965,70 * ZZ (T)

trong đó ZZ (T) = 0 CHO T = 1,10 = 1 KHÁC

Dường như có một "mối quan hệ tụt hậu" giữa Y và AA VÀ một sự thay đổi được giải thích trong trung bình cho các quan sát 11-25.

Kết quả tò mò nếu đây không phải là dữ liệu theo thời gian hoặc không gian.

r vuông 97,2

Ước tính / Kiểm tra chẩn đoán cho biến YY
X1 AAS
X2 BB
X3 BBS
X4 CC

Số lượng dư (R) = n 25
Số bậc tự do = nm 20
Trung bình dư = Sum R / n -.141873E-05
Tổng bình phương = Sum R 2 .775723E + 07
Phương sai = SOS / (n) 310289. AIC Giá trị (Sử dụng var) = nln + 2m 326.131 Giá trị SBC (Sử dụng var) = nln + m * lnn 332.226 Giá trị BIC (Sử dụng var) = xem Wei p153 340.388 R Square = .972211
điều chỉnh Phương sai = SOS / (nm) 387861.
Độ lệch chuẩn RMSE = SQRT (Adj Var) 622.785
Lỗi tiêu chuẩn của giá trị trung bình = Độ lệch chuẩn / (nm) 139.259 Ý
nghĩa / Lỗi tiêu chuẩn của nó = Trung bình / SEM -.101877E-07
Độ lệch tuyệt đối trung bình = Tổng (ABS (R)) / n 455.684




Thống kê Durbin-Watson = [- A -1)] ** 2 / A 2 1.76580

**
MÔ HÌNH THÀNH PHẦN LAG COEFF STANDARD PT
# (BOP) GIÁ TRỊ GIÁ TRỊ LRI

1CONSTANT                         -.381E+04   466.       .0000    -8.18

INPUT SERIES X1 AAS AA SQUARED

2Omega (input) -Factor #  1    0   .983       .410E-01   .0000    23.98

INPUT SERIES X2 BB BB NHƯ VẬY

3Omega (input) -Factor #  2    0   108.       14.9       .0000     7.27

INPUT SERIES X3 BBS BB SQUARED

4Omega (input) -Factor #  3    0  -.577       .147       .0008    -3.93

INPUT SERIES X4 CC CC NHƯ VẬY

5Omega (input) -Factor #  4    0   49.9       4.67       .0000    10.67