Hồi quy tuyến tính đơn giản có thể được thực hiện mà không cần sử dụng các ô và đại số tuyến tính?


47

Tôi hoàn toàn mù quáng và đến từ một nền tảng lập trình.

Những gì tôi đang cố gắng làm là học máy học, và để làm điều này, trước tiên tôi cần học về hồi quy tuyến tính. Tất cả các giải thích trên Internet tôi đang tìm kiếm về chủ đề này vẽ dữ liệu đầu tiên. Tôi đang tìm kiếm một lời giải thích thực tế về hồi quy tuyến tính không phụ thuộc vào đồ thị và cốt truyện.

Dưới đây là sự hiểu biết của tôi về mục tiêu của hồi quy tuyến tính đơn giản:

Hồi quy tuyến tính đơn giản đang cố gắng tìm công thức mà một khi bạn đưa ra Xcho nó, sẽ cung cấp cho bạn ước tính gần nhất Y.

Vì vậy, theo tôi hiểu, điều cần làm là so sánh công cụ dự đoán (ví dụ diện tích của một ngôi nhà tính bằng feet vuông) với biến độc lập (giá). Trong ví dụ của tôi, bạn có thể có thể tạo ra một cách không trực quan để có được công thức tốt nhất để tính giá của một ngôi nhà từ khu vực của nó. Ví dụ, có thể bạn sẽ có được diện tích và giá của 1000 ngôi nhà trong một khu phố, và chia giá cho khu vực đó? Kết quả (ít nhất là ở Iran, nơi tôi sống) sẽ có phương sai rất không đáng kể. Vì vậy, bạn có thể nhận được một cái gì đó như thế này:

Price = 2333 Rials * Area of the house

Tất nhiên, sau đó bạn sẽ cần phải đi qua tất cả 1000 ngôi nhà trong bộ dữ liệu của mình, đặt khu vực vào công thức ở trên, so sánh ước tính với giá thực, bình phương kết quả (tôi đoán để ngăn các phương sai hủy bỏ nhau) và sau đó nhận được một số, sau đó tiếp tục chơi xung quanh 2333để giảm lỗi.

Tất nhiên, đây là tùy chọn vũ phu, nơi nó có thể sẽ mất nhiều thời gian để tính toán các lỗi và đi đến tùy chọn tốt nhất, nhưng bạn có thấy tôi đang nói gì không? Tôi đã không nói bất cứ điều gì về biểu đồ, hoặc một dòng hoặc các điểm trên một âm mưu hoặc cách tốt nhất để khớp một dòng với dữ liệu hiện tại của bạn.

Vì vậy, tại sao bạn cần một biểu đồ phân tán và đại số tuyến tính cho điều này? Có cách nào không trực quan không?

Đầu tiên, tôi có đúng trong các giả định của mình không? Nếu không, tôi muốn được sửa chữa. Dù tôi có hay không, có cách nào để đưa ra công thức mà không cần chơi với đại số tuyến tính không?

Tôi thực sự sẽ đánh giá cao nó nếu tôi có thể lấy một ví dụ với lời giải thích, để tôi có thể làm điều đó cùng với văn bản để kiểm tra sự hiểu biết của tôi.


2
Nhưng bạn có trí tưởng tượng không gian có thể chiếm lĩnh tầm nhìn? Nếu có, tôi cho rằng một biểu đồ phân tán có thể được tưởng tượng theo một cách nào đó. Tôi nghi ngờ rằng bản chất của hồi quy có thể được nắm bắt bằng cách suy nghĩ mệnh đề (chẳng hạn như bằng lời nói).
ttnphns

3
Nền toán học của bạn là gì? Trang Wikipedia được gọi là Hồi quy tuyến tính đơn giản chủ yếu là văn bản và có những gì tôi nghĩ là một mô tả hợp lý rõ ràng trong đoạn đầu tiên. Làm thế nào để bài viết đó so sánh với mức độ chi tiết bạn đang tìm kiếm?
Shadowtalker

3
Tôi sẽ tiếp tục nghĩ về nó, xem liệu tôi có thể đến được không, nhưng ngay lập tức, hãy nghĩ về hồi quy như giải một phương trình không có lời giải. Tất cả các điểm dữ liệu của bạn sẽ được dự đoán không chính xác bởi người hồi quy của bạn (khu vực của ngôi nhà). Bạn đang tìm kiếm một phương trình làm cho các lỗi của bạn có thể chấp nhận được càng tốt.
Antoni Parellada

8
câu hỏi tuyệt vời, chúng ta cần suy nghĩ nhiều hơn về việc giải thích các khái niệm của chúng ta cho người khuyết tật
Aksakal

4
Bạn không cần phải sử dụng cốt truyện. Thật vậy, đối với nhiều hồi quy tuyến tính (hồi quy có nhiều yếu tố dự đoán), bạn không thể vẽ không gian chiều. Tuy nhiên, đại số tuyến tính vẫn hoạt động. Tất cả các công thức đại số tuyến tính liên quan đến hồi quy tuyến tính có thể được giảm xuống thành các phép toán trên các số vô hướng đơn giản. Bạn sẽ không muốn làm điều đó bằng tay nếu bạn coi trọng sự tỉnh táo của mình. p+1
phỏng đoán

Câu trả lời:


17

Có bạn vào nó. Bạn phải tiếp tục chơi xung quanh với 2333 cho đến khi bạn tìm đúng cái giúp giảm thiểu lỗi. Nhưng có một cách toán học để tìm ra cái "đúng". Hãy gọi số đó . , tổng các lỗi bình phương (SSE) là một hàm của vì với mỗi lựa chọn có thể tính toán số lượng mỗi ước tính bị tắt, bình phương và cộng chúng lại với nhau.E β ββEββ

Những gì giảm thiểu tổng số lỗi bình phương? Đây chỉ là một vấn đề tính toán. Lấy đạo hàm của theo và đặt nó bằng 0. Điều này đưa ra một phương trình cho . Kiểm tra đạo hàm thứ hai là dương để biết rằng đó là một cực tiểu. Do đó, bạn nhận được một phương trình cho giúp giảm thiểu lỗi.E β β ββEβββ

Nếu bạn lấy nó theo cách này, bạn sẽ nhận được dưới dạng tổng. Nếu bạn viết ra dạng đại số tuyến tính của ước tính, bạn sẽ thấy rằng đây là điều tương tự.β

Chỉnh sửa: Đây là một liên kết đến một số ghi chú với loại dẫn xuất này. Toán học có một chút lộn xộn, nhưng cốt lõi của nó chỉ là một vấn đề tính toán.


CHÚA ƠI. Cuối cùng! Một cách phi tuyến tính đại số để tính toán này. Các khái niệm bạn đang nói trong câu trả lời của bạn nằm trong đầu tôi, nhưng tôi chắc chắn sẽ xem xét các dẫn xuất trong nỗ lực để hiểu rõ hơn về dòng suy nghĩ này.
Parham Doustdar

1
Tôi liên kết với một số ghi chú giải thích nó ở cấp tiểu học. Tôi nghĩ rằng bất kỳ câu trả lời nào cũng cần tính toán bởi vì cách bạn giải quyết các vấn đề như "tìm mức tối thiểu của " là lấy đạo hàm và đặt giá trị bằng 0. Theo trực giác, điều này chỉ nói rằng tối thiểu (hoặc tối đa) của một ngọn đồi sẽ là nơi ngọn đồi bằng phẳng (vì độ dốc cao nhất dọc theo sườn đồi!). Đạo hàm = độ dốc. Vì vậy, trong các khu vực thay đổi bắt đầu gây ra một chút thay đổi trong bạn đang ở gần mức tối thiểu (hoặc tối đa. Bạn cần đảm bảo rằng đó không phải là mức tối đa!). β EE(β)βE
Chris Rackauckas

4
Ý tưởng này sau đó đưa bạn đến với máy học. Một trong những phương pháp cơ bản trong học máy là độ dốc tốt. Điều đó về cơ bản dịch là "theo độ dốc". nếu bạn tiếp tục để quả bóng lăn theo hướng ngọn đồi dốc nhất, bạn sẽ đạt mức tối thiểu. Vì vậy, phương pháp độ dốc tốt là thực hiện chính xác điều này: tìm ra cách thay đổi khiến lỗi giảm nhiều nhất và đi theo cách đó! β
Chris Rackauckas

2
Đối với hồi quy bình phương tối thiểu, bạn không cần thực hiện độ dốc tốt vì bạn có thể giải phương trình là câu trả lời, nhưng điều này mang lại một cách hiểu tốt về học máy là gì. Nó tập trung vào việc chọn cách đo lỗi, và sau đó tìm cách nào đó để giảm thiểu phương trình lỗi. Kết quả là phương trình ước lượng "tốt nhất" được học thông qua dữ liệu. Tôi hy vọng điều đó sẽ giúp bạn trên con đường học máy!
Chris Rackauckas

10

Sự hiểu biết của bạn rất gần, nhưng cần một số mở rộng: Hồi quy tuyến tính đơn giản đang cố gắng tìm ra công thức mà một khi bạn đưa ra X, nó sẽ cung cấp cho bạn ước tính gần nhất Y dựa trên mối quan hệ tuyến tính giữa X Y .

Ví dụ của bạn về giá nhà, khi được mở rộng một chút, cho thấy lý do tại sao bạn kết thúc với các mảnh đất phân tán và những thứ tương tự. Đầu tiên, chỉ cần chia giá cho khu vực không hoạt động trong các trường hợp khác, như giá đất ở thành phố quê hương của tôi, nơi quy định về xây dựng có nghĩa là chỉ cần sở hữu một thửa đất mà bạn có thể xây nhà có giá trị cao. Vì vậy, giá đất không chỉ đơn giản là tỷ lệ thuận với các khu vực. Mỗi lần tăng diện tích thửa đất có thể tăng cùng một giá trị thửa đất, nhưng nếu bạn đi xuống một mảnh đất (huyền thoại) là 0 thì vẫn có một mức giá rõ ràng liên quan đại diện cho giá trị của việc sở hữu một thửa đất đã được phê duyệt để xây dựng.

Đó vẫn là một mối quan hệ tuyến tính giữa diện tích và giá trị, nhưng có một sự can thiệp trong mối quan hệ, đại diện cho giá trị của việc chỉ sở hữu một bưu kiện. Điều làm cho điều này vẫn là một mối quan hệ tuyến tính là sự thay đổi giá trị trên một đơn vị thay đổi về diện tích, độ dốc hoặc hệ số hồi quy, luôn giống nhau bất kể cường độ của diện tích hoặc giá trị.

Vì vậy, giả sử rằng bạn đã biết bằng cách nào đó cả phần chặn và độ dốc liên quan đến các khu vực bưu kiện với giá trị và bạn so sánh các giá trị từ mối quan hệ tuyến tính đó với các giá trị thực tế được biểu thị bằng doanh số gần đây. Bạn sẽ thấy rằng các giá trị dự đoán và thực tế hiếm khi trùng khớp. Những khác biệt này thể hiện các lỗi trong mô hình của bạn và dẫn đến sự phân tán các giá trị xung quanh mối quan hệ được dự đoán. Bạn nhận được một biểu đồ phân tán các điểm được nhóm xung quanh mối quan hệ đường thẳng dự đoán của bạn giữa khu vực và giá trị.

Trong hầu hết các ví dụ thực tế, bạn chưa biết về phần chặn và độ dốc, vì vậy bạn phải cố gắng ước tính chúng từ dữ liệu. Đó là những gì hồi quy tuyến tính cố gắng làm.

Bạn có thể tốt hơn khi nghĩ về hồi quy tuyến tính và mô hình hóa liên quan từ góc độ ước tính khả năng tối đa , đó là tìm kiếm các giá trị tham số cụ thể trong mô hình của bạn để làm cho dữ liệu có thể xảy ra nhất. Nó tương tự như cách tiếp cận "vũ phu" mà bạn đề xuất trong câu hỏi của mình, nhưng với một thước đo hơi khác về những gì bạn đang cố gắng tối ưu hóa. Với các phương pháp tính toán hiện đại và thiết kế thông minh của mẫu tìm kiếm, nó có thể được thực hiện khá nhanh chóng.

Ước tính khả năng tối đa có thể được khái niệm hóa theo những cách không yêu cầu cốt truyện đồ họa và tương tự như cách bạn dường như đã nghĩ. Trong trường hợp hồi quy tuyến tính, cả hồi quy bình phương nhỏ nhất và khả năng tối đa đều cung cấp các ước tính tương tự về đánh chặn và độ dốc.

Suy nghĩ về khả năng tối đa có lợi thế bổ sung là nó mở rộng tốt hơn cho các tình huống khác khi không có quan hệ tuyến tính nghiêm ngặt. Một ví dụ điển hình là hồi quy logistic trong đó bạn cố gắng ước tính xác suất của một sự kiện xảy ra dựa trên các biến dự đoán. Điều đó có thể được thực hiện bằng khả năng tối đa, nhưng không giống như hồi quy tuyến tính tiêu chuẩn, không có phương trình đơn giản nào tạo ra giao thoa và độ dốc trong hồi quy logistic.


1
x2

@fcop bạn đúng rồi. Tôi đã bắt đầu từ ví dụ được cung cấp bởi OP, trong đó đặt ra một tỷ lệ giữa các giá trị và các khu vực. Tôi có xu hướng nghĩ về các giá trị được chuyển đổi của các biến dự đoán ban đầu là các biến độc lập thực tế trong hồi quy khi các phép biến đổi như lũy thừa hoặc nhật ký được sử dụng. Tôi nghĩ rằng kết thúc trong thực tế hầu như là một sự khác biệt về thuật ngữ, mặc dù có sự khác biệt trong các mô hình lỗi ngụ ý.
EdM

Tôi thấy quan điểm của bạn, dù sao đi nữa, đó là một câu trả lời tốt (+1)

6

Trước hết, lời khen của tôi. Mọi người đều khó khăn trong việc đấu tranh với các số liệu thống kê (Tôi là một bác sĩ, vì vậy bạn có thể đoán được nó khó như thế nào đối với tôi) ...

Tôi có thể đề xuất không phải là một lời giải thích trực quan cho hồi quy tuyến tính , nhưng một cái gì đó rất gần: một giải thích xúc giác cho hồi quy tuyến tính .

Hãy tưởng tượng bạn đang bước vào một căn phòng từ một cánh cửa. Căn phòng ít nhiều có hình vuông và cánh cửa nằm ở góc dưới bên trái. Bạn muốn đến phòng bên cạnh, cửa mà bạn mong đợi sẽ ở góc trên bên phải, ít nhiều. Tưởng tượng rằng bạn không thể biết chính xác cửa tiếp theo ở đâu (bao giờ!), Nhưng có một số người nằm rải rác trong phòng, và họ có thể cho bạn biết bạn sẽ đi đâu. Họ cũng không thể nhìn thấy, nhưng họ có thể cho bạn biết những gì ở gần họ. Con đường cuối cùng bạn sẽ đi đến cửa tiếp theo, được hướng dẫn bởi những người này, tương tự như đường hồi quy, giúp giảm thiểu khoảng cách giữa những người này và đưa bạn về phía cửa, gần (nếu không bật) đường dẫn chính xác.


1
(+1) Tôi rất thích ví dụ của bạn và thật buồn cười là bởi sự trùng hợp thuần túy, chúng tôi đã sử dụng minh họa rất giống nhau cho vấn đề này!
Tim

"Căn phòng có hình vuông nhiều hay ít" - hình vuông cho người mù là gì? Với câu này, bạn đã đưa chúng tôi trở lại nơi chúng tôi đã bắt đầu.
Aksakal

4
Tôi không đồng ý. Để chúng đi bộ 10 feet theo một hướng, sau đó để chúng quay 90 ° (chẳng hạn như armspan) và để chúng đi lại 10 feet. Đó là một hình vuông nếu bạn không thể nhìn thấy đúng.
Joe_74

@ GiuseppeBiondi-Zoccai, nếu tôi đang xây dựng một mô hình áp suất trong buồng về nhiệt độ, tại sao tôi lại cần đưa ra các hình vuông và đường thẳng và các khái niệm không gian khác? Thật tiện lợi nếu bạn không bị mù, nhưng đối với một người mù, những sự tương tự về không gian này không mang lại điều gì cho vấn đề trong tay, họ chỉ làm phức tạp việc giải trình
Aksakal

2
Một lần nữa, tôi không đồng ý một cách lịch sự ... giả định của tôi luôn là người mù đã phát triển các kỹ năng không gian xúc giác đặc biệt. Dù sao, bất kỳ ví dụ nào hoạt động tốt, và càng nhiều càng tốt.
Joe_74

3

YX

Y=β0+β1X+ε

β0yx

Xbiến, tức là diện tích của ngôi nhà, thành ba nhóm: nhà "nhỏ", "vừa" và "lớn" (họ mô tả cách tối ưu đưa ra quyết định như vậy, nhưng điều này có tầm quan trọng thấp hơn). Tiếp theo, tính kích thước trung bình của nhà "nhỏ" và kích thước trung bình của nhà "lớn". Tính giá trung bình của nhà "nhỏ" và của "nhà lớn". Bây giờ, hãy giảm dữ liệu của bạn xuống hai điểm - trung tâm của các đám mây dữ liệu cho các ngôi nhà nhỏ và lớn nằm rải rác trong không gian và xóa tất cả các điểm dữ liệu về các ngôi nhà "trung bình". Bạn còn lại hai điểm trong không gian hai chiều. Đường hồi quy là đường kết nối các điểm - bạn có thể nghĩ về nó như một hướng từ điểm này sang điểm khác. β1

Điều tương tự cũng xảy ra khi chúng ta có nhiều điểm hơn, nằm rải rác trong không gian: đường hồi quy tìm đường đi bằng cách thu nhỏ khoảng cách vuông đến mọi điểm. Vì vậy, dòng đang đi chính xác qua trung tâm của đám mây điểm nằm rải rác trong không gian. Thay vì kết nối hai điểm, bạn có thể nghĩ về nó như kết nối không giới hạn số lượng điểm trung tâm như vậy.


Gelman, A., & Park, DK (2012). Tách một người dự đoán ở quý trên hoặc thứ ba và quý dưới hoặc thứ ba. Nhà thống kê người Mỹ, 62 (4), 1-8.


3

Câu trả lời ngắn gọn là có. Dòng nào đi tốt nhất qua giữa tất cả các điểm bao gồm toàn bộ hoặc chỉ bề mặt của một chiếc máy bay hoặc javelin? Vẽ nó; trong đầu của bạn hoặc trên một hình ảnh. Bạn đang tìm kiếm và tại dòng đơn độc mà từ đó mọi điểm (quan tâm, cho dù bạn có vẽ chúng hay không) sẽ đóng góp vào tổng độ lệch nhỏ nhất (trong số các điểm) từ dòng đó. Nếu bạn làm điều đó bằng mắt, hoàn toàn theo lẽ thường, bạn sẽ ước tính (khá tốt) một kết quả tính toán. Cho rằng có những công thức làm phiền mắt và có thể không có ý nghĩa chung. Trong các vấn đề chính thức tương tự về kỹ thuật và khoa học, các nhà phân tán vẫn mời thẩm định sơ bộ bằng mắt, nhưng trong các đấu trường đó, người ta phải đưa ra một xác suất "kiểm tra" rằng một dòng là dòng. Đi xuống dốc từ chỗ kia. Tuy nhiên, rõ ràng là bạn đang cố gắng dạy cho một cỗ máy tăng kích thước (thực tế) các phép đo và giới hạn của (a) một con vẹt lớn và (b) vật nuôi nằm rải rác bên trong nó. Nếu bạn đưa cho máy của mình số tiền cho một bức tranh (đồ họa, đại số) của bất động sản và người cư ngụ, thì nó sẽ có thể tìm ra (đường giữa được chia gọn gàng thành hai, tính toán giải mã thành một dòng) bạn muốn nó làm gì. Bất kỳ sách giáo khoa thống kê phong nha nào (yêu cầu giáo viên hoặc giáo sư đặt tên nhiều hơn một) nên đánh vần cả điểm hồi quy tuyến tính ở vị trí đầu tiên và cách thực hiện trong các trường hợp đơn giản nhất (từ các trường hợp không đơn giản). Một số bánh quy sau, bạn sẽ hạ nó xuống. Nếu bạn đưa cho máy của mình số tiền cho một bức tranh (đồ họa, đại số) của bất động sản và người cư ngụ, thì nó sẽ có thể tìm ra (đường giữa được chia gọn gàng thành hai, tính toán giải mã thành một dòng) bạn muốn nó làm gì. Bất kỳ sách giáo khoa thống kê phong nha nào (yêu cầu giáo viên hoặc giáo sư đặt tên nhiều hơn một) nên đánh vần cả điểm hồi quy tuyến tính ở vị trí đầu tiên và cách thực hiện trong các trường hợp đơn giản nhất (từ các trường hợp không đơn giản). Một số bánh quy sau, bạn sẽ hạ nó xuống. Nếu bạn đưa cho máy của mình số tiền cho một bức tranh (đồ họa, đại số) của bất động sản và người cư ngụ, thì nó sẽ có thể tìm ra (đường giữa được chia gọn gàng thành hai, tính toán giải mã thành một dòng) bạn muốn nó làm gì. Bất kỳ sách giáo khoa thống kê phong nha nào (yêu cầu giáo viên hoặc giáo sư đặt tên nhiều hơn một) nên đánh vần cả điểm hồi quy tuyến tính ở vị trí đầu tiên và cách thực hiện trong các trường hợp đơn giản nhất (từ các trường hợp không đơn giản). Một số bánh quy sau, bạn sẽ hạ nó xuống. Bất kỳ sách giáo khoa thống kê phong nha nào (yêu cầu giáo viên hoặc giáo sư đặt tên nhiều hơn một) nên đánh vần cả điểm hồi quy tuyến tính ở vị trí đầu tiên và cách thực hiện trong các trường hợp đơn giản nhất (từ các trường hợp không đơn giản). Một số bánh quy sau, bạn sẽ hạ nó xuống. Bất kỳ sách giáo khoa thống kê phong nha nào (yêu cầu giáo viên hoặc giáo sư đặt tên nhiều hơn một) nên đánh vần cả điểm hồi quy tuyến tính ở vị trí đầu tiên và cách thực hiện trong các trường hợp đơn giản nhất (từ các trường hợp không đơn giản). Một số bánh quy sau, bạn sẽ hạ nó xuống.


Trong re: Nhận xét của Silverfish cho supra bài đăng của tôi (dường như không có cách nào đơn giản ngoài cách này để thêm nhận xét cho nhận xét đó), vâng, OP bị mù, đang học máy và yêu cầu thực tiễn không có cốt truyện hoặc đồ thị, nhưng tôi cho rằng anh ta có thể phân biệt "trực quan hóa" với "tầm nhìn", hình dung và có những hình ảnh chân thực trong đầu, và có một ý tưởng cơ bản về mọi vật chất trong các vật thể trên thế giới xung quanh anh ta (nhà ở, trong số những người khác), vì vậy anh ta vẫn có thể " vẽ "cả về mặt toán học cũng như mặt khác trong đầu, và có lẽ có thể đặt một ngữ nghĩa tốt của 2D và 3D lên giấy. Một loạt các sách và các văn bản khác hiện nay có sẵn bằng chữ nổi vật lý cũng như bằng giọng nói điện tử trên máy tính của chính mình (như cho các diễn đàn, từ điển, v.v.), và nhiều trường dành cho người mù có chương trình giảng dạy khá đầy đủ. Thay vì máy bay hoặc javelin, ghế sofa hoặc gậy sẽ không nhất thiết phải phù hợp hơn, và các văn bản thống kê có lẽ có sẵn. Anh ta ít quan tâm đến việc máy móc có thể học cách vẽ đồ thị và biểu đồ hoặc tính toán hồi quy, sau đó là cách máy móc có thể học cách làm một cái gì đó tương đương (và cơ bản hơn) để nắm bắt hồi quy (cho dù máy có thể hiển thị, phản ứng với nó, làm theo nó, tránh nó, hoặc bất cứ điều gì). Lực đẩy thiết yếu (đối với người mù cũng như học sinh bị cận thị) vẫn là làm thế nào để hình dung những gì không trực quan (như khái niệm về tuyến tính thay vì thể hiện của đường vẽ, từ trước Euclid và Pythagoras), và cách hình dung mục đích cơ bản của một loại tuyến tính đặc biệt (hồi quy, có điểm cơ bản phù hợp nhất với độ lệch nhỏ nhất, từ sớm trong toán học và thống kê). Kết quả hồi quy Fortran của một lineprinter hiếm khi "trực quan" cho đến khi bị đồng hóa về mặt tinh thần, nhưng ngay cả điểm hồi quy cơ bản là tưởng tượng (một dòng không có cho đến khi nó được tạo ra cho mục đích).


2
Có lẽ tôi đang hiểu nhầm câu trả lời này, nhưng "vẽ nó, trong đầu hoặc trên một bức tranh" dường như phần nào bỏ lỡ điểm của câu hỏi: câu hỏi ban đầu được đặt ra bởi một người hoàn toàn mù quáng, và do đó tìm kiếm một người không - cách trực quan của phương pháp hồi quy.
Cá bạc

@Silverfish Phản hồi (quá dài cho một nhận xét) đã được chỉnh sửa thành câu trả lời ở trên

Cảm ơn. Tôi nghĩ rằng downvote hơi khắc nghiệt (không phải tôi) nhưng một số lựa chọn ngôn ngữ trong câu trả lời này là không may (ví dụ: có một số tài liệu tham khảo để làm mọi thứ "bằng mắt"). Tuy nhiên, tôi có thể hiểu lý do tại sao bạn muốn phân biệt giữa nhận thức thị giác và những gì có thể được hình dung thông qua "mắt của tâm trí".
Cá bạc

2
Tôi có thể hình dung mọi thứ trong tâm trí của tôi. Chỉ là tôi không sử dụng cùng một cách hình dung. Đó không phải là vấn đề không sử dụng drawhay visualize. Đó chỉ là vấn đề sử dụng khái niệm để rút ra hình dung, chứ không phải là cách khác. Tôi đã thấy rằng điều này xảy ra ở rất nhiều nơi trong toán học. Để giải thích một chủ đề khó, thông thường hình dạng và hình ảnh được sử dụng, thay vì liên quan đến tính toán với các khái niệm mà người học sẽ biết từ cuộc sống thực.
Parham Doustdar

3

Lý do tại sao các lô được sử dụng phổ biến để đưa ra hồi quy đơn giản - một phản ứng được dự đoán bởi một người dự đoán duy nhất - là vì chúng giúp hiểu biết.

Tuy nhiên, tôi tin rằng tôi có thể cung cấp một cái gì đó của hương vị có thể giúp hiểu được những gì đang xảy ra. Trong phần này, tôi chủ yếu tập trung vào việc cố gắng truyền đạt một số hiểu biết mà họ đưa ra, điều này có thể giúp với một số khía cạnh khác mà bạn thường gặp khi đọc về hồi quy. Vì vậy, câu trả lời này sẽ chủ yếu giải quyết một khía cạnh cụ thể của bài viết của bạn.

Hãy tưởng tượng bạn đang ngồi trước một chiếc bàn hình chữ nhật lớn như bàn văn phòng đơn giản, một bàn dài đầy đủ (có lẽ là 1,8 mét), có lẽ rộng bằng một nửa.

Bạn đang ngồi trước bàn ở vị trí thông thường, ở giữa một bên dài. Trên bàn này, một số lượng lớn móng tay (với đầu khá nhẵn) đã được đóng vào bề mặt trên cùng để mỗi cái nhô lên một chút (đủ để cảm nhận vị trí của chúng và đủ để buộc một chuỗi vào chúng hoặc gắn một dải cao su ).

Những chiếc đinh này ở các khoảng cách khác nhau từ cạnh bàn của bạn, theo cách mà về phía một đầu (nói là đầu bên trái) chúng thường ở gần cạnh bàn của bạn và sau đó khi bạn di chuyển về phía đầu kia của đầu đinh có xu hướng xa hơn từ cạnh của bạn.

Hơn nữa hãy tưởng tượng rằng sẽ rất hữu ích khi có ý thức về việc trung bình móng tay cách mép của bạn ở bất kỳ vị trí nào dọc theo cạnh của bạn.

Chọn một nơi nào đó dọc theo cạnh bàn của bạn và đặt bàn tay của bạn ở đó, sau đó đưa thẳng về phía trước bàn, nhẹ nhàng kéo tay bạn về phía bạn, sau đó lại đi, di chuyển bàn tay qua lại trên đầu móng tay. Bạn gặp phải vài chục vết sưng từ những chiếc đinh này - những cái nằm trong phạm vi hẹp của bàn tay bạn (khi nó di chuyển trực tiếp ra khỏi cạnh của bạn, ở khoảng cách không đổi từ đầu bên trái của bàn làm việc), một phần hoặc dải, rộng khoảng mười cm .

Ý tưởng là tìm ra một khoảng cách trung bình đến một cái đinh từ cạnh bàn của bạn trong phần nhỏ đó. Theo trực giác, đó chỉ là phần giữa của những cú va chạm mà chúng ta đạt được nhưng nếu chúng ta đo từng khoảng cách từ móng tay trong phần bàn rộng bằng bàn tay đó, chúng ta có thể tính toán những mức trung bình đó một cách dễ dàng.

Ví dụ: chúng ta có thể sử dụng một hình vuông chữ T có đầu trượt dọc theo cạnh bàn và trục của nó chạy về phía bên kia của bàn, nhưng ngay phía trên bàn để chúng ta không chạm vào móng tay khi nó trượt sang trái hoặc bên phải - khi chúng ta vượt qua một chiếc đinh nhất định, chúng ta có thể có được khoảng cách của nó dọc theo trục của hình vuông T.

Vì vậy, trong quá trình phát triển của các địa điểm dọc theo rìa của chúng tôi, chúng tôi lặp lại bài tập tìm kiếm tất cả các đinh trong một dải rộng bằng tay chạy về phía trước và cách xa chúng tôi và tìm khoảng cách trung bình của chúng. Có lẽ chúng tôi chia bàn làm việc thành các dải rộng bằng tay dọc theo cạnh của chúng tôi (vì vậy mọi móng tay đều bắt gặp trong đúng một dải).

Bây giờ hãy tưởng tượng có 21 dải như vậy, đầu tiên ở cạnh trái và cuối cùng ở cạnh phải. Các phương tiện có thể đi xa hơn từ cạnh bàn của chúng tôi khi chúng tôi tiến qua các dải.

Những phương tiện này tạo thành một công cụ ước lượng hồi quy không đối xứng đơn giản về kỳ vọng của y (khoảng cách của chúng ta) cho x (khoảng cách dọc theo cạnh của chúng ta từ đầu bên trái), nghĩa là E (y | x). Cụ thể, đây là một công cụ ước lượng hồi quy không theo tỷ lệ, còn được gọi là hồi quy

Nếu các dải đó có nghĩa là tăng đều đặn - nghĩa là, giá trị trung bình thường tăng theo cùng một lượng trên mỗi dải khi chúng ta di chuyển trên các dải - thì chúng ta có thể ước tính tốt hơn hàm hồi quy của mình bằng cách giả sử rằng giá trị dự kiến ​​của y là tuyến tính hàm của x - tức là giá trị mong đợi của y đã cho x là hằng số cộng với bội số của x. Ở đây hằng số biểu thị nơi móng có xu hướng khi chúng ta ở x bằng 0 (thường chúng ta có thể đặt nó ở cạnh cực bên trái nhưng nó không phải như vậy) và bội số cụ thể của x là trung bình nhanh như thế nào thay đổi khi chúng ta di chuyển một centimet (nói) sang phải.

Nhưng làm thế nào để tìm một hàm tuyến tính như vậy?

Hãy tưởng tượng rằng chúng ta vòng một dải cao su trên mỗi đầu móng tay và gắn mỗi dải vào một thanh mỏng dài đặt ngay phía trên bàn, trên đầu móng tay, để nó nằm ở đâu đó gần "giữa" của mỗi dải chúng ta có cho

Chúng tôi gắn các dải theo cách chúng chỉ kéo dài theo hướng về phía trước và cách xa chúng tôi (không phải trái hay phải) - trái với chính chúng, chúng sẽ kéo theo để làm cho hướng của chúng kéo dài theo một góc phải bằng gậy, nhưng ở đây chúng tôi ngăn chặn điều đó, để hướng kéo dài của chúng chỉ còn lại theo hướng về phía hoặc ra khỏi cạnh bàn của chúng tôi. Bây giờ chúng ta để thanh ổn định khi các dải kéo nó về phía mỗi móng, với móng ở xa hơn (với các dải cao su kéo dài hơn) kéo tương ứng cứng hơn đinh gần với gậy.

Sau đó, kết quả tổng hợp của tất cả các dải kéo trên thanh sẽ là (lý tưởng nhất là ít nhất) để kéo thanh để giảm thiểu tổng chiều dài bình phương của các dải cao su kéo dài; theo hướng đó trực tiếp trên bàn, khoảng cách từ cạnh bàn của chúng ta đến thanh tại bất kỳ vị trí x đã cho nào sẽ là ước tính của chúng ta về giá trị dự kiến ​​của y cho x.

Đây thực chất là một ước tính hồi quy tuyến tính.

Bây giờ, hãy tưởng tượng rằng thay vì móng tay, chúng ta có nhiều trái cây (như táo nhỏ) có thể treo trên cây lớn và chúng ta muốn tìm khoảng cách trung bình của trái cây trên mặt đất vì nó thay đổi theo vị trí trên mặt đất. Hãy tưởng tượng rằng trong trường hợp này, độ cao trên mặt đất sẽ lớn hơn khi chúng ta tiến lên và lớn hơn một chút khi chúng ta di chuyển sang phải, một lần nữa theo cách thông thường, do đó, mỗi bước tiến thường thay đổi chiều cao trung bình khoảng một lượng tương tự, và mỗi bước tới bên phải cũng sẽ thay đổi giá trị trung bình theo một lượng gần như không đổi (nhưng lượng thay đổi trung bình theo bước này khác với lượng thay đổi từng bước).

Nếu chúng ta thu nhỏ tổng khoảng cách vuông góc từ quả thành một tấm phẳng mỏng (có lẽ là một tấm nhựa mỏng rất cứng) để tìm ra chiều cao trung bình thay đổi khi chúng ta tiến lên hoặc bước sang phải, thì đó sẽ là hồi quy tuyến tính với hai yếu tố dự báo - hồi quy bội.

Đây là hai trường hợp duy nhất mà cốt truyện có thể giúp hiểu (chúng có thể hiển thị nhanh chóng những gì tôi vừa mô tả, nhưng hy vọng bạn biết có cơ sở để khái niệm hóa các ý tưởng tương tự). Ngoài hai trường hợp đơn giản nhất, chúng ta chỉ còn lại toán học.

Bây giờ lấy ví dụ về giá nhà của bạn; bạn có thể đại diện cho diện tích của mọi ngôi nhà theo một khoảng cách dọc theo cạnh bàn của bạn - đại diện cho kích thước ngôi nhà lớn nhất là một vị trí gần cạnh phải, mọi kích thước ngôi nhà khác sẽ ở một vị trí xa hơn về phía bên trái nơi một số cm nhất định sẽ đại diện cho một số số mét vuông. Bây giờ khoảng cách xa đại diện cho giá bán. Đại diện cho ngôi nhà đắt nhất vì một số khoảng cách cụ thể gần cạnh xa nhất của bàn làm việc (như mọi khi, cạnh xa nhất từ ​​ghế của bạn), và mỗi centimet chuyển đi sẽ đại diện cho một số Rials.

Đối với hiện tại hãy tưởng tượng rằng chúng tôi đã chọn đại diện sao cho cạnh trái của bàn tương ứng với diện tích nhà bằng 0 và cạnh gần với giá nhà là 0. Sau đó chúng tôi đặt một cái đinh cho mỗi ngôi nhà.

Chúng tôi có lẽ sẽ không có móng tay nào ở gần đầu bên trái của chúng tôi (chúng có thể chủ yếu ở bên phải và cách xa chúng tôi) bởi vì đây không nhất thiết là một lựa chọn tốt về quy mô nhưng sự lựa chọn của bạn về mô hình không chặn làm cho điều này một cách tốt hơn để thảo luận về nó.

Bây giờ trong mô hình của bạn, bạn buộc thanh đi qua một chuỗi chuỗi ở góc trái của cạnh gần của bàn - do đó buộc mô hình được trang bị có giá bằng 0 cho khu vực 0, có vẻ tự nhiên - nhưng hãy tưởng tượng nếu có một số thành phần khá ổn định của giá mà ảnh hưởng đến mỗi lần bán. Sau đó, sẽ có ý nghĩa khi đánh chặn khác 0.

Trong mọi trường hợp, với việc bổ sung vòng lặp đó, bài tập dây cao su tương tự như trước đây sẽ tìm thấy ước tính bình phương nhỏ nhất của dòng.


Wow, cảm ơn bạn cho câu trả lời không gian dài này. Nó giải thích rất nhiều. Cảm ơn.
Parham Doustdar

2

Bạn đã gặp loại máy nướng bánh mì bạn thường nhận được trong khách sạn. Bạn đặt bánh mì lên một băng chuyền ở một đầu và nó đi ra như bánh mì nướng ở đầu kia. Thật không may, trong lò nướng bánh tại khách sạn giá rẻ này, tất cả các lò sưởi đã được chuyển đến độ cao ngẫu nhiên và khoảng cách từ lối vào lò nướng bánh. Bạn không thể di chuyển máy sưởi hoặc uốn cong đường đi của vành đai (thẳng, bằng cách này (đây là nơi bit tuyến tính đi vào), nhưng bạn có thể thay đổi HEIGHT và TILT của vành đai.

Với các vị trí của tất cả các lò sưởi, hồi quy tuyến tính sẽ cho bạn biết chiều cao và góc chính xác để đặt đai để có được nhiệt lượng tổng thể cao nhất. Điều này là do hồi quy tuyến tính sẽ giảm thiểu khoảng cách trung bình giữa bánh mì nướng và lò sưởi.

Công việc kỳ nghỉ đầu tiên của tôi là làm hồi quy tuyến tính bằng tay. Anh chàng nói rằng bạn không muốn làm điều đó là QUYỀN !!!


2

Giải thích yêu thích của tôi về hồi quy tuyến tính là hình học, nhưng không trực quan. Nó coi tập dữ liệu là một điểm duy nhất trong không gian nhiều chiều, thay vì phá vỡ nó thành một đám mây điểm trong không gian hai chiều.

ap(a,p)a1,,a1000p1,,p1000

D=(a1,,a1000,p1,,p1000)
D

D

M(ρ,β)=(a1,,a1000,ρa1+β,,ρa1000+β).
ρβa1,,a1000ρβ

DM(ρ,β)D

DM(ρ,β)

[p1(ρa1+β)]2++[p1000(ρa1000+β)]2.
Nói cách khác, khoảng cách giữa điểm dữ liệu và điểm mô hình là tổng sai số bình phương của mô hình! Giảm thiểu tổng sai số bình phương của một mô hình cũng giống như giảm thiểu khoảng cách giữa mô hình và dữ liệu trong không gian dữ liệu.

ρβDM(ρ,β)


1

Câu trả lời của @Chris Rackauckas và @ EDM được đặt ra. Có nhiều cách để tiếp cận hồi quy tuyến tính đơn giản mà không yêu cầu giải thích sơ đồ hoặc trực quan về ước lượng bình phương nhỏ nhất và chúng đưa ra những giải thích rất chắc chắn về những gì thực sự xảy ra khi bạn chạy OLS.

Tôi có thể thêm rằng sử dụng biểu đồ phân tán làm công cụ hướng dẫn để tìm hiểu bất kỳ loại quy trình mô hình mới nào, cho dù đó là mô hình tham số trường học cũ, công cụ học máy tiên tiến hoặc thuật toán bayes, vẽ biểu đồ có thể giúp giảm thời gian tìm hiểu cụ thể thuật toán nào.

Vẽ đồ thị cũng rất quan trọng để phân tích dữ liệu khám phá khi bạn mới bắt đầu làm việc với một tập dữ liệu mới. Tôi đã có những tình huống thu thập nhiều dữ liệu, đưa ra lý thuyết, lên kế hoạch cẩn thận cho mô hình của mình và sau đó chạy nó, chỉ để kết thúc với kết quả mà về cơ bản không có sức mạnh dự đoán. Vẽ các mối quan hệ hai biến có thể đưa ra một số phỏng đoán: trong ví dụ của bạn, có thể giá nhà có liên quan tuyến tính với khu vực, nhưng có thể mối quan hệ không tuyến tính. Scatterplots giúp bạn quyết định xem bạn có cần các thuật ngữ bậc cao hơn trong hồi quy của mình không, hoặc nếu bạn muốn sử dụng một phương pháp khác với hồi quy tuyến tính, hoặc nếu bạn muốn sử dụng một số phương pháp không tham số.


1

Google cho Bộ tứ Anscombe.

Nó hiển thị 4 bộ dữ liệu khi kiểm tra số lượng không cho thấy nhiều sự khác biệt.

Tuy nhiên, về việc tạo ra một âm mưu phân tán thị giác, sự khác biệt trở nên rõ rệt.

Nó cung cấp một cái nhìn khá rõ ràng tại sao bạn phải luôn luôn vẽ đồ thị, hồi quy hoặc không hồi quy :-)


0

Chúng tôi muốn có một giải pháp giảm thiểu sự khác biệt giữa các giá trị dự đoán và thực tế.

y=bx+a

yy

Nếu chúng ta giả định rằng phân phối lỗi được phân phối bình thường thì hóa ra có một giải pháp phân tích cho vấn đề giảm thiểu này. Tổng bình phương của sự khác biệt là giá trị tốt nhất để giảm thiểu cho phù hợp nhất. Nhưng tính quy phạm là không bắt buộc trong trường hợp chung.

Nó thực sự không có nhiều hơn thế.

y=bx+a

Ngày nay, nó còn hơn là một sự trợ giúp thấu hiểu nhưng không nhất thiết phải hiểu hồi quy tuyến tính thực sự.

EDIT: thay thế tính chuẩn tắc của giả định lỗi bằng một danh sách chính xác nhưng ít súc tích hơn. Bình thường được yêu cầu phải có giải pháp phân tích và có thể được sử dụng cho nhiều trường hợp thực tế và trong trường hợp đó, tổng bình phương là tối ưu không chỉ cho công cụ ước tính tuyến tính và tối đa hóa khả năng.

Nếu hơn nữa giả định về tính quy tắc của phân phối lỗi thì Sum of Squares là tối ưu giữa cả hai công cụ ước tính tuyến tính và phi tuyến tính và tối đa hóa khả năng.


1
Giả định phân phối bình thường là không bắt buộc đối với bất cứ điều gì bạn mô tả
Aksakal

Xin vui lòng kiểm tra số liệu giải thích này.stackexchange.com/a/1516/98469
Diego

Liên kết không có gì để làm với câu trả lời của bạn. Nếu bạn mở rộng thành các thuộc tính mẫu nhỏ hoặc MLE, thì bạn có thể đưa ra giả định phân phối bình thường, nhưng vì nó mô tả OLS trong câu trả lời của bạn không cần phân phối bình thường. Trong thực tế, để tối thiểu hóa tổng bình phương bạn không cần bất kỳ phân phối hay thống kê nào cả. Đó là đại số thuần túy.
Aksakal

Vấn đề là tại sao chúng ta giảm thiểu tổng bình phương chứ không phải một số liệu khác. Không phải về làm thế nào để giảm thiểu tổng bình phương.
Diego

Tối thiểu hóa tổng bình phương không liên quan gì đến phân phối bình thường. Đó chỉ là chức năng mất của bạn. Bất kỳ phân phối lỗi khác có thể được sử dụng với chức năng mất này. Bạn cần phân phối trong một số trường hợp nhất định, ví dụ: nếu bạn muốn suy luận về các giá trị tham số trong các mẫu nhỏ, v.v. Ngay cả trong trường hợp này bạn có thể sử dụng các phân phối khác, tôi không chắc tại sao bạn bị kẹt bình thường.
Aksakal
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.