Thống kê và dữ liệu lớn least-squares

1

Sự tương đương giữa bình phương nhỏ nhất và MLE trong mô hình Gaussian

Tôi chưa quen với Machine Learning và đang cố gắng tự học. Gần đây tôi đang đọc qua một số ghi chú bài giảng và có một câu hỏi cơ bản. Slide 13 nói rằng "Ước tính tối thiểu vuông giống như Ước tính khả năng tối đa theo mô …

26 regression bayesian least-squares

2

Mối tương quan giữa các công cụ ước tính OLS cho đánh chặn và độ dốc

Trong mô hình hồi quy đơn giản, y=β0+β1x+ε,y=β0+β1x+ε, y = \beta_0 + \beta_1 x + \varepsilon, các công cụ ước tính OLS và có mối tương quan với nhau.ββ^OLS0β^0OLS\hat{\beta}_0^{OLS}β^OLS1β^1OLS\hat{\beta}_1^{OLS} Công thức cho mối tương quan giữa hai công cụ ước tính là (nếu tôi đã dẫn xuất chính xác): Corr(β^OLS0,β^OLS1)=−∑ni=1xin−−√∑ni=1x2i−−−−−−−√.Corr⁡(β^0OLS,β^1OLS)=−∑i=1nxin∑i=1nxi2. …

25 regression least-squares estimators

4

ANOVA vs nhiều hồi quy tuyến tính? Tại sao ANOVA thường được sử dụng trong các nghiên cứu thực nghiệm?

ANOVA vs nhiều hồi quy tuyến tính? Tôi hiểu rằng cả hai phương pháp này dường như sử dụng cùng một mô hình thống kê. Tuy nhiên trong hoàn cảnh nào tôi nên sử dụng phương pháp nào? Những lợi thế và bất lợi của các phương pháp này khi …

24 anova multiple-regression least-squares

1

Khoảng dự báo hồi quy tuyến tính

Nếu xấp xỉ tuyến tính tốt nhất (sử dụng bình phương tối thiểu) của các điểm dữ liệu của tôi là dòng , làm thế nào tôi có thể tính được lỗi xấp xỉ? Nếu tôi tính độ lệch chuẩn của sự khác biệt giữa các quan sát và dự …

24 regression normal-distribution least-squares prediction-interval

1

Làm thế nào để tính khoảng dự đoán cho hồi quy bội OLS?

Ký hiệu đại số để tính khoảng dự đoán cho hồi quy bội là gì? Nghe có vẻ ngớ ngẩn, nhưng tôi gặp khó khăn khi tìm một ký hiệu đại số rõ ràng về điều này.

24 multiple-regression least-squares prediction-interval

6

Tại sao chúng ta thường chọn giảm thiểu tổng lỗi vuông (SSE) khi lắp mô hình?

Câu hỏi rất đơn giản: tại sao, khi chúng ta cố gắng khớp một mô hình với dữ liệu của mình, tuyến tính hay phi tuyến tính, chúng ta thường cố gắng giảm thiểu tổng bình phương sai số để có được ước lượng của chúng ta cho tham số …

23 econometrics least-squares

3

Những gì tất cả những người khác bằng nhau có nghĩa là trong hồi quy nhiều?

Khi chúng ta thực hiện nhiều hồi quy và nói rằng chúng ta đang xem xét sự thay đổi trung bình của biến để thay đổi một biến , giữ tất cả các biến khác không đổi, chúng ta đang giữ các biến khác ở giá trị nào? Ý nghĩa …

22 multiple-regression interpretation least-squares regression-coefficients controlling-for-a-variable

5

Khi nào hồi quy lượng tử tồi tệ hơn OLS?

Ngoài một số trường hợp duy nhất mà chúng ta hoàn toàn phải hiểu mối quan hệ trung bình có điều kiện, các tình huống mà một nhà nghiên cứu nên chọn OLS qua Hồi quy lượng tử là gì? Tôi không muốn câu trả lời là "nếu không có …

22 least-squares econometrics regression-strategies quantile-regression semiparametric

4

Tại sao giải pháp bình phương nhỏ nhất cho kết quả kém trong trường hợp này?

Có một hình ảnh trong trang 204, chương 4 của "nhận dạng mẫu và học máy" của Giám mục nơi tôi không hiểu tại sao giải pháp Least vuông cho kết quả kém ở đây: Đoạn trước nói về thực tế là các giải pháp bình phương nhỏ nhất thiếu …

21 classification least-squares

2

Bằng chứng là thống kê F tuân theo phân phối F

Trước câu hỏi này: Chứng minh rằng các hệ số trong mô hình OLS tuân theo phân phối t với (nk) bậc tự do Tôi rất muốn hiểu tại sao F=(TSS−RSS)/(p−1)RSS/(n−p),F=(TSS−RSS)/(p−1)RSS/(n−p), F = \frac{(\text{TSS}-\text{RSS})/(p-1)}{\text{RSS}/(n-p)}, Trong đó là số lượng tham số mô hình và số lượng quan sát và tổng …

20 regression hypothesis-testing least-squares f-distribution f-statistic

2

Có bất kỳ lợi thế của SVD so với PCA?

Tôi biết cách tính toán PCA và SVD một cách toán học và tôi biết rằng cả hai đều có thể được áp dụng cho hồi quy tuyến tính Least Squares. Ưu điểm chính của SVD về mặt toán học dường như là nó có thể được áp dụng cho …

20 pca least-squares svd

2

Làm thế nào có ý nghĩa để làm OLS sau khi lựa chọn biến LASSO?

Gần đây tôi đã thấy rằng trong tài liệu kinh tế lượng kinh tế học ứng dụng, khi xử lý các vấn đề lựa chọn tính năng, không có gì lạ khi thực hiện LASSO theo sau là hồi quy OLS bằng các biến được chọn. Tôi đã tự hỏi …

20 regression feature-selection econometrics least-squares lasso

2

Điều gì xảy ra khi tôi bao gồm một biến bình phương trong hồi quy của tôi?

Tôi bắt đầu với hồi quy OLS của mình: trong đó D là một biến giả, các ước tính trở nên khác 0 với giá trị p thấp. Sau đó, tôi thực hiện thử nghiệm Ramsey RESET và thấy rằng tôi có một số sai sót của phương trình, do …

20 regression multiple-regression interpretation least-squares polynomial

3

Có thể có nhiều giải pháp tối ưu cục bộ khi chúng ta giải quyết hồi quy tuyến tính không?

Tôi đọc tuyên bố này trong một kỳ thi đúng / sai cũ: Chúng ta có thể nhận được nhiều giải pháp tối ưu cục bộ nếu chúng ta giải quyết vấn đề hồi quy tuyến tính bằng cách giảm thiểu tổng các lỗi bình phương bằng cách sử dụng …

19 least-squares gradient-descent convex

6

Giải thích trực quan về

Nếu là thứ hạng đầy đủ, nghịch đảo của tồn tại và chúng tôi nhận được ước tính bình phương nhỏ nhất: vàXXXXTXXTXX^TXβ^=(XTX)−1XYβ^=(XTX)−1XY\hat\beta = (X^TX)^{-1}XYVar(β^)=σ2(XTX)−1Var⁡(β^)=σ2(XTX)−1\operatorname{Var}(\hat\beta) = \sigma^2(X^TX)^{-1} Làm thế nào chúng ta có thể giải thích bằng trực giác (XTX)−1(XTX)−1(X^TX)^{-1} trong công thức phương sai? Kỹ thuật phái sinh là …

18 regression variance least-squares

Câu hỏi được gắn thẻ «least-squares»