Thống kê và dữ liệu lớn least-squares

2

Khi nào nên sử dụng phương pháp chính quy cho hồi quy?

Trong trường hợp nào người ta nên xem xét sử dụng các phương pháp chính quy (hồi quy, lasso hoặc hồi quy góc nhỏ nhất) thay vì OLS? Trong trường hợp điều này giúp điều khiển cuộc thảo luận, mối quan tâm chính của tôi là cải thiện độ chính …

83 regression least-squares lasso ridge-regression fused-lasso

3

Tại sao ước tính sườn núi trở nên tốt hơn OLS bằng cách thêm một hằng số vào đường chéo?

Tôi hiểu rằng ước tính hồi quy sườn núi là giảm thiểu tổng bình phương còn lại và hình phạt đối với kích thước củaββ\betaββ\beta βridge=(λID+X′X)−1X′y=argmin[RSS+λ∥β∥22]βridge=(λID+X′X)−1X′y=argmin⁡[RSS+λ‖β‖22]\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y = \operatorname{argmin}\big[ \text{RSS} + \lambda \|\beta\|^2_2\big] Tuy nhiên, tôi không hiểu đầy đủ ý nghĩa của thực tế là …

59 regression least-squares ridge-regression shrinkage

3

Có nghĩa là lỗi tuyệt đối HOẶC lỗi bình phương gốc?

Tại sao sử dụng Lỗi trung bình bình phương (RMSE) thay vì Lỗi tuyệt đối trung bình (MAE) ?? Chào Tôi đã điều tra lỗi được tạo trong một phép tính - Ban đầu tôi đã tính lỗi là Lỗi bình phương bình thường gốc. Nhìn kỹ hơn một chút, …

59 least-squares mean rms mae

3

Trường hợp quan niệm sai lầm rằng Y phải được phân phối bình thường đến từ đâu?

Các nguồn dường như có uy tín cho rằng biến phụ thuộc phải được phân phối bình thường: Giả định mô hình: được phân phối bình thường, lỗi được phân phối bình thường, và độc lập, và được sửa và phương sai không đổi .YYYei∼N(0,σ2)ei∼N(0,σ2)e_i \sim N(0,\sigma^2)XXXσ2σ2\sigma^2 Penn State, STAT …

45 regression least-squares linear-model dependent-variable

5

Hồi quy khi phần dư OLS không được phân phối bình thường

Có một số chủ đề trên trang web này thảo luận như thế nào để xác định nếu dư OLS được tiệm phân phối bình thường. Một cách khác để đánh giá tính quy phạm của phần dư với mã R được cung cấp trong câu trả lời xuất sắc …

43 regression least-squares residuals assumptions normality-assumption

2

Phương pháp khả năng tối đa so với phương pháp bình phương tối thiểu

Sự khác biệt chính giữa ước tính khả năng tối đa (MLE) so với ước lượng bình phương nhỏ nhất (LSE) là gì? Tại sao chúng ta không thể sử dụng MLE để dự đoán giá trị trong hồi quy tuyến tính và ngược lại?yyy Bất kỳ trợ giúp về …

42 regression estimation maximum-likelihood least-squares

6

Thuật toán nào được sử dụng trong hồi quy tuyến tính?

Tôi thường nghe về "bình phương tối thiểu bình thường". Đó có phải là thuật toán được sử dụng rộng rãi nhất được sử dụng cho hồi quy tuyến tính? Có những lý do để sử dụng một cái khác nhau?

42 regression least-squares algorithms computational-statistics numerics

4

Tại sao chức năng sigmoid thay vì bất cứ điều gì khác?

Tại sao hàm sigmoid tiêu chuẩn thực tế, , rất phổ biến trong mạng lưới thần kinh (không sâu) và hồi quy logistic?11+e−x11+e−x\frac{1}{1+e^{-x}} Tại sao chúng ta không sử dụng nhiều hàm có thể tạo được khác, với thời gian tính toán nhanh hơn hoặc phân rã chậm hơn (do …

40 logistic neural-networks least-squares

5

Làm thế nào để rút ra giải pháp hồi quy sườn núi?

Tôi đang có một số vấn đề với việc tạo ra giải pháp cho hồi quy sườn núi. Tôi biết giải pháp hồi quy mà không có thuật ngữ chính quy: β=(XTX)−1XTy.β=(XTX)−1XTy.\beta = (X^TX)^{-1}X^Ty. λ∥β∥22λ‖β‖22\lambda\|\beta\|_2^2 β=(XTX+λI)−1XTy.β=(XTX+λI)−1XTy.\beta = (X^TX + \lambda I)^{-1}X^Ty.

40 regression least-squares regularization ridge-regression

5

Là giảm thiểu lỗi bình phương tương đương với giảm thiểu lỗi tuyệt đối? Tại sao lỗi bình phương phổ biến hơn lỗi sau?

Khi chúng ta tiến hành hồi quy tuyến tính để phù hợp với một loạt các điểm dữ liệu ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x n , y n ) , phương pháp cổ …

39 least-squares error

8

Có hợp lệ để bao gồm một số đo cơ sở là biến kiểm soát khi kiểm tra tác động của một biến độc lập đối với điểm thay đổi không?

Tôi đang cố gắng chạy hồi quy OLS: DV: Thay đổi cân nặng trong một năm (cân nặng ban đầu - cân nặng cuối) IV: Có hay không bạn tập thể dục. Tuy nhiên, có vẻ hợp lý rằng những người nặng hơn sẽ giảm cân trên mỗi đơn vị …

38 regression repeated-measures least-squares change-scores

1

Chứng minh rằng các hệ số trong mô hình OLS tuân theo phân phối t với (nk) bậc tự do

Lý lịch Giả sử chúng ta có mô hình Bình phương tối thiểu thông thường trong đó chúng ta có hệ số trong mô hình hồi quy của mình, kkky=Xβ+ϵy=Xβ+ϵ\mathbf{y}=\mathbf{X}\mathbf{\beta} + \mathbf{\epsilon} trong đó là một vectơ của các hệ số, là ma trận thiết kế được xác định bởiββ\mathbf{\beta}(k×1)(k×1)(k\times1)XX\mathbf{X} …

29 regression linear-model least-squares t-distribution

3

Làm thế nào để thực hiện hồi quy trực giao (tổng bình phương nhỏ nhất) thông qua PCA?

Tôi luôn sử dụng lm()trong R để thực hiện hồi quy tuyến tính của trên . Hàm đó trả về một hệ số sao choyyyxxxββ\betay=βx.y=βx.y = \beta x. Hôm nay tôi đã học về tổng bình phương tối thiểu và princomp()chức năng đó (phân tích thành phần chính, PCA) có …

29 r pca least-squares deming-regression total-least-squares

1

Tính toán độ lặp lại của hiệu ứng từ mô hình lmer

Tôi vừa xem qua bài viết này , trong đó mô tả cách tính toán độ lặp lại (còn gọi là độ tin cậy, hay còn gọi là tương quan nội hàm) của phép đo thông qua mô hình hiệu ứng hỗn hợp. Mã R sẽ là: #fit the model …

28 mixed-model reliability intraclass-correlation repeatability spss factor-analysis survey modeling cross-validation error curve-fitting mediation correlation clustering sampling machine-learning probability classification metric r project-management optimization svm python dataset quality-control checking clustering distributions anova factor-analysis exponential poisson-distribution generalized-linear-model deviance machine-learning k-nearest-neighbour r hypothesis-testing t-test r variance levenes-test bayesian software bayesian-network regression repeated-measures least-squares change-scores variance chi-squared variance nonlinear-regression regression-coefficients multiple-comparisons p-value r statistical-significance excel sampling sample r distributions interpretation goodness-of-fit normality-assumption probability self-study distributions references theory time-series clustering econometrics binomial hypothesis-testing variance t-test paired-comparisons statistical-significance ab-test r references hypothesis-testing t-test normality-assumption wilcoxon-mann-whitney central-limit-theorem t-test data-visualization interactive-visualization goodness-of-fit

2

Tại sao RSS được phân phối chi vuông lần np?

Tôi muốn hiểu tại sao, theo mô hình OLS, RSS (tổng bình phương còn lại) được phân phối ( p là số lượng tham số trong mô hình, n số lượng quan sát).χ2⋅(n−p)χ2⋅(n−p)\chi^2\cdot (n-p)pppnnn Tôi xin lỗi vì đã hỏi một câu hỏi cơ bản như vậy, nhưng dường như …

28 regression distributions least-squares

Câu hỏi được gắn thẻ «least-squares»