Thống kê và dữ liệu lớn

Dường như có những lời khuyên mâu thuẫn ngoài kia về cách xử lý so sánh lỗi tàu và kiểm tra, đặc biệt khi có khoảng cách giữa hai người. Dường như có hai trường phái cho tôi, dường như mâu thuẫn. Tôi đang tìm cách hiểu cách hòa giải …

13 cross-validation  overfitting 

Gần đây tôi đã đọc một bài báo của Yann Dauphin et al. Xác định và tấn công vấn đề điểm yên trong tối ưu hóa không lồi chiều cao , trong đó họ giới thiệu một thuật toán gốc thú vị có tên là Yên không có Newton , …

13 optimization  deep-learning  gradient-descent 

Hồi quy từng bước đã được sử dụng quá mức trong nhiều bài báo y sinh trong quá khứ nhưng điều này dường như được cải thiện với sự giáo dục tốt hơn về nhiều vấn đề của nó. Nhiều người đánh giá cũ hơn tuy nhiên vẫn yêu cầu …

13 regression  multiple-regression  feature-selection  model-selection  stepwise-regression 

Tôi muốn tính AICc của mô hình hồi quy sườn. Vấn đề là số lượng tham số. Đối với hồi quy tuyến tính, hầu hết mọi người đề xuất rằng số lượng tham số bằng số lượng hệ số ước tính cộng với sigma (phương sai của lỗi). Khi nói …

13 regression  aic  ridge-regression  degrees-of-freedom 

Tôi đang cố gắng tính khoảng tin cậy 95% của phân phối sau. Tôi không thể tìm thấy hàm trong R cho nó nhưng cách tiếp cận dưới đây có đúng không? x <- seq(0.4,12,0.4) px <- c(0,0, 0, 0, 0, 0, 0.0002, 0.0037, 0.018, 0.06, 0.22 ,0.43, 0.64,0.7579, 0.7870, …

13 bayesian  descriptive-statistics  credible-interval 

LỜI MỞ ĐẦU: Tôi không quan tâm đến giá trị của việc sử dụng điểm cắt hay không, hoặc cách người ta nên chọn điểm cắt. Câu hỏi của tôi hoàn toàn là toán học và do tò mò. Hồi quy logistic mô hình xác suất có điều kiện sau …

13 logistic  predictive-models  unbalanced-classes 

Tôi còn khá mới đối với lĩnh vực quy trình Gaussian và cách chúng đang được áp dụng trong học máy. Tôi tiếp tục đọc và nghe về các hàm hiệp phương sai là điểm thu hút chính của các phương thức này. Vì vậy, bất cứ ai có thể …

13 machine-learning  probability  bayesian 

Có các nhóm nghiên cứu làm việc về việc sử dụng học tập sâu cho các vấn đề tối ưu hóa tổ hợp?

13 optimization  deep-learning 

Hãy xem xét mô hình hồi quy tuyến tính y=Xβ+uy=Xβ+u\mathbf{y}=\mathbf{X\beta}+\mathbf{u} , u∼N(0,σ2I)u∼N(0,σ2I)\mathbf{u}\sim N(\mathbf{0},\sigma^2\mathbf{I}) , E(u∣X)=0E(u∣X)=0E(\mathbf{u}\mid\mathbf{X})=\mathbf{0} . Hãy H0:σ20=σ2H0:σ02=σ2H_0: \sigma_0^2=\sigma^2 vs H1:σ20≠σ2H1:σ02≠σ2H_1: \sigma_0^2\neq\sigma^2 . Chúng ta có thể suy ra rằng yTMXyσ2∼χ2(n−k)yTMXyσ2∼χ2(n−k)\frac{\mathbf{y}^T\mathbf{M_X}\mathbf{y}}{\sigma^2}\sim \chi^2(n-k), nơidim(X)=n×kdim(X)=n×kdim(\mathbf{X})=n\times k. VàMXMX\mathbf{M_X}là ký hiệu đặc trưng cho ma trận Annihilator,MXy=y^MXy=y^\mathbf{M_X}\mathbf{y}=\hat{\mathbf{y}} , nơi y là biến phụ thuộcythụt …

13 regression  hypothesis-testing  mathematical-statistics  inference 

Tôi nhận ra chủ đề này đã xuất hiện một số lần trước đây , ví dụ như ở đây , nhưng tôi vẫn không chắc chắn cách tốt nhất để diễn giải đầu ra hồi quy của mình. Tôi có một bộ dữ liệu rất đơn giản, bao gồm …

13 regression  p-value  least-squares  aic 

Tôi đã đọc rằng lasso nhóm được sử dụng để lựa chọn biến và độ thưa thớt trong một nhóm các biến. Tôi muốn biết trực giác đằng sau yêu sách này. Tại sao nhóm Lasso lại thích Lasso hơn? Tại sao đường dẫn giải pháp lasso nhóm không piecewise …

13 regression  feature-selection  lasso  regularization 

Tôi đã nghe (xin lỗi không thể cung cấp một liên kết đến một văn bản, điều mà tôi đã nói) rằng sự suy yếu tích cực cao của phần dư có thể là vấn đề đối với các bài kiểm tra giả thuyết chính xác và khoảng tin cậy …

13 statistical-significance  p-value  assumptions  kurtosis 

Đây là một câu hỏi liên quan đến một thực hành hoặc phương pháp theo sau bởi một số đồng nghiệp của tôi. Trong khi thực hiện mô hình hồi quy logistic, tôi đã thấy mọi người thay thế các biến phân loại (hoặc các biến liên tục được đánh …

13 regression  logistic  categorical-data  modeling 

Tôi tốt nghiệp ngành kinh doanh và kinh tế, những người hiện đang học thạc sĩ về kỹ thuật dữ liệu. Trong khi nghiên cứu hồi quy tuyến tính (LR) và sau đó phân tích chuỗi thời gian (TS), một câu hỏi xuất hiện trong đầu tôi. Tại sao tạo …

13 regression  time-series  multiple-regression  least-squares  arima 

Tôi đã sử dụng hàm h2o.glm () trong R để đưa ra bảng dự phòng trong kết quả cùng với các thống kê khác. Bảng dự phòng được đứng đầu " Tab chéo dựa trên ngưỡng tối ưu F1 " Wikipedia định nghĩa Điểm F1 hoặc Điểm F là giá …

13 threshold