Thống kê và dữ liệu lớn

Từ những gì tôi hiểu, lựa chọn biến dựa trên giá trị p (ít nhất là trong bối cảnh hồi quy) rất thiếu sót. Có vẻ như lựa chọn biến dựa trên AIC (hoặc tương tự) cũng bị một số người coi là thiếu sót, vì lý do tương tự, …

13 hypothesis-testing  multiple-regression  feature-selection  model-selection  aic 

Tôi đang tìm kiếm một tài liệu tham khảo nơi nó được chứng minh rằng ý nghĩa hài hòa x¯h=n∑ni=11xix¯h=n∑i=1n1xi\bar{x}^h = \frac{n}{\sum_{i=1}^n \frac{1}{x_i}} giảm thiểu (tính bằng zzz ) tổng các lỗi tương đối bình phương ∑i=1n((xi−z)2xi).∑i=1n((xi−z)2xi).\sum_{i=1}^n \left( \frac{(x_i - z)^2}{x_i}\right).

13 references  mean  error  weighted-regression  harmonic-mean 

Tôi đang xây dựng các mô hình ARIMA cho một số dữ liệu gió / sóng. Tôi đang xây dựng một mô hình riêng cho từng biến. Hai trong số các biến mà tôi cần mô hình là hướng sóng và hướng gió. Các giá trị được tính bằng độ …

13 time-series  arima  circular-statistics 

Công thức (gần đúng hoặc chính xác) cho khoảng dự đoán cho biến ngẫu nhiên Binomial là gì? Giả sử và chúng tôi quan sát (được rút ra từ ). Các được biết đến.Y∼Binom(n,p)Y∼Binom(n,p)Y \sim \mathsf{Binom}(n, p)yyyYYYnnn Mục tiêu của chúng tôi là để có được một khoảng thời gian …

13 confidence-interval  binomial  prediction-interval 

Bối cảnh nhỏ Tôi đang làm việc để giải thích phân tích hồi quy nhưng tôi thực sự bối rối về ý nghĩa của r, r bình phương và độ lệch chuẩn còn lại. Tôi biết các định nghĩa: Đặc điểm r đo cường độ và hướng của mối quan …

13 r  regression  regression-coefficients  linear  pearson-r 

Mục tiêu Xác nhận xem sự hiểu biết về KKT có chính xác hay không. Tìm kiếm để giải thích thêm và xác nhận về KKT. Lý lịch Cố gắng hiểu các điều kiện KKT, đặc biệt là điều kiện bổ sung, luôn bật ra màu xanh trong các bài …

13 svm  optimization  lagrange-multipliers 

Tôi nhận được một số kết quả khó hiểu cho mối tương quan của một tổng với biến thứ ba khi hai yếu tố dự đoán có tương quan nghịch. Điều gì gây ra những kết quả bối rối này? Ví dụ 1: Tương quan giữa tổng của hai biến …

13 correlation  multiple-regression 

Trong một vấn đề cụ thể mà tôi làm việc với (một cuộc thi), tôi có cài đặt theo dõi: 21 tính năng (số trên [0,1]) và đầu ra nhị phân. Tôi có khoảng 100 K hàng. Các thiết lập dường như rất ồn ào. Tôi và những người tham …

13 machine-learning  dimensionality-reduction  unsupervised-learning  tsne 

\newcommand{\diag}{\operatorname{diag}} Chúng tôi có vấn đề: với giả định rằng: \ sum_ {i = 1} ^ nx_ix_i ^ T = \ diag (\ sigma_1 ^ 2, ..., \ sigma_d ^ 2).minw∈Rd(1n∑i=1n(⟨w,xi⟩−yi)2+2λ||w||1),minw∈Rd(1n∑i=1n(⟨w,xi⟩−yi)2+2λ||w||1),\min_{w\in\mathbb{R}^{d}}\left( \frac{1}{n}\sum_{i=1}^{n} \left( \langle w,x_{i}\rangle-y_{i} \right)^{2} +2\lambda||w||_1\right),∑i=1nxixTi=diag(σ21,...,σ2d).∑i=1nxixiT=diag⁡(σ12,...,σd2).\sum_{i=1}^nx_ix_i^T=\diag(\sigma_1^2,...,\sigma_d^2). Có một giải pháp dạng đóng trong trường hợp này? Tôi có điều …

13 mathematical-statistics  lasso  computational-statistics  regularization 

Tôi đang cố gắng để hiểu liệu biến đổi Fourier rời rạc có đại diện cho cùng một đường cong như là một hồi quy sử dụng cơ sở Fourier hay không. Ví dụ, library(fda) Y=daily$tempav[,1] ## my data length(Y) ## =365 ## create Fourier basis and estimate the coefficients …

13 fourier-transform  functional-data-analysis 

Tôi đã đọc một số bài viết về việc tạo hình ảnh thủ công để "đánh lừa" một mạng lưới thần kinh (xem bên dưới). Đây có phải là vì các mạng chỉ mô hình xác suất có điều kiện ? Nếu một mạng có thể mô hình xác suất …

13 machine-learning  neural-networks  deep-learning 

Tôi đã tìm kiếm trên Google, Wikipedia, Google học giả, và nhiều hơn nữa, nhưng tôi không thể tìm thấy nguồn gốc của Autoencoder. Có lẽ đó là một trong những khái niệm phát triển rất chậm và không thể tìm lại điểm xuất phát rõ ràng, nhưng tôi vẫn …

13 neural-networks  autoencoders  history 

Theo tôi, dữ liệu đầu vào tương quan phải dẫn đến quá mức trong các mạng thần kinh vì mạng tìm hiểu mối tương quan, ví dụ như nhiễu trong dữ liệu. Điều này có đúng không?

13 correlation  neural-networks  overfitting 

Tôi mới tham gia nghiên cứu Thống kê Bayes. Tôi đã nghe từ các nhà nghiên cứu rằng các nhà nghiên cứu Bayes tự thực hiện MCMC tốt hơn thay vì sử dụng các công cụ như JAGS / Stan. Tôi có thể tự hỏi lợi ích của việc thực …

13 bayesian  mcmc 

Trong cuốn sách của Đức cha về học máy, nó thảo luận về vấn đề khớp đường cong một hàm đa thức với một tập hợp các điểm dữ liệu. Gọi M là thứ tự của đa thức được trang bị. Nó nói như thế Chúng ta thấy rằng, khi …

13 regression  least-squares  curve-fitting  polynomial