Thống kê và dữ liệu lớn

Một tính chất cơ bản của hồi quy hiệu ứng ngẫu nhiên là các ước tính đánh chặn ngẫu nhiên bị "thu hẹp" đối với giá trị trung bình chung của phản ứng như là một hàm của phương sai tương đối của mỗi ước tính. U^j=ρjy¯j+(1−ρj)y¯U^j=ρjy¯j+(1−ρj)y¯\hat{U}_j = \rho_j \bar{y}_j …

8 mixed-model  regularization  shrinkage 

Bất cứ ai cũng có thể cung cấp một cái nhìn trực quan về lý do tại sao tốt hơn là có bản beta nhỏ hơn? Đối với LASSO tôi có thể hiểu rằng, có một thành phần lựa chọn tính năng ở đây. Ít tính năng làm cho mô …

8 regression  lasso  ridge-regression  shrinkage 

Chúng ta có thể khái quát tất cả các phương pháp tập hợp bằng cách sử dụng bỏ phiếu không? Các phương pháp thúc đẩy cũng sử dụng bỏ phiếu để đưa những người học yếu vào mô hình cuối cùng? Hiểu biết của tôi về kỹ thuật: Tăng cường: …

8 machine-learning  boosting  ensemble  gbm  voting-system 

Chỉ cần làm một vài trò chơi trí tuệ đi qua ghi chú thống kê của tôi ... Tôi đã thấy các ACF xung quanh có giá trị âm ở độ trễ 1 và 2 - Tôi có thể có một tâm trí trống rỗng ở đây, nhưng sẽ không …

8 time-series  correlation  autocorrelation 

Tôi là người mới bắt đầu sử dụng máy học (tôi đã hoàn thành khóa học của Ng), tôi đang sử dụng scikit-learn trong python. Tôi muốn tìm cách tốt nhất để phát hiện sự bất thường trong hệ thống của chúng tôi. Chúng tôi có các sự kiện đang …

8 time-series  python  scikit-learn  anomaly-detection 

Giả sử rằng là một mẫu ngẫu nhiên từ một hàm phân bố liên tục . Đặt độc lập với 's. Làm cách nào tôi có thể tính toán ? F X ~ U n i f o r m { 1 , ... , n } Y i EY1,…,Yn+1Y1,…,Yn+1Y_1,\dots,Y_{n+1}FFFX∼Uniform{1,…,n}X∼Uniform{1,…,n}X\sim\mathrm{Uniform}\{1,\dots,n\}YiYiY_iE[∑Xi=1I{Yi≤Yn+1}]E[∑i=1XI{Yi≤Yn+1}]\mathrm{E}\!\left[\sum …

8 probability  self-study 

Lấy cảm hứng từ câu hỏi này , tôi đã cố gắng để có được một biểu thức cho thời điểm trung tâm thứ ba của tổng số ngẫu nhiên của các biến ngẫu nhiên iid. Câu hỏi của tôi là liệu nó có đúng không và nếu không, cái …

8 random-variable  moments 

Tôi có bộ dữ liệu 1 chiều và tôi sử dụng boxplothàm để tạo một ô vuông. Sau đó tôi có thể thấy rằng tôi có một số ngoại lệ. Các ngoại lệ có được tính khi các lượng tử đang được xác định không? Có một cách đúng / …

8 r  data-visualization  boxplot 

Mặc dù giá trị của lựa chọn mô hình từng bước đã được thảo luận trước đây, nhưng đối với tôi, việc lựa chọn mô hình từng bước "hoặc" hồi quy từng bước " là không rõ ràng . Tôi nghĩ rằng tôi hiểu nó, nhưng không chắc chắn nữa. …

8 multiple-regression  model-selection  aic  stepwise-regression 

Tôi đã xem qua các câu hỏi liên quan đến mã hóa tính năng phân loại, nhưng không thể tìm thấy bất kỳ điều gì thảo luận về vấn đề của tôi. Xin lỗi nếu tôi bỏ lỡ nó. Giả sử chúng ta có một bộ dữ liệu với các …

8 classification  categorical-data  dimensionality-reduction  feature-construction  many-categories 

Tôi làm việc như một nhà phân tích dữ liệu, chủ yếu trong SQL, cung cấp dữ liệu hoạt động cho khách hàng nội bộ. Tôi hiếm khi làm phân tích thống kê. Gần đây, các khách hàng nội bộ đã tìm đến tôi với dữ liệu từ các dự …

8 multivariate-analysis  assumptions  accuracy 

Cơ hội mà một năm nhuận sẽ có 53 chủ nhật là gì? Theo thử nghiệm của tôi, nó sẽ là 2/7? Vì 365 ngày trong một năm nhuận có nghĩa là 52 tuần và 2 ngày nữa, nên từ hai ngày nữa, xác suất của Chủ nhật là 2/7. …

8 probability  self-study 

Tôi đã tiến hành Kết hợp điểm theo tỷ lệ (trong R bằng cách sử dụng gói "Matchit" của gói R). Tôi đã sử dụng phương pháp kết hợp "hàng xóm gần nhất". Sau khi kết hợp tôi đã so sánh điều trị và nhóm đối chứng về biến số …

8 k-nearest-neighbour  matching  propensity-scores 

Theo tôi hiểu, các mạng nơ-ron sâu đang thực hiện "học đại diện" bằng cách xếp các tính năng lại với nhau. Điều này cho phép học các cấu trúc chiều rất cao trong các tính năng. Tất nhiên, đó là một mô hình tham số với số lượng tham …

8 machine-learning  bayesian  nonparametric  deep-learning 

Tôi có hai biến ngẫu nhiên được phân phối độc lập và giống hệt nhau, tức là :ϵ1,ϵ0∼iidGumbel(μ,β)ϵ1,ϵ0∼iidGumbel(μ,β)\epsilon_{1}, \epsilon_{0} \overset{\text{iid}}{\sim} \text{Gumbel}(\mu,\beta) F(ϵ)=exp(−exp(−ϵ−μβ)),F(ϵ)=exp⁡(−exp⁡(−ϵ−μβ)),F(\epsilon) = \exp(-\exp(-\frac{\epsilon-\mu}{\beta})), f(ϵ)=1βexp(−(ϵ−μβ+exp(−ϵ−μβ))).f(ϵ)=1βexp⁡(−(ϵ−μβ+exp⁡(−ϵ−μβ))).f(\epsilon) = \dfrac{1}{\beta}\exp(-\left(\frac{\epsilon-\mu}{\beta}+\exp(-\frac{\epsilon-\mu}{\beta})\right)). Tôi đang cố gắng tính hai đại lượng: Eϵ1Eϵ0|ϵ1[c+ϵ1|c+ϵ1&gt;ϵ0]Eϵ1Eϵ0|ϵ1[c+ϵ1|c+ϵ1&gt;ϵ0]\mathbb{E}_{\epsilon_{1}}\mathbb{E}_{\epsilon_{0}|\epsilon_{1}}\left[c+\epsilon_{1}|c+\epsilon_{1}>\epsilon_{0}\right] Eϵ1Eϵ0|ϵ1[ϵ0|c+ϵ1&lt;ϵ0]Eϵ1Eϵ0|ϵ1[ϵ0|c+ϵ1&lt;ϵ0]\mathbb{E}_{\epsilon_{1}}\mathbb{E}_{\epsilon_{0}|\epsilon_{1}}\left[\epsilon_{0}|c+\epsilon_{1}<\epsilon_{0}\right] Tôi đi đến một điểm mà tôi cần thực hiện tích hợp trên …

8 probability  logistic  conditional-probability  conditional-expectation  gumbel