Thống kê và dữ liệu lớn

Giả sử các biến ngẫu nhiên và là độc lập và phân phối . rằng có \ phân phối văn bản {Exp} (1) .X1,...,XnX1,...,XnX_1, ... , X_nY1,...,YnY1,...,YnY_1, ..., Y_nU(0,a)U(0,a)U(0,a)Zn=nlogmax(Y(n),X(n))min(Y(n),X(n))Zn=nlog⁡max(Y(n),X(n))min(Y(n),X(n))Z_n= n\log\frac{\max(Y_{(n)},X_{(n)})}{\min(Y_{(n)},X_{(n)})}Exp(1)Exp(1)\text{Exp}(1) Tôi đã bắt đầu vấn đề này bằng cách đặt {X1,...,Xn,Y1,...Yn}={Z1,...,Zn}{X1,...,Xn,Y1,...Yn}={Z1,...,Zn}\{X_1,...,X_n,Y_1,...Y_n\} = \{Z_1,...,Z_n\} Sau đó, max(Yn,Xn)=Z(2n)max(Yn,Xn)=Z(2n)\max(Y_n,X_n)= Z_{(2n)} sẽ được phân …

9 self-study  data-transformation  order-statistics 

Tôi muốn học ANOVA. Trước khi tôi bắt đầu tìm hiểu cách thuật toán hoạt động (những tính toán phải được thực hiện) và lý do tại sao nó hoạt động, trước tiên tôi muốn biết chúng ta thực sự giải quyết vấn đề gì với ANOVA, hoặc chúng ta …

9 anova 

Bối cảnh: Tôi có một mẫu mà tôi muốn lập mô hình với phân phối đuôi nặng. Tôi có một số giá trị cực đoan, sao cho sự lan truyền của các quan sát là tương đối lớn. Ý tưởng của tôi là mô hình hóa điều này với phân …

9 confidence-interval  quantiles  asymptotics  order-statistics 

Có rất nhiều tài nguyên nổi tiếng cung cấp lời khuyên về trực quan hóa dữ liệu. (Ví dụ Tufte, Stephen Few et al , Nathan Yau .) Nhưng người ta có thể chuyển sang lĩnh vực nào để trả lời cho các câu hỏi như sau: Là chỉ trích …

9 data-visualization  interpretation  terminology  presentation 

Tôi giả sử một thiết lập chung của hồi quy, nghĩa là một hàm liên tục được chọn từ một gia đình để phù hợp với dữ liệu đã cho ( có thể là bất kỳ không gian nào như khối lập phương hoặc trên thực tế là bất kỳ …

9 regression  machine-learning  multiple-regression 

Tôi muốn vẽ hiệu quả các mẫu từ theo các ràng buộc mà .x∈Rdx∈Rdx \in \mathbb{R}^dN(μ,Σ)N(μ,Σ)\mathcal{N}(\mu, \Sigma)||x||2=1||x||2=1||x||_2 = 1

9 distributions  normal-distribution  sampling  multivariate-normal  importance-sampling 

Tôi đã được yêu cầu đề xuất một khóa học về thiết kế thí nghiệm cho sinh viên cao học về nông học và sinh thái học. Tôi chưa bao giờ tham gia một khóa học như vậy, và rất ngạc nhiên khi thấy rằng khóa học có thể được …

9 references  experiment-design  teaching 

Tôi đang cố gắng để hiểu kiến ​​trúc của RNNs. Tôi đã tìm thấy hướng dẫn này rất hữu ích: http://colah.github.io/posts/2015-08-Under Hiểu-LSTMs / Đặc biệt là hình ảnh này: Làm thế nào để điều này phù hợp với một mạng chuyển tiếp? Có phải hình ảnh này chỉ là một …

9 neural-networks  lstm 

Đây thực sự là một trong những vấn đề trong phiên bản thứ 4 Kinh tế cơ bản của Gujarati (Q3.11) và nói rằng hệ số tương quan là bất biến đối với sự thay đổi của nguồn gốc và tỷ lệ, đó là trong đó , , , là …

9 self-study  correlation  linear-algebra  mathematical-statistics 

Tôi đã suy nghĩ để giải quyết Lasso thông qua các phương pháp nâng cấp vanilla. Nhưng tôi đã đọc những người đề nghị sử dụng giảm dần độ dốc Proximal. Ai đó có thể làm nổi bật lý do tại sao GD gần nhất thay vì phương pháp nâng …

9 machine-learning  optimization  lasso  gradient-descent 

Rất nhiều điều đã được nói về tầm quan trọng của phân phối bình thường trong tự nhiên. Rất nhiều phép đo như chiều cao hoặc cân nặng được phân phối xấp xỉ bình thường. Nhưng không ai trong số họ hoàn toàn bình thường, theo như tôi hiểu. Xem …

9 normal-distribution  normality-assumption 

Tôi đang cố gắng tạo nhóm các bộ dữ liệu khác nhau bằng các thuật toán không được giám sát (phân cụm). Vấn đề là tôi có nhiều tính năng (~ 500) và một số ít trường hợp (200-300). Cho đến nay tôi thường chỉ làm các vấn đề phân …

9 r  clustering  feature-selection  unsupervised-learning 

Khi sử dụng CV gấp để chọn trong số các mô hình hồi quy, tôi thường tính riêng lỗi CV cho từng mô hình, cùng với lỗi tiêu chuẩn SE và tôi chọn mô hình đơn giản nhất trong vòng 1 SE của mô hình có lỗi CV thấp nhất …

9 regression  cross-validation  model-selection 

Đặt là biến ngẫu nhiên rời rạc lấy các giá trị của nó trong . Tôi muốn giảm một nửa biến này, nghĩa là tìm một biến ngẫu nhiên Y, chẳng hạn như:NXXXNN\mathbb{N}YYY X=Y+Y∗X=Y+Y∗X = Y + Y^* nơi Y∗Y∗Y^* là một bản sao không phụ thuộc vào YYY . …

9 random-variable 

Suy nghĩ của bạn về việc sử dụng hồi quy để chiếu ngoài phạm vi dữ liệu là gì? Nếu chúng ta chắc chắn rằng nó tuân theo hình dạng mô hình tuyến tính hoặc công suất, thì mô hình có thể hữu ích ngoài phạm vi dữ liệu không? …

9 regression  dataset  linear-model