Thống kê và dữ liệu lớn

Tôi đang cố gắng vẽ biểu đồ số lượng hành động của người dùng (trong trường hợp này là "lượt thích") theo thời gian. Vì vậy, tôi có "Số hành động" là trục y, trục x của tôi là thời gian (tuần) và mỗi dòng đại diện cho một người …

30 r  data-visualization 

Tôi đang nghĩ về điều này từ quan điểm yêu cầu tối thiểu, rất cơ bản. Các lý thuyết chính mà một nhà thống kê ngành (không hàn lâm) nên biết, hiểu và sử dụng một cách thường xuyên là gì? Một điều lớn mà tôi nghĩ đến là Luật …

30 theory  careers  law-of-large-numbers 

Tôi đã học được rằng một thống kê là một thuộc tính bạn có thể lấy từ các mẫu. Lấy nhiều mẫu có cùng kích thước, tính toán thuộc tính này cho tất cả chúng và vẽ sơ đồ pdf, chúng ta có được phân phối thuộc tính tương ứng …

30 terminology  estimators  definition 

Khả năng có thể được xác định theo một số cách, ví dụ: hàm từ ánh xạ sang tức là .LLLΘ×XΘ×X\Theta\times{\cal X}(θ,x)(θ,x)(\theta,x)L(θ∣x)L(θ∣x)L(\theta \mid x)L:Θ×X→RL:Θ×X→RL:\Theta\times{\cal X} \rightarrow \mathbb{R} hàm ngẫu nhiênL(⋅∣X)L(⋅∣X)L(\cdot \mid X) chúng tôi cũng có thể xem xét rằng khả năng chỉ là khả năng "được quan sát"L(⋅∣xobs)L(⋅∣xobs)L(\cdot \mid …

30 mathematical-statistics  likelihood  likelihood-ratio  parametric 

Tôi có một nhiệm vụ phân loại trong đó tôi có một số dự đoán (một trong số đó là thông tin nhiều nhất) và tôi đang sử dụng mô hình MARS để xây dựng trình phân loại của mình (tôi quan tâm đến bất kỳ mô hình đơn giản …

30 machine-learning  roc  precision-recall  unbalanced-classes  data-visualization 

Tôi đang cố gắng tăng tốc với R. Cuối cùng tôi muốn sử dụng các thư viện R để thực hiện phân loại văn bản. Tôi chỉ tự hỏi những kinh nghiệm của mọi người liên quan đến khả năng mở rộng của R khi thực hiện phân loại văn …

30 r  machine-learning  svm  text-mining  random-forest 

Các mô hình phụ gia tổng quát là những mô hình trong đó y=α+f1(x1)+f2(x2)+eiy=α+f1(x1)+f2(x2)+ei y = \alpha + f_1(x_1) + f_2(x_2) + e_i chẳng hạn. các chức năng là trơn tru, và được ước tính. Thông thường bởi splines bị phạt. MGCV là một gói trong R làm như vậy, …

30 r  nonparametric  interaction  splines  intuition 

Đây là một câu hỏi cơ bản, nhưng tôi không thể tìm thấy câu trả lời. Tôi có hai phép đo: n1 sự kiện trong thời gian t1 và n2 sự kiện trong thời gian t2, cả hai được tạo ra (nói) bởi các quá trình Poisson với các giá …

30 hypothesis-testing  poisson-distribution 

Có một mô hình trực quan nào tốt cho việc hiển thị giao điểm chồng chéo của nhiều bộ không? Tôi đang suy nghĩ một cái gì đó giống như biểu đồ Venn nhưng bằng cách nào đó có thể cho vay tốt hơn với số lượng lớn hơn các …

30 data-visualization  dataset 

Nếu tôi hiểu chính xác, khoảng tin cậy của một tham số là một khoảng được xây dựng bằng phương pháp mang lại các khoảng chứa giá trị thực cho một tỷ lệ mẫu được chỉ định. Vì vậy, "độ tin cậy" là về phương pháp chứ không phải là …

30 confidence-interval  interpretation 

Tôi đã xem qua hướng dẫn tuyệt vời này: Cẩm nang phân tích thống kê sử dụng R. Chương 13. Phân tích thành phần chính: Olympic Heptathlon về cách làm PCA bằng ngôn ngữ R. Tôi không hiểu cách giải thích của Hình 13.3: Vì vậy, tôi đang âm mưu …

30 r  pca  data-visualization  interpretation  biplot 

Sự khác biệt giữa thử nghiệm tính chuẩn của Shapiro-Wilk và thử nghiệm về tính quy phạm Kolmogorov-Smirnov là gì? Khi nào kết quả từ hai phương pháp này sẽ khác nhau?

30 distributions  statistical-significance  normality-assumption  kolmogorov-smirnov 

Tôi đã sử dụng mã r sau đây để ước tính khoảng tin cậy của tỷ lệ nhị thức vì tôi hiểu rằng thay thế cho "tính toán công suất" khi thiết kế các thiết kế đường cong đặc trưng của máy thu nhìn vào việc phát hiện bệnh trong …

30 confidence-interval  binomial 

Việc định tâm (hoặc không có ý nghĩa) dữ liệu của bạn tạo ra gì cho PCA? Tôi đã nghe nói rằng nó làm cho các phép toán dễ dàng hơn hoặc nó ngăn PC đầu tiên bị chi phối bởi các biến ', nhưng tôi cảm thấy như mình …

30 r  pca  svd  eigenvalues  centering 

Tôi sẽ thông qua bài giảng Andrew Ng của ghi chú trên Machine Learning. Các ghi chú giới thiệu cho chúng ta về hồi quy logistic và sau đó là perceptron. Trong khi mô tả Perceptron, các ghi chú nói rằng chúng ta chỉ thay đổi định nghĩa của hàm …

30 regression  machine-learning  self-study  logistic  perceptron