Thống kê và dữ liệu lớn

Làm cách nào tôi có thể tính giá trị p đã cho Chi Squared và Độ tự do? Ví dụ: giá trị p chính xác của Chi Squared = 15 với df = 2 là bao nhiêu?

11 r  distributions  chi-squared 

Phân tích thành phần chính (PCA) có loại bỏ nhiễu trong tập dữ liệu không? Nếu PCA không loại bỏ nhiễu trong tập dữ liệu, PCA thực sự làm gì với tập dữ liệu? Ai đó có thể giúp tôi về vấn đề này.

11 machine-learning  neural-networks  pca  noise 

Nói chung, chúng tôi tối đa hóa một chức năng L(θ;x1,…,xn)=∏i=1nf(xi∣θ)L(θ;x1,…,xn)=∏i=1nf(xi∣θ) L(\theta; x_1, \ldots, x_n) = \prod_{i=1}^n f(x_i \mid \theta) Trong đó là hàm mật độ xác suất nếu phân phối cơ bản là liên tục và hàm khối lượng xác suất (có tổng thay vì sản phẩm) nếu phân …

11 mathematical-statistics  maximum-likelihood  likelihood  mixture 

Đã đóng cửa . Câu hỏi này cần chi tiết hoặc rõ ràng . Nó hiện không chấp nhận câu trả lời. Bạn muốn cải thiện câu hỏi này? Thêm chi tiết và làm rõ vấn đề bằng cách chỉnh sửa bài đăng này . Đóng cửa 2 năm trước …

11 machine-learning  similarities  dice  segmentation  jaccard-similarity 

Tôi còn khá mới với Machine Learning / Modelling và tôi muốn có một số nền tảng cho vấn đề này. Tôi có một bộ dữ liệu trong đó số lượng quan sát là tuy nhiên số lượng biến là p ∼ 8000 . Đầu tiên, thậm chí có ý …

11 regression  machine-learning  dimensionality-reduction  penalized 

Các biến phân loại có thể được sử dụng trong phân cụm phân cấp? Tôi chỉ nghe thấy các biến liên tục được sử dụng, nhưng đã thấy mọi người thảo luận về các biến phân loại có thể / có thể không được sử dụng. Bất cứ ai có …

11 categorical-data  hierarchical-clustering 

Giả sử tôi đang thực hiện hồi quy với các tập huấn luyện, xác nhận và kiểm tra. Tôi có thể tìm RMSE và R bình phương (R ^ 2, hệ số xác định) từ đầu ra của phần mềm của tôi (chẳng hạn như hàm lm () của R). …

11 r  regression  regression-coefficients  r-squared 

Tôi có một câu hỏi chung. Gần đây tôi mới biết mở rộng cơ sở và chính quy. Có một số kỹ thuật thú vị bao gồm: spline hình khối, spline tự nhiên, b-spline và spline làm mịn . Câu hỏi đặt ra là, ưu và nhược điểm (nếu có) …

11 regression  smoothing 

Tôi đang làm việc với dữ liệu mất cân bằng, trong đó có khoảng 40 lớp = 0 trường hợp cho mỗi lớp = 1. Tôi có thể phân biệt hợp lý giữa các lớp bằng các tính năng riêng lẻ và đào tạo trình phân loại Bayes và SVM …

11 classification  svm  roc  naive-bayes  precision-recall 

Tôi đã gặp một vấn đề trong sách giáo khoa để ước tính có nghĩa. Vấn đề sách giáo khoa như sau: Giả sử rằng NNN điểm dữ liệu, x1x1x_1 , x2x2x_2 ,. . . , xNxNx_N , đã được tạo bởi pdf Gaussian một chiều có nghĩa là không …

11 self-study  normal-distribution  maximum-likelihood 

Tôi đã tìm thấy nhiều bài viết hữu ích về các biến độc lập được tiêu chuẩn hóa và các biến độc lập tập trung trên stats.stackexchange.com, nhưng tôi vẫn hơi bối rối. Tôi đang yêu cầu bạn đánh giá về những gì tôi đã hiểu. Ngoài ra, nếu những …

11 regression  data-transformation  interpretation  standardization  centering 

Tôi đang sử dụng caretgói trong Rđào tạo phân loại SVM nhị phân. Để giảm các tính năng, tôi đang tiền xử lý với PCA bằng tính năng tích hợp preProc=c("pca")khi gọi train(). Đây là câu hỏi của tôi: Làm thế nào để caret chọn thành phần chính? Có một …

11 r  machine-learning  pca  cross-validation  caret 

Tôi đang cố gắng để hiểu một số mô tả về PCA (hai phần đầu là từ Wikipedia), nhấn mạnh thêm: Các thành phần chính được đảm bảo độc lập chỉ khi tập dữ liệu được phân phối chung . Là sự độc lập của các thành phần chính rất …

11 pca  dimensionality-reduction 

Tôi đang cố gắng thực hiện và tìm hiểu Quy trình Dirichlet để phân cụm dữ liệu của mình (hoặc khi mọi người nói về máy học, ước tính mật độ). Tôi đã đọc rất nhiều bài báo trong chủ đề và sắp xếp ý tưởng. Nhưng tôi vẫn bối …

11 machine-learning  clustering  dirichlet-process 

Bất biến tài sản của MLE: nếu θ là MLE của θ , sau đó cho bất kỳ chức năng f ( θ ) , các MLE của f ( θ ) là f ( θ ) . θ^θ^\hat{\theta}θθ\thetaf( θ )f(θ)f(\theta)f( θ )f(θ)f(\theta)f( θ^)f(θ^)f(\hat{\theta}) Ngoài ra, phải là hàm một …

11 maximum-likelihood  point-estimation