Thống kê và dữ liệu lớn

Tôi có một loạt các điểm dữ liệu ở dạng này (dấu thời gian, lat, dài) cho một nhóm người dùng. Mỗi người dùng có một quỹ đạo khi anh ta đi từ điểm A đến điểm B. Có thể có bất kỳ số điểm nào từ A đến B. …

9 time-series  multivariate-analysis  data-transformation  functional-data-analysis 

Gần đây tôi đã bắt đầu nghiên cứu suy luận thống kê. Tôi đã làm việc với nhiều vấn đề khác nhau và vấn đề này khiến tôi hoàn toàn bối rối. Đặt là một mẫu ngẫu nhiên từ một phân phối rời rạc, gán cho xác suất các giá …

9 self-study  mathematical-statistics  inference  discrete-data 

Tôi quan tâm đến việc dự đoán Yvà đang nghiên cứu hai kỹ thuật đo lường khác nhau X1và X2. Chẳng hạn, tôi muốn dự đoán độ ngon của một quả chuối, bằng cách đo khoảng thời gian nó nằm trên bàn, hoặc bằng cách đo số lượng đốm nâu …

9 regression  linear-model  mixed-model 

Tôi đang tìm phương trình chính xác để tính hiệp phương sai mẫu không thiên vị. Các nguồn Internet khá hiếm về chủ đề này và tất cả đều sử dụng các phương trình khác nhau. Phương trình rất có thể tôi đã tìm thấy là phương trình này: qjk=∑Ni=1wi(∑Ni=1wi)2−∑Ni=1w2i∑Ni=1wi(xij−x¯j)(xik−x¯k).qjk=∑i=1Nwi(∑i=1Nwi)2−∑i=1Nwi2∑i=1Nwi(xij−x¯j)(xik−x¯k).q_{jk}=\frac{\sum_{i=1}^{N}w_i}{\left(\sum_{i=1}^{N}w_i\right)^2-\sum_{i=1}^{N}w_i^2} …

9 covariance  unbiased-estimator  weighted-data 

Trong bối cảnh suy luận dựa trên khả năng, tôi đã thấy một số ký hiệu liên quan đến (các) tham số mà tôi thấy hơi khó hiểu. Ví dụ: ký hiệu như và .pθ(x)pθ(x)p_{\theta}(x)Eθ[S(θ)]Eθ[S(θ)]{\mathbb E}_{\theta}\left[S(\theta)\right] Tầm quan trọng của tham số ( ) trong ký hiệu đăng ký ở …

9 expected-value  pdf  likelihood  notation 

Tôi có một bộ huấn luyện với khoảng 3000 trường hợp tích cực và 3000 trường hợp tiêu cực. Nhưng bộ dữ liệu thử nghiệm của tôi là khá nhiều không cân bằng. Tập hợp dương chỉ có 50 trường hợp và âm có 1500 trường hợp. Điều này gây …

9 machine-learning  classification  data-mining  svm 

Từ Wikipedia Chính thức, mối tương quan một phần giữa và đưa ra một tập hợp biến kiểm soát , được viết _ {XY · Z} , là mối tương quan giữa các phần dư RX và RY do hồi quy tuyến tính của X với Z và của Y …

9 correlation  partial-correlation  conditioning 

Tôi muốn tạo dữ liệu ngẫu nhiên từ phân phối bình thường bị ràng buộc bằng R. Ví dụ: tôi có thể muốn mô phỏng một biến từ phân phối bình thường mean=3, sd= 2và bất kỳ giá trị nào lớn hơn 5 được lấy lại từ cùng một phân …

9 r  normal-distribution  simulation  truncation 

Có ai biết gói chức năng hoặc gói R có thể giúp tôi biến điểm z thành điểm phần trăm không? Mục tiêu cuối cùng là phân loại hoặc xếp hạng một nhóm người trả lời thành bốn loại dựa trên độ cao của điểm z của họ (điểm thấp …

9 r  quantiles  change-scores 

Tôi có gần một triệu bộ dữ liệu và bất cứ khi nào tôi chạy thử nghiệm so sánh trung bình, ANOVA hoặc thử nghiệm t, tôi đều nhận được mức ý nghĩa nhỏ hơn 0,0001 trên SPSS. Tôi lo ngại rằng mẫu của tôi lớn đến mức tất nhiên …

9 anova  t-test  effect-size  large-data 

Tôi đã thấy những cuốn sách của Vapnik về học thống kê ... Tôi đã đọc một vài chương đầu tiên. Dù sao, điều làm tôi ngạc nhiên nhất là anh ấy nghĩ rằng dao cạo của Occam đã lỗi thời. Tôi nghĩ rằng nó có liên quan đến tình …

9 machine-learning  svm 

Tôi đang tự hỏi liệu có cách nào tốt để tính toán tiêu chí phân cụm dựa trên công thức BIC, cho đầu ra k-mean trong R không? Tôi hơi bối rối về cách tính BIC đó để tôi có thể so sánh nó với các mô hình phân cụm …

9 r  clustering  k-means  bic 

Đối với trình phân loại nhiều lớp xác suất, chúng ta có thể nhận được xác suất thành viên của một điểm mới cho mỗi lớp y i ; trong trường hợp 3 lớp giả sử ta nhận được P ( y a | x ) > P ( y …

9 probability  classification  svm  unsupervised-learning  uncertainty 

Chúng tôi có các điểm sau: Làm thế nào chúng ta có thể tìm thấy đường phù hợp nhất y = a x qua các điểm? Máy tính của tôi có tùy chọn để tìm dòng phù hợp nhất y = a x + b thông qua các điểm này, …

9 regression  intercept 

Tôi chưa quen với Thống kê và đã gặp phải vấn đề này trong khi chạy các phân tích của tôi về SPSS mà tôi không thể giải thích. Làm thế nào mà ngay cả sau khi chuyển đổi dữ liệu của tôi bằng cách đăng nhập dữ liệu, nó …

9 data-transformation  p-value  wilcoxon-mann-whitney