Thống kê và dữ liệu lớn large-data

1

Làm thế nào để tính toán một phép đo chính xác dựa trên RMSE? Là tập dữ liệu lớn của tôi thường được phân phối?

Tôi có một vài bộ dữ liệu theo thứ tự hàng ngàn điểm. Các giá trị trong mỗi tập dữ liệu là X, Y, Z đề cập đến tọa độ trong không gian. Giá trị Z biểu thị sự khác biệt về độ cao tại cặp tọa độ (x, y). …

9 normal-distribution large-data

3

Làm thế nào để nhanh chóng chọn các biến quan trọng từ một tập dữ liệu rất lớn?

Tôi có một bộ dữ liệu với khoảng 2.000 biến nhị phân / 200.000 hàng và tôi đang cố gắng dự đoán một biến phụ thuộc nhị phân duy nhất. Mục tiêu chính của tôi trong giai đoạn này không phải là dự đoán chính xác, mà là xác định …

9 machine-learning data-mining large-data

3

Phân cụm không gian hiệu quả

Hầu hết các thuật toán phân cụm mà tôi thấy bắt đầu bằng việc tạo khoảng cách từng điểm cho tất cả các điểm, điều này trở thành vấn đề trên các bộ dữ liệu lớn hơn. Có ai không làm điều đó? Hoặc nó trong một số cách tiếp …

9 clustering algorithms large-data

2

Một mẫu có thể quá lớn cho ANOVA hoặc thử nghiệm t?

Tôi có gần một triệu bộ dữ liệu và bất cứ khi nào tôi chạy thử nghiệm so sánh trung bình, ANOVA hoặc thử nghiệm t, tôi đều nhận được mức ý nghĩa nhỏ hơn 0,0001 trên SPSS. Tôi lo ngại rằng mẫu của tôi lớn đến mức tất nhiên …

9 anova t-test effect-size large-data

4

Ước tính kích thước của tập dữ liệu

Một đồng nghiệp trong số liệu thống kê ứng dụng đã gửi cho tôi điều này: "Tôi đã tự hỏi nếu bạn biết bất kỳ cách nào để tìm ra kích thước thực của miền của hàm. Ví dụ: hình tròn là hàm một chiều trong không gian hai chiều. …

9 large-data

1

Tôi có thể lấy mẫu dữ liệu lớn ở mỗi lần lặp MCMC không?

Vấn đề: Tôi muốn thực hiện lấy mẫu Gibbs để suy ra một số hậu nghiệm trên một tập dữ liệu lớn. Thật không may, mô hình của tôi không đơn giản và do đó việc lấy mẫu quá chậm. Tôi sẽ xem xét các cách tiếp cận đa dạng …

8 sampling bootstrap mcmc large-data gibbs

1

Rừng ngẫu nhiên trong cài đặt Dữ liệu lớn

Tôi có một bộ dữ liệu với 5,818,446 dòng và 51 cột, trong đó 50 trong số đó là các yếu tố dự đoán. Phản ứng của tôi là định lượng, vì vậy tôi quan tâm đến mô hình hồi quy. Tôi đang cố gắng điều chỉnh một khu rừng …

8 r random-forest large-data

5

Tại sao các hồi quy không liên quan trở nên có ý nghĩa thống kê trong các mẫu lớn?

Tôi đang cố gắng để hiểu rõ hơn về ý nghĩa thống kê, kích thước hiệu ứng và những thứ tương tự. Tôi có một nhận thức (có lẽ là sai) rằng ngay cả các hồi quy không liên quan thường trở nên có ý nghĩa thống kê trong các …

8 regression statistical-significance effect-size large-data

2

Tại sao một mô hình thống kê sẽ phù hợp hơn nếu được cung cấp một bộ dữ liệu khổng lồ?

Dự án hiện tại của tôi có thể yêu cầu tôi xây dựng một mô hình để dự đoán hành vi của một nhóm người nhất định. tập dữ liệu huấn luyện chỉ chứa 6 biến (id chỉ dành cho mục đích nhận dạng): id, age, income, gender, job category, …

8 modeling large-data overfitting clustering algorithms error spatial r regression predictive-models linear-model average measurement-error weighted-mean error-propagation python standard-error weighted-regression hypothesis-testing time-series machine-learning self-study arima regression correlation anova statistical-significance excel r regression distributions statistical-significance contingency-tables regression optimization measurement-error loss-functions image-processing java panel-data probability conditional-probability r lme4-nlme model-comparison time-series probability probability conditional-probability logistic multiple-regression model-selection r regression model-based-clustering svm feature-selection feature-construction time-series forecasting stationarity r distributions bootstrap r distributions estimation maximum-likelihood garch references probability conditional-probability regression logistic regression-coefficients model-comparison confidence-interval r regression r generalized-linear-model outliers robust regression classification categorical-data r association-rules machine-learning distributions posterior likelihood r hypothesis-testing normality-assumption missing-data convergence expectation-maximization regression self-study categorical-data regression simulation regression self-study self-study gamma-distribution modeling microarray synthetic-data

1

Tọa độ sao so với phân tích thành phần chính

Tôi hiện đang chuẩn bị một bài thuyết trình cho một khóa học đại học về "Phân tích dữ liệu trực quan". Và một trong những chủ đề của tôi là hình dung "Phối hợp sao". Tọa độ sao Khi tọa độ sao thực hiện chuyển đổi dữ liệu chiều …

8 data-visualization pca large-data

2

R thay thế cho SAS cho dữ liệu lớn

Tôi biết rằng R không đặc biệt hữu ích cho việc phân tích các bộ dữ liệu lớn do R tải tất cả dữ liệu trong bộ nhớ trong khi một cái gì đó giống như SAS thực hiện phân tích tuần tự. Điều đó nói rằng, có các gói …

8 r sas large-data

3

Một số sử dụng ma trận dày đặc trong thống kê là gì?

OK, tôi không phải là một nhà thống kê (Thậm chí không gần gũi). Tôi là một nhà nghiên cứu High Performance Computing và tôi muốn có một vài trường hợp thử nghiệm cho Large (Lớn hơn 5000x5000) Rậm Ma trận. Tôi đã hỏi ở đây và một vài nơi …

8 large-data matrix

3

Thực hiện hồi quy trên các mẫu từ một tệp rất lớn: các phương tiện và SE của các hệ số ước lượng có phù hợp không?

Tôi có một tập tin khá larege 100M hàng và 30 cột hoặc hơn mà tôi muốn chạy nhiều hồi quy. Tôi có mã chuyên dụng để chạy hồi quy trên toàn bộ tệp, nhưng điều tôi muốn làm là rút các mẫu ngẫu nhiên từ tệp và chạy chúng …

8 r regression large-data bootstrap

2

Làm thế nào tôi có thể nhanh chóng phát hiện các biến gian lận trong dữ liệu lớn?

Giả sử Chúng ta có một tập dữ liệu với hàng triệu hàng và hàng nghìn cột và tác vụ là phân loại nhị phân. Khi chúng ta chạy mô hình hồi quy logistic, hiệu suất tốt hơn rất nhiều so với dự kiến, ví dụ, phân loại gần như …

7 algorithms linear large-data high-dimensional

Câu hỏi được gắn thẻ «large-data»