Thống kê và dữ liệu lớn large-data

1

Kiểm tra dữ liệu lớn cho tính quy tắc - làm thế nào và nó có đáng tin cậy không?

Tôi đang kiểm tra một phần của bộ dữ liệu của mình chứa 46840 giá trị gấp đôi từ 1 đến 1690 được nhóm thành hai nhóm. Để phân tích sự khác biệt giữa các nhóm này, tôi đã bắt đầu bằng cách kiểm tra phân phối các giá trị …

12 r normal-distribution normality-assumption large-data

4

Kiểm định giả thuyết với dữ liệu lớn

Làm thế nào để bạn thực hiện kiểm tra giả thuyết với dữ liệu lớn? Tôi đã viết kịch bản MATLAB sau đây để nhấn mạnh sự nhầm lẫn của tôi. Tất cả những gì nó làm là tạo ra hai chuỗi ngẫu nhiên và chạy hồi quy tuyến tính …

12 hypothesis-testing large-data

1

Khi nào tôi phải ngừng tìm kiếm một mô hình?

Tôi đang tìm kiếm một mô hình giữa dự trữ năng lượng và thời tiết. Tôi có giá của MWatt được mua giữa các quốc gia Châu Âu và rất nhiều giá trị về thời tiết (tệp Grib). Mỗi giờ trong khoảng thời gian 5 năm (2011-2015). Giá / ngày …

11 time-series forecasting predictive-models modeling large-data

1

Xử lý các tập dữ liệu lớn trong R - hướng dẫn, thực tiễn tốt nhất, v.v.

Tôi là một nhân viên R được yêu cầu thực hiện nhiều loại phân tích trên các tập dữ liệu lớn ở R. Vì vậy, trong khi tìm kiếm xung quanh trang web này và các nơi khác, tôi nhận thấy có rất nhiều vấn đề bí truyền và ít …

11 r large-data

1

PCA quy mô lớn thậm chí có thể?

Cách cổ điển của phân tích thành phần chính (PCA) là thực hiện nó trên ma trận dữ liệu đầu vào mà các cột có giá trị trung bình bằng 0 (sau đó PCA có thể "tối đa hóa phương sai"). Điều này có thể đạt được một cách dễ …

10 pca algorithms dimensionality-reduction large-data sparse

3

So sánh các mô hình hồi quy logistic nhị phân lồng nhau khi lớn

Để hỏi rõ hơn câu hỏi của tôi, tôi đã cung cấp một số kết quả đầu ra từ cả mô hình biến 16 ( fit) và mô hình biến 17 ( fit2) bên dưới (tất cả các biến dự đoán trong các mô hình này là liên tục, trong …

10 r regression logistic model-selection large-data

2

Liệu nó có ý nghĩa để tính khoảng tin cậy và kiểm tra các giả thuyết khi dữ liệu từ toàn bộ dân số có sẵn?

Liệu nó có ý nghĩa để tính khoảng tin cậy và kiểm tra các giả thuyết khi dữ liệu từ toàn bộ dân số có sẵn? Theo tôi, câu trả lời là không, vì chúng ta có thể tính toán chính xác các giá trị thực của các tham số. …

10 hypothesis-testing confidence-interval sample-size large-data population

3

Làm thế nào để xem dữ liệu chuỗi thời gian lớn tương tác?

Tôi thường xử lý lượng dữ liệu chuỗi thời gian có kích thước hợp lý, gấp 50-200 triệu với dấu thời gian liên quan và muốn hình dung chúng một cách linh hoạt. Có phần mềm hiện có để làm điều này một cách hiệu quả? Làm thế nào về …

10 time-series data-visualization large-data interactive-visualization

1

Xử lý các bộ dữ liệu chuỗi thời gian rất lớn

Tôi có quyền truy cập vào một tập dữ liệu rất lớn. Dữ liệu là từ các bản ghi MEG của những người nghe các trích đoạn âm nhạc, từ một trong bốn thể loại. Dữ liệu như sau: 6 môn học 3 lần lặp lại thí nghiệm (kỷ nguyên) …

10 machine-learning feature-selection large-data feature-construction

3

Phương pháp tiếp cận khi học từ bộ dữ liệu khổng lồ?

Về cơ bản, có hai cách phổ biến để học chống lại các bộ dữ liệu khổng lồ (khi bạn phải đối mặt với các hạn chế về thời gian / không gian): Gian lận :) - chỉ sử dụng tập hợp con "có thể quản lý" để đào tạo. …

10 machine-learning large-data model-evaluation train

1

K-nghĩa là: Có bao nhiêu lần lặp trong các tình huống thực tế?

Tôi không có kinh nghiệm trong ngành khai thác dữ liệu hoặc dữ liệu lớn vì vậy rất thích nghe bạn chia sẻ một số kinh nghiệm. Có phải mọi người thực sự chạy k-mean, PAM, CLARA, v.v. trên một tập dữ liệu thực sự lớn? Hoặc họ chỉ chọn …

10 clustering data-mining k-means convergence large-data

2

Hồi quy quy trình Gaussian cho các tập dữ liệu chiều cao

Chỉ muốn xem có ai có kinh nghiệm áp dụng hồi quy quy trình Gaussian (GPR) cho các tập dữ liệu chiều cao không. Tôi đang xem xét một số phương pháp GPR thưa thớt khác nhau (ví dụ GPR đầu vào giả thưa) để xem những gì có thể …

10 machine-learning predictive-models large-data gaussian-process

2

Giảm kích thước

Xem xét số lượng các tính năng không đổi, Barnes-Hut t-SNE có độ phức tạp là , các phép chiếu ngẫu nhiên và PCA có độ phức tạp của làm cho chúng "có giá phải chăng" cho các tập dữ liệu rất lớn.O ( n )O(nlogn)O(nlog⁡n)O(n\log n)O(n)O(n)O(n) Mặt khác, các …

9 pca dimensionality-reduction large-data multidimensional-scaling tsne

6

Những thuật toán học máy nào có thể được thu nhỏ bằng cách sử dụng hadoop / map-less

Các thuật toán học máy có thể mở rộng có vẻ như là tiếng vang ngày nay. Mỗi công ty đang xử lý không có gì thiếu dữ liệu lớn . Có một cuốn sách giáo khoa nào thảo luận về những thuật toán học máy nào có thể được …

9 machine-learning large-data

2

Bootstrapping tham số, bán định lượng và không tham số cho các mô hình hỗn hợp

Sau đây ghép được lấy từ bài viết này . Tôi là người mới sử dụng bootstrap và đang cố gắng thực hiện bootstrapping tham số, bán định lượng và không tham số cho mô hình hỗn hợp tuyến tính với R bootgói. Mã R Đây là Rmã của tôi …

9 r mixed-model bootstrap central-limit-theorem stable-distribution time-series hypothesis-testing markov-process r correlation categorical-data association-measure meta-analysis r anova confidence-interval lm r bayesian multilevel-analysis logit regression logistic least-squares eda regression notation distributions random-variable expected-value distributions markov-process hidden-markov-model r variance group-differences microarray r descriptive-statistics machine-learning references r regression r categorical-data random-forest data-transformation data-visualization interactive-visualization binomial beta-distribution time-series forecasting logistic arima beta-regression r time-series seasonality large-data unevenly-spaced-time-series correlation statistical-significance normalization population group-differences demography

Câu hỏi được gắn thẻ «large-data»