Thống kê và dữ liệu lớn large-data

12

Làm cách nào để chuyển đổi dữ liệu không âm bao gồm số không?

Nếu tôi có dữ liệu tích cực sai lệch, tôi thường lấy nhật ký. Nhưng tôi nên làm gì với dữ liệu không âm rất sai lệch bao gồm số không? Tôi đã thấy hai phép biến đổi được sử dụng: đăng nhập( x + 1 )log⁡(x+1)\log(x+1) có tính năng …

191 data-transformation large-data

14

Là tập dữ liệu lớn không phù hợp để kiểm tra giả thuyết?

Trong một bài báo gần đây của Amstat News , các tác giả (Mark van der Laan và Sherri Rose) đã tuyên bố rằng "Chúng tôi biết rằng đối với các cỡ mẫu đủ lớn, mọi nghiên cứu bao gồm cả những giả thuyết không có hiệu lực là không …

129 hypothesis-testing sample-size dataset large-data

5

Những kỹ năng cần thiết để thực hiện phân tích thống kê quy mô lớn?

Nhiều công việc thống kê yêu cầu kinh nghiệm với dữ liệu quy mô lớn. Các loại kỹ năng thống kê và tính toán sẽ cần để làm việc với các tập dữ liệu lớn. Ví dụ, làm thế nào về việc xây dựng các mô hình hồi quy được …

107 regression machine-learning multivariate-analysis large-data

7

Những thách thức công nghiệp và Kaggle. Việc thu thập nhiều quan sát hơn và có quyền truy cập vào nhiều biến quan trọng hơn mô hình ưa thích?

Tôi hy vọng tiêu đề là tự giải thích. Trong Kaggle, hầu hết người chiến thắng sử dụng xếp chồng với đôi khi hàng trăm mô hình cơ sở, để tăng thêm vài% MSE, độ chính xác ... Nói chung, theo kinh nghiệm của bạn, mô hình lạ mắt quan …

56 large-data stacking collecting-data kaggle

8

Việc lấy mẫu có liên quan trong thời điểm 'dữ liệu lớn' không?

Hay nhiều hơn "nó sẽ"? Dữ liệu lớn làm cho số liệu thống kê và kiến thức có liên quan trở nên quan trọng hơn nhưng dường như không phù hợp với Lý thuyết lấy mẫu. Tôi đã thấy sự cường điệu này xung quanh 'Dữ liệu lớn' và không …

54 sampling data-mining large-data

10

Một thuật toán tốt để ước tính trung vị của một tập dữ liệu đọc một lần rất lớn là gì?

Tôi đang tìm kiếm một thuật toán tốt (có nghĩa là tính toán tối thiểu, yêu cầu lưu trữ tối thiểu) để ước tính trung vị của một tập dữ liệu quá lớn để lưu trữ, sao cho mỗi giá trị chỉ có thể được đọc một lần (trừ khi …

48 algorithms median large-data

10

Chính xác thì Big Data là gì?

Tôi đã được hỏi nhiều lần câu hỏi: Dữ liệu lớn là gì? Cả bởi các sinh viên và người thân của tôi đang thu hút sự chú ý xung quanh số liệu thống kê và ML. Tôi tìm thấy bài CV này . Và tôi cảm thấy rằng tôi …

44 large-data

2

Làm thế nào để rút ra kết luận hợp lệ từ dữ liệu lớn của Viking?

"Dữ liệu lớn" có ở khắp mọi nơi trên các phương tiện truyền thông. Mọi người đều nói rằng "dữ liệu lớn" là điều quan trọng trong năm 2012, ví dụ cuộc thăm dò của KDNuggets về các chủ đề nóng cho năm 2012 . Tuy nhiên, tôi có mối …

40 data-mining dataset large-data validation

6

Hiệu ứng kích thước như giả thuyết để thử nghiệm ý nghĩa

Hôm nay, tại Câu lạc bộ Tạp chí Xác thực chéo (tại sao bạn không ở đó?), @Mbq hỏi: Bạn có nghĩ rằng chúng ta (các nhà khoa học dữ liệu hiện đại) biết ý nghĩa quan trọng không? Và làm thế nào nó liên quan đến sự tự tin …

37 hypothesis-testing p-value large-data

5

Dữ liệu miễn phí được thiết lập để phân loại chiều rất cao [đóng]

Tập dữ liệu có sẵn miễn phí để phân loại với hơn 1000 tính năng (hoặc điểm mẫu nếu nó chứa đường cong) là gì? Đã có một wiki cộng đồng về các bộ dữ liệu miễn phí: Định vị các mẫu dữ liệu có sẵn miễn phí Nhưng ở …

35 machine-learning classification dataset large-data

3

Hồi quy đa thức sử dụng scikit-learn

Tôi đang cố gắng sử dụng scikit-learn cho hồi quy đa thức. Từ những gì tôi đọc hồi quy đa thức là một trường hợp đặc biệt của hồi quy tuyến tính. Tôi đã hy vọng rằng có thể một trong những mô hình tuyến tính tổng quát của scikit …

29 regression machine-learning large-data polynomial scikit-learn

9

Các công cụ phần mềm khai thác dữ liệu và thống kê để xử lý các bộ dữ liệu lớn

Hiện tại tôi phải phân tích khoảng 20 triệu hồ sơ và xây dựng các mô hình dự đoán. Cho đến nay tôi đã thử dùng Statistica, SPSS, RapidMiner và R. Trong số các Statistica này có vẻ phù hợp nhất để xử lý khai thác dữ liệu và giao …

27 large-data software data-mining

1

Học trực tuyến nghệ thuật

Gần đây tôi đã làm việc với các tập dữ liệu lớn và tìm thấy rất nhiều bài viết về phương pháp phát trực tuyến. Đến tên một vài: Theo dõi thường xuyên và lãnh đạo gương: Định lý tương đương và chính quy hóa L1 ( http://jmlr.org/proceedings/ con / …

25 machine-learning references large-data online

1

Làm thế nào để hình dung một bảng dự phòng rất lớn thưa thớt?

Tôi có hai biến: Tên thuốc (DN) và Sự kiện bất lợi (AE) tương ứng, đứng trong mối quan hệ nhiều-nhiều. Có 33.556 tên thuốc và 9.516 tác dụng phụ. Cỡ mẫu là khoảng 5,8 triệu quan sát. Tôi muốn nghiên cứu và hiểu mối liên hệ / mối quan …

24 r categorical-data data-visualization large-data association-measure

3

Bước đầu tiên cho dữ liệu lớn ( , )

Giả sử bạn đang phân tích một bộ dữ liệu khổng lồ theo giai điệu của hàng tỷ quan sát mỗi ngày, trong đó mỗi quan sát có một vài nghìn biến số và danh mục có thể dư thừa và có thể dư thừa. Giả sử có một vấn …

21 r machine-learning data-mining large-data

Câu hỏi được gắn thẻ «large-data»