Thống kê và dữ liệu lớn

4

Tôi đã đọc các giá trị , tỷ lệ lỗi loại 1, mức ý nghĩa, tính toán công suất, kích thước hiệu ứng và cuộc tranh luận giữa Fisher và Neyman-Pearson. Điều này đã khiến tôi cảm thấy một chút choáng ngợp. Tôi xin lỗi về bức tường văn bản, …

31 hypothesis-testing statistical-significance confidence-interval p-value effect-size

4

Các giá trị tương đối của dữ liệu Winsorizing so với cắt tỉa là gì?

Winsorizing data có nghĩa là thay thế các giá trị cực đoan của một tập dữ liệu bằng một giá trị phần trăm nhất định từ mỗi đầu, trong khi Cắt xén hoặc Cắt xén liên quan đến việc loại bỏ các giá trị cực đoan đó. Tôi luôn thấy …

31 standard-deviation mean truncation trimmed-mean winsorizing

2

Giá trị chính xác của 'giá trị p' là vô nghĩa?

Tôi đã có một cuộc thảo luận với một nhà thống kê hồi năm 2009, nơi ông nói rằng giá trị chính xác của giá trị p là không liên quan: điều duy nhất quan trọng là nó có ý nghĩa hay không. Tức là một kết quả không thể …

31 statistical-significance p-value bonferroni

3

Xây dựng bộ mã hóa tự động trong Tensorflow để vượt qua PCA

Hinton và Salakhutdinov trong việc giảm kích thước dữ liệu với mạng nơ ron, Science 2006 đã đề xuất một PCA phi tuyến tính thông qua việc sử dụng bộ mã hóa tự động sâu. Tôi đã cố gắng xây dựng và huấn luyện bộ mã hóa tự động PCA …

31 pca python deep-learning tensorflow autoencoders

4

Tại sao giá trị p thấp hơn không có nhiều bằng chứng chống lại null? Luận cứ từ Johansson 2011

Johansson (2011) trong " Hail the could: p-value, bằng chứng và khả năng " (ở đây cũng liên kết với tạp chí ) nói rằng giá trị thấp hơn thường được coi là bằng chứng mạnh mẽ hơn chống lại null. Johansson ngụ ý rằng mọi người sẽ coi bằng …

31 hypothesis-testing statistical-significance p-value philosophical

8

Thay thế các ngoại lệ bằng trung bình

Câu hỏi này đã được hỏi bởi người bạn của tôi, người không rành về internet. Tôi không có nền tảng thống kê và tôi đã tìm kiếm trên internet cho câu hỏi này. Câu hỏi là: có thể thay thế các ngoại lệ bằng giá trị trung bình không? …

31 mean outliers robust winsorizing

2

Có gì khác biệt giữa những người học sâu chuyên sâu và mô hình đa cấp / phân cấp?

Có phải "học sâu" chỉ là một thuật ngữ khác cho mô hình đa cấp / phân cấp? Tôi quen thuộc với cái sau hơn cái trước, nhưng từ những gì tôi có thể nói, sự khác biệt chính không nằm ở định nghĩa của chúng, mà là cách chúng …

31 machine-learning multilevel-analysis hierarchical-bayesian deep-learning

1

Một số hướng dẫn hữu ích cho các tham số GBM là gì?

Một số hướng dẫn hữu ích để kiểm tra các tham số (ví dụ độ sâu tương tác, độ trễ, tốc độ mẫu, v.v.) bằng GBM là gì? Giả sử tôi có 70-100 tính năng, dân số 200.000 và tôi dự định kiểm tra độ sâu tương tác của 3 …

31 r hypothesis-testing cart boosting

1

Giảm kích thước (SVD hoặc PCA) trên một ma trận lớn, thưa thớt

/ chỉnh sửa: Theo dõi thêm bây giờ bạn có thể sử dụng irlba :: prcomp_irlba / chỉnh sửa: theo dõi trên bài viết của riêng tôi. irlbabây giờ có các đối số "trung tâm" và "tỷ lệ", cho phép bạn sử dụng nó để tính toán các thành phần …

31 r pca dimensionality-reduction svd matrix-decomposition

5

Đề xuất màu sắc và độ dày đường cho sơ đồ đường

Phần lớn đã được viết về các lựa chọn màu thân thiện với người mù màu cho các bản đồ, đa giác và các khu vực bóng mờ nói chung (xem ví dụ http://colorbrewer2.org ). Tôi không thể tìm thấy các đề xuất cho màu đường và độ dày đường …

31 r data-visualization

3

Từ chối dựa trên Entropy của mũi tên lạc hậu của Shalizi Bayesian về nghịch lý thời gian?

Trong bài báo này , nhà nghiên cứu tài năng Cosma Shalizi lập luận rằng để chấp nhận hoàn toàn một quan điểm Bayes chủ quan, người ta cũng phải chấp nhận một kết quả phi vật lý rằng mũi tên thời gian (được đưa ra bởi dòng chảy entropy) …

31 bayesian entropy maximum-entropy philosophical

5

Phát hiện các yếu tố dự báo quan trọng trong số nhiều biến độc lập

Trong một tập dữ liệu của hai quần thể không chồng chéo (bệnh nhân và khỏe mạnh, tổng ) tôi muốn tìm (trong số biến độc lập) các yếu tố dự báo quan trọng cho biến phụ thuộc liên tục. Tương quan giữa các yếu tố dự đoán là hiện …

31 regression pca feature-selection stepwise-regression underdetermined

2

Làm thế nào để vẽ ranh giới quyết định của phân loại hàng xóm gần nhất k từ Các yếu tố của học thống kê?

Tôi muốn tạo ra cốt truyện được mô tả trong cuốn sách ElemStatLearn "Các yếu tố của học thống kê: Khai thác dữ liệu, suy luận và dự đoán. Ấn bản thứ hai" của Trevor Hastie & Robert Tibshirani & Jerome Friedman. Cốt truyện là: Tôi tự hỏi làm thế …

31 r data-visualization k-nearest-neighbour

3

Tại sao lựa chọn biến là cần thiết?

Các quy trình lựa chọn biến dựa trên dữ liệu phổ biến (ví dụ: tiến, lùi, từng bước, tất cả các tập hợp con) có xu hướng tạo ra các mô hình với các thuộc tính không mong muốn, bao gồm: Các hệ số sai lệch so với không. Các …

31 modeling feature-selection

4

Phân tích với dữ liệu phức tạp, có gì khác nhau?

Nói ví dụ bạn đang làm một mô hình tuyến tính, nhưng dữ liệu rất phức tạp.yyy y=xβ+ϵy=xβ+ϵ y = x \beta + \epsilon Tập dữ liệu của tôi rất phức tạp, vì trong tất cả các số trong đều có dạng . Có bất cứ điều gì khác về …

31 regression anova data-transformation complex-numbers