Thống kê và dữ liệu lớn

Sự khác biệt giữa dữ liệu 'Chuẩn hóa' và dữ liệu 'Thu nhỏ' là gì? Cho đến bây giờ tôi nghĩ cả hai thuật ngữ đều đề cập đến cùng một quy trình nhưng bây giờ tôi nhận ra có một điều gì đó nữa mà tôi không biết / …

45 data-transformation  scales  normality-assumption  normalization 

Câu hỏi chính của tôi là làm thế nào để giải thích đầu ra (hệ số, F, P) khi tiến hành ANOVA loại I (tuần tự)? Vấn đề nghiên cứu cụ thể của tôi phức tạp hơn một chút, vì vậy tôi sẽ chia ví dụ của mình thành nhiều …

45 r  hypothesis-testing  anova  manova  sums-of-squares 

Có nhiều cách để đo mức độ phân phối xác suất tương tự nhau. Trong số các phương pháp phổ biến (trong các vòng tròn khác nhau) là: khoảng cách Kolmogorov: khoảng cách giữa các hàm phân phối; khoảng cách Kantorovich-Rubinstein: sự khác biệt tối đa giữa các kỳ vọng …

45 distributions  probability  hypothesis-testing  mathematical-statistics 

Câu hỏi này đã được tổ chức trong tâm trí của tôi trong hơn một tháng. Tạp chí Amstat News số tháng 2 năm 2015 có một bài viết của Giáo sư Berkeley Mark van der Laan mắng người ta sử dụng các mô hình không chính xác. Ông nói …

45 machine-learning  maximum-likelihood  modeling  nonparametric  parametric 

Tôi đã được hỏi nhiều lần câu hỏi: Dữ liệu lớn là gì? Cả bởi các sinh viên và người thân của tôi đang thu hút sự chú ý xung quanh số liệu thống kê và ML. Tôi tìm thấy bài CV này . Và tôi cảm thấy rằng tôi …

44 large-data 

Tôi đã tự hỏi nếu đối ứng của P (X = 1) đại diện cho bất cứ điều gì cụ thể?

44 probability 

Tôi đang cố gắng để hiểu phần tích chập của mạng nơ ron tích chập. Nhìn vào hình sau: Tôi không có vấn đề gì trong việc hiểu lớp chập đầu tiên trong đó chúng ta có 4 hạt nhân khác nhau (có kích thước ), chúng ta kết hợp …

44 machine-learning  neural-networks  deep-learning  conv-neural-network 

Các thử nghiệm thống kê truyền thống, giống như hai thử nghiệm t mẫu, tập trung vào việc cố gắng loại bỏ giả thuyết rằng không có sự khác biệt giữa chức năng của hai mẫu độc lập. Sau đó, chúng tôi chọn mức độ tin cậy và nói rằng …

44 hypothesis-testing  statistical-significance  confidence-interval  equivalence  tost 

Đây là một yêu thích của tôi Ví dụ này là trong một mạch hài hước (tín dụng cho một cựu giáo sư của tôi, Steven Gortmaker), nhưng tôi cũng quan tâm đến các biểu đồ mà bạn cảm thấy nắm bắt đẹp mắt và truyền đạt một cái nhìn …

44 data-visualization 

Tôi đã đọc rất nhiều bài báo học thuật tiến hóa / sinh thái, đôi khi với mục đích cụ thể là xem cách sử dụng số liệu thống kê 'trong thế giới thực' bên ngoài sách giáo khoa. Tôi thường lấy số liệu thống kê trong các bài báo …

44 publication-bias  academia 

Chúng tôi biết câu trả lời cho hai biến độc lập: V a r (XY) = E( X2Y2) - ( E( XY) )2= V a r ( X) V a r ( Y) + V a r ( X) ( E( Y) )2+ V a r ( Y) ( E( …

44 variance  random-variable  independence 

Gần đây tôi đã biết về phương pháp của Fisher để kết hợp các giá trị p. Điều này dựa trên thực tế là giá trị p dưới giá trị null tuân theo phân phối đồng đều và mà tôi nghĩ là thiên tài. Nhưng câu hỏi của tôi là …

44 hypothesis-testing  p-value  multiple-comparisons  central-limit-theorem  combining-p-values 

Thống kê Kappa ( ) được Cohen [1] giới thiệu vào năm 1960 để đo lường sự thỏa thuận giữa hai người. Phương sai của nó, tuy nhiên, đã là một nguồn mâu thuẫn trong một thời gian khá lâu.κκ\kappa Câu hỏi của tôi là về cách tính toán phương …

44 estimation  variance  reliability  cohens-kappa 

Nếu sở thích chỉ đơn thuần là ước tính các tham số của mô hình (ước tính theo điểm và / hoặc khoảng) và thông tin trước đó không đáng tin cậy, yếu, (tôi biết điều này hơi mơ hồ nhưng tôi đang cố gắng thiết lập một kịch bản …

44 bayesian  inference  prior  likelihood  information 

Tôi đã nhận thấy rằng có một vài triển khai của rừng ngẫu nhiên như ALGLIB, Bánh quế và một số gói R như thế nào randomForest. Ai đó có thể cho tôi biết liệu các thư viện này được tối ưu hóa cao? Về cơ bản chúng có tương …

44 random-forest  algorithms  model-evaluation