Thống kê và dữ liệu lớn

Gần đây tôi đã đọc rất nhiều về sự khác biệt giữa phương pháp kiểm tra giả thuyết của Fisher và trường phái tư tưởng Neyman-Pearson. Câu hỏi của tôi là, bỏ qua những phản đối triết học trong một khoảnh khắc; Khi nào chúng ta nên sử dụng phương …

73 hypothesis-testing  p-value  methodology 

Lấy cảm hứng từ một bình luận từ câu hỏi này : Điều gì chúng ta xem là "không thông tin" trong một ưu tiên - và thông tin nào vẫn được chứa trong một trước được cho là không thông tin? Tôi thường nhìn thấy sự ưu tiên trong …

73 bayesian  prior 

Tôi đang tự hỏi làm thế nào để tính toán các biện pháp chính xác và thu hồi để phân loại đa nhãn, nghĩa là phân loại có nhiều hơn hai nhãn và mỗi trường hợp có thể có nhiều nhãn?

72 machine-learning  classification  precision-recall  multi-class 

Trong bối cảnh đề xuất nghiên cứu về khoa học xã hội, tôi đã được hỏi câu hỏi sau: Tôi đã luôn đi hơn 100 m (trong đó m là số lượng dự đoán) khi xác định cỡ mẫu tối thiểu cho nhiều hồi quy. Điều này có phù hợp …

72 regression  sample-size  power-analysis  rule-of-thumb 

Bối cảnh : Tôi không được đào tạo chính thức về thống kê Bayes (mặc dù tôi rất thích tìm hiểu thêm), nhưng tôi biết đủ - tôi nghĩ - để có được ý chính tại sao nhiều người cảm thấy thích hợp với thống kê Thường xuyên hơn. Ngay …

72 bayesian  frequentist  philosophical 

Thời gian chờ phân phối poisson là phân phối theo cấp số nhân với tham số lambda. Nhưng tôi không hiểu nó. Poisson mô hình số lượng khách đến trên một đơn vị thời gian chẳng hạn. Làm thế nào điều này có liên quan đến phân phối theo cấp …

72 distributions  poisson-distribution  exponential 

Tôi đã thấy ở đâu đó rằng khoảng cách cổ điển (như khoảng cách Euclide) trở nên phân biệt đối xử yếu khi chúng ta có dữ liệu đa chiều và thưa thớt. Tại sao? Bạn có một ví dụ về hai vectơ dữ liệu thưa thớt trong đó khoảng …

72 machine-learning  clustering  data-mining  sparse  euclidean 

Các giả định thông thường cho hồi quy tuyến tính là gì? Họ có bao gồm: một mối quan hệ tuyến tính giữa biến độc lập và biến phụ thuộc lỗi độc lập phân phối lỗi bình thường đồng đẳng Có ai khác không?

72 regression  assumptions 

Entropy của Shannon là âm của tổng xác suất của mỗi kết quả nhân với logarit của xác suất cho mỗi kết quả. Mục đích nào của logarit phục vụ trong phương trình này? Một câu trả lời trực quan hoặc trực quan (trái ngược với câu trả lời toán …

72 entropy  intuition  sequence-analysis 

Ridge hệ số hồi quy ước lượng β R là những giá trị mà giảm thiểuβ^Rβ^R\hat{\beta}^R RSS+λ∑j=1pβ2j.RSS+λ∑j=1pβj2. \text{RSS} + \lambda \sum_{j=1}^p\beta_j^2. Câu hỏi của tôi là: Nếu , sau đó chúng ta thấy rằng các biểu thức trên làm giảm đến RSS bình thường. Điều gì nếu bước sóng → …

71 ridge-regression  statistical-learning  history 

Trong khóa học máy của Andrew Ng , ông giới thiệu hồi quy tuyến tính và hồi quy logistic, và chỉ ra cách điều chỉnh các tham số mô hình bằng cách sử dụng phương pháp giảm độ dốc và phương pháp Newton. Tôi biết giảm dần độ dốc có …

71 regression  machine-learning  logistic  gradient-descent 

Dường như việc khai thác dữ liệu và học máy trở nên phổ biến đến mức hầu như mọi sinh viên CS đều biết về phân loại, phân cụm, NLP thống kê ... vv. Vì vậy, dường như việc tìm kiếm các công cụ khai thác dữ liệu ngày nay …

71 machine-learning  data-mining 

Làm cách nào để xóa các hàng trùng lặp khỏi khung dữ liệu mẫu này? A 1 A 1 A 2 B 4 B 1 B 1 C 2 C 2 Tôi muốn xóa các bản sao dựa trên cả hai cột: A 1 A 2 B 4 B 1 …

71 r 

Điểm thành phần chính (điểm PC, điểm PCA) là gì?

71 pca  definition 

Câu hỏi: Có bất kỳ ví dụ hay nào về nghiên cứu tái sản xuất bằng R được cung cấp trực tuyến miễn phí không? Ví dụ lý tưởng: Cụ thể, các ví dụ lý tưởng sẽ cung cấp: Dữ liệu thô (và lý tưởng là dữ liệu meta giải …

71 r  references  reproducible-research