Thống kê và dữ liệu lớn

Trong tâm trí của tôi, phân kỳ KL từ phân phối mẫu sang phân phối thực sự chỉ đơn giản là sự khác biệt giữa entropy chéo và entropy chéo. Tại sao chúng ta sử dụng entropy chéo là hàm chi phí trong nhiều mô hình học máy, nhưng sử …

39 kullback-leibler  tsne  cross-entropy 

Khi chúng ta tiến hành hồi quy tuyến tính để phù hợp với một loạt các điểm dữ liệu ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x n , y n ) , phương pháp cổ …

39 least-squares  error 

Tôi đang cố gắng hiểu thế nào là tương đồng giữa Phân bổ Dirichlet tiềm ẩn và word2vec để tính độ tương tự từ. Theo tôi hiểu, LDA ánh xạ các từ thành một vectơ xác suất của các chủ đề tiềm ẩn , trong khi word2vec ánh xạ chúng …

39 machine-learning  self-study  natural-language  latent-variable  word2vec 

Tôi đã cố gắng sao chép các kết quả của tùy chọn Stata robusttrong R. Tôi đã sử dụng rlmmẫu lệnh gói MASS và cũng là lệnh lmrobtừ gói "mạnh mẽ". Trong cả hai trường hợp, kết quả khá khác so với tùy chọn "mạnh mẽ" trong Stata. Bất cứ …

39 r  stata  robust  robust-standard-error 

Có bất kỳ nghiên cứu thực nghiệm nào biện minh cho việc sử dụng một quy tắc lỗi tiêu chuẩn có lợi cho phân tích không? Rõ ràng nó phụ thuộc vào quá trình tạo dữ liệu của dữ liệu, nhưng bất cứ điều gì phân tích một khối lượng …

39 cross-validation  model-selection  regularization 

Câu hỏi của tôi là chúng ta có cần chuẩn hóa tập dữ liệu để đảm bảo tất cả các biến có cùng tỷ lệ, giữa [0,1], trước khi điều chỉnh hồi quy logistic. Công thức là: xi−min(xi)max(xi)−min(xi)xi−min(xi)max(xi)−min(xi)\frac{x_i-\min(x_i)}{\max(x_i)-\min(x_i)} Tập dữ liệu của tôi có 2 biến, chúng mô tả cùng …

39 regression  logistic  standardization 

Tôi đang tìm cách xếp hạng dữ liệu, trong một số trường hợp, giá trị lớn hơn có thứ hạng 1. Tôi tương đối mới với R, nhưng tôi không thấy cách tôi có thể điều chỉnh cài đặt này trong chức năng xếp hạng. x <- c(23,45,12,67,34,89) rank(x) tạo …

39 r 

Tôi đã tính AIC và AICc để so sánh hai mô hình hỗn hợp tuyến tính chung; Các AIC dương với mô hình 1 có AIC thấp hơn mô hình 2. Tuy nhiên, các giá trị cho AICc đều âm (mô hình 1 vẫn là <mô hình 2). Có hợp …

39 mixed-model  model-selection  aic 

Có một loạt các cuốn sách khoa học phổ biến thực sự tốt xung quanh, liên quan đến khoa học thực sự, cũng như lịch sử và lý do đằng sau các lý thuyết hiện tại, trong khi vẫn cực kỳ thú vị để đọc. Ví dụ: "Hỗn loạn" của …

39 references  communication 

Giả sử tôi có hai bản phân phối bình thường A và B với phương tiện và và phương sai và . Tôi muốn lấy hỗn hợp có trọng số của hai phân phối này bằng cách sử dụng trọng số và trong đó và . Tôi biết rằng giá …

39 normal-distribution  mixture 

Sự khác biệt giữa dân số và mẫu là gì? Những biến số và thống kê phổ biến nào được sử dụng cho từng loại và làm thế nào để chúng liên quan đến nhau?

38 standard-deviation  variance  sample  population 

Tôi đang nhận được độ chính xác 100% cho cây quyết định của mình. Tôi đang làm gì sai? Đây là mã của tôi: import pandas as pd import json import numpy as np import sklearn import matplotlib.pyplot as plt data = np.loadtxt("/Users/Nadjla/Downloads/allInteractionsnum.csv", delimiter=',') x = data[0:14] y = data[-1] …

38 machine-learning  python  cart  accuracy 

Trong phần Giới thiệu về Học thống kê với các ứng dụng trong R , các tác giả viết rằng việc điều chỉnh cây quyết định là rất nhanh, nhưng điều này không có ý nghĩa với tôi. Thuật toán phải đi qua mọi tính năng và phân vùng nó …

38 cart 

Để vẽ đồ thị với R, tôi nên học ggplot2 hoặc ggvis? Tôi không nhất thiết muốn học cả hai nếu một trong số họ vượt trội về mặt nào. Tại sao cộng đồng R tiếp tục tạo các gói mới với các chức năng chồng chéo? Bài đăng trên …

38 r  data-visualization  software 

Rõ ràng nhiều lần lý do tại sao một người thích một công cụ ước tính không thiên vị. Nhưng, có bất kỳ trường hợp nào mà chúng ta thực sự có thể thích một công cụ ước tính thiên vị hơn một trường hợp không thiên vị?

38 bias  unbiased-estimator  estimators