Thống kê và dữ liệu lớn

Tôi đang cố gắng tìm hiểu xem sự hiểu biết của tôi về xác thực chéo lồng nhau có đúng không, do đó tôi đã viết ví dụ về đồ chơi này để xem tôi có đúng không: import operator import numpy as np from sklearn import cross_validation from sklearn …

10 cross-validation  python  scikit-learn 

Tôi có một bộ dữ liệu không cân bằng trong một nhiệm vụ phân loại nhị phân, trong đó số tiền dương so với số âm là 0,3% so với 99,7%. Khoảng cách giữa tích cực và tiêu cực là rất lớn. Khi tôi huấn luyện một CNN với cấu …

10 classification  neural-networks  deep-learning  convolution  computer-vision 

Có đúng là ma trận hiệp phương sai tiệm cận bằng với ma trận hiệp phương sai của các ước tính tham số không? Nếu không, nó là gì? Và sự khác biệt giữa ma trận hiệp phương sai và ma trận hiệp phương sai tiệm cận trong trường hợp …

10 covariance  asymptotics 

Sự khác biệt trong việc sử dụng Mô hình tuyến tính tổng quát, chẳng hạn như Xác định mức độ liên quan tự động (ARD) và hồi quy độ dốc, so với các mô hình chuỗi thời gian như Box-Jenkins (ARIMA) hoặc làm mịn theo cấp số nhân để dự …

10 time-series  generalized-linear-model  forecasting 

Điều gì sẽ được chuẩn hóa tương đương với Skewness sẽ có cùng đơn vị với dữ liệu? Tương tự, những gì sẽ được chuẩn hóa tương đương với Kurtosis? Lý tưởng nhất là các hàm này phải tuyến tính đối với dữ liệu, nghĩa là nếu tất cả các …

10 skewness  kurtosis 

Trong thử nghiệm giả thuyết thống kê, giả thuyết null thường có dạng (ít nhất là trong các sách tôi đã đọc): hoặc H 0 : θ = θ 0 H 0 : θ ≤ θ 0 H 0 : θ 1 ≤ θ ≤ θ 2H0H0H_0H0:H0:θ = θ0q ≤ …

10 hypothesis-testing 

Hãy xem xét một biến ngẫu nhiên Bernoulli với tham số (xác suất thành công). Hàm khả năng và thông tin Fisher ( ma trận ) là:θ 1 × 1X∈{0,1}X∈{0,1}X\in\{0,1\}θθ\theta1×11×11 \times 1 L1(θ;X)I1(θ)=p(X|θ)=θX(1−θ)1−X=detI1(θ)=1θ(1−θ)L1(θ;X)=p(X|θ)=θX(1−θ)1−XI1(θ)=detI1(θ)=1θ(1−θ) \begin{align} \mathcal{L}_1(\theta;X) &= p(\left.X\right|\theta) = \theta^{X}(1-\theta)^{1-X} \\ \mathcal{I}_1(\theta) &= \det \mathcal{I}_1(\theta) = \frac{1}{\theta(1-\theta)} \end{align} Bây giờ hãy …

10 bernoulli-distribution  parameterization  fisher-information  determinant 

Tôi chân thành hy vọng rằng tôi đã đặt câu hỏi này theo cách mà nó có thể được trả lời dứt khoát - nếu không, xin vui lòng cho tôi biết và tôi sẽ thử lại! Tôi cũng nên đoán rằng tôi sẽ sử dụng R cho các phân …

10 hypothesis-testing  mixed-model  interaction  nonlinear  regression-strategies 

Hôm nay tôi đã nói chuyện với ai đó về việc lấy mẫu và mơ hồ nhớ một câu chuyện về một nhà thống kê rất được kính trọng khuyến nghị lấy mẫu có hệ thống từ danh bạ điện thoại trong một trường hợp pháp lý cụ thể. Tôi …

10 sampling  references  history 

Tôi chủ yếu có một nền tảng khoa học máy tính nhưng bây giờ tôi đang cố gắng dạy cho mình những chỉ số cơ bản. Tôi có một số dữ liệu mà tôi nghĩ có phân phối Poisson Tôi có hai câu hỏi: Đây có phải là một bản …

10 normal-distribution  data-transformation  poisson-distribution 

Tôi chỉ muốn kiểm tra xem tôi đang giải thích chính xác các lô ACF và PACF: Dữ liệu tương ứng với các lỗi được tạo giữa các điểm dữ liệu thực tế và các ước tính được tạo bằng mô hình AR (1). Tôi đã xem câu trả lời …

10 time-series  arima  interpretation  autocorrelation  acf-pacf 

Đặt là một mẫu ngẫu nhiên trong phân phối cho . I E,X1,...,XnX1,...,Xn X_1, ...,X_nGeometric(θ)Geometric(θ)Geometric(\theta)0&lt;θ&lt;10&lt;θ&lt;10<\theta<1 pθ( X ) = θ ( 1 - θ )x - 1Tôi{ 1 , 2 , . . . }( x )pθ(x)=θ(1−θ)x−1I{1,2,...}(x)p_{\theta}(x)=\theta(1-\theta)^{x-1} I_{\{1,2,...\}}(x) Tìm công cụ ước tính không thiên vị với phương sai tối …

10 probability  self-study  estimation  unbiased-estimator  exponential-family 

Tôi đang sử dụng hạt nhân bình phương bình phương (SE) cho hồi quy quy trình Gaussian. Ưu điểm của hạt nhân này là: 1) đơn giản: chỉ có 3 siêu đường kính; 2) mịn: hạt nhân này là Gaussian. Tại sao mọi người thích "độ mịn" rất nhiều? Tôi …

10 machine-learning 

Tôi có một ma trận tương quan , mà tôi thu được bằng cách sử dụng hệ số tương quan tuyến tính của Pearson thông qua Corrcoef () của Matlab . Ma trận tương quan có kích thước 100x100, tức là tôi đã tính ma trận tương quan trên 100 …

10 correlation 

Câu hỏi của tôi xuất phát từ việc đọc "Ước tính phân phối Dirichlet" của Minka , trong đó nêu rõ những điều sau đây mà không có bằng chứng trong bối cảnh thu được ước tính khả năng tối đa cho phân phối Dirichlet dựa trên quan sát các …

10 self-study  maximum-likelihood  exponential-family  sufficient-statistics