Thống kê và dữ liệu lớn

Tôi đang đọc chương 13 "Những cuộc phiêu lưu trong hiệp phương sai" trong cuốn sách ( tuyệt vời ) Xem xét lại thống kê của Richard McElreath , nơi ông trình bày mô hình phân cấp sau: ( Rlà một ma trận tương quan) Tác giả giải thích rằng …

11 regression  self-study  correlation  prior  hierarchical-bayesian 

Tôi nhận thức được thực tế rằng các biến phân loại có cấp độ k nên được mã hóa bằng các biến k-1 trong mã hóa giả (tương tự đối với các biến phân loại đa giá trị). Tôi đã tự hỏi có bao nhiêu vấn đề khi mã hóa …

11 regression  multiple-regression  categorical-data  many-categories 

Tại sao thống kê p-value và ks-test giảm khi tăng cỡ mẫu? Lấy mã Python này làm ví dụ: import numpy as np from scipy.stats import norm, ks_2samp np.random.seed(0) for n in [10, 100, 1000, 10000, 100000, 1000000]: x = norm(0, 4).rvs(n) y = norm(0, 4.1).rvs(n) print ks_2samp(x, y) Kết …

11 python  p-value  goodness-of-fit  intuition  scipy 

Tôi mới tìm hiểu về khái niệm bootstrapping và một câu hỏi ngây thơ xuất hiện: Nếu chúng ta luôn có thể tạo ra nhiều mẫu bootstrap của dữ liệu của mình, tại sao lại phải lấy thêm dữ liệu "thực"? Tôi nghĩ rằng tôi có một lời giải thích, …

11 variance  bootstrap  bias 

Đã đóng cửa. Câu hỏi này không đúng chủ đề . Nó hiện không chấp nhận câu trả lời. Bạn muốn cải thiện câu hỏi này? Cập nhật câu hỏi để nó thuộc chủ đề cho Xác thực chéo. Đóng cửa năm ngoái . Việc đào tạo sau 15 epoch …

11 neural-networks  conv-neural-network  keras 

Trong một thử nghiệm t thông thường về phương tiện, sử dụng các phương pháp kiểm tra giả thuyết thông thường, chúng tôi sẽ từ chối null hoặc không từ chối null nhưng chúng tôi không bao giờ chấp nhận null. Một lý do cho điều này là nếu chúng …

11 hypothesis-testing  tost  non-inferiority 

Tôi phù hợp với một tập dữ liệu với một lớp mục tiêu nhị phân theo rừng ngẫu nhiên. Trong python, tôi có thể làm điều đó bằng Randomforest classifier hoặc Randomforestregressor. Tôi có thể nhận được phân loại trực tiếp từ phân loại ngẫu nhiên hoặc tôi có thể …

11 python  random-forest 

Tôi đang cố gắng để hiểu tại sao OLS đưa ra một công cụ ước tính sai lệch của quy trình AR (1). Hãy xem xét Trong mô hình này, tính ngoại lệ nghiêm ngặt bị vi phạm, tức là và có mối tương quan với nhau nhưng và không …

11 time-series  least-squares  bias  autoregressive  estimators 

Câu hỏi của tôi là xung quanh sự khác biệt về khái niệm giữa Holt-Winters và ARIMA. Theo tôi hiểu, Holt-Winters là trường hợp đặc biệt của ARIMA. Nhưng khi một thuật toán được ưa thích hơn thuật toán kia? Có lẽ Holt-Winters là gia tăng và do đó phục …

11 time-series  arima  exponential-smoothing 

Tôi đang thử nghiệm hồi quy từng bước vì mục đích đa dạng trong cách tiếp cận vấn đề của tôi. Vì vậy, tôi có 2 câu hỏi: Những lợi thế của hồi quy từng bước là gì? Điểm mạnh cụ thể của nó là gì? Bạn nghĩ gì về …

11 regression  feature-selection  stepwise-regression 

Đối với tác vụ xử lý ngôn ngữ tự nhiên (NLP), người ta thường sử dụng các vectơ word2vec như một cách nhúng cho các từ. Tuy nhiên, có thể có nhiều từ chưa biết mà các vectơ word2vec thu được chỉ đơn giản vì những từ này không được …

11 natural-language  word2vec  lstm  word-embeddings 

Tôi đang thực hiện quá trình tiền xử lý dữ liệu và sẽ xây dựng một Convonets trên dữ liệu của mình sau đó. Câu hỏi của tôi là: Giả sử tôi có tổng số bộ dữ liệu với 100 hình ảnh, tôi đã tính toán trung bình cho mỗi …

11 machine-learning  cross-validation  data-preprocessing 

Các cách được chấp nhận nhất để hình dung kết quả của một bài kiểm tra hai mẫu độc lập là gì? Là một bảng số thường được sử dụng hơn hoặc một số loại cốt truyện? Mục tiêu là để một người quan sát bình thường nhìn vào hình …

11 data-visualization  t-test 

Hãy xem xét một mô hình AR ( ) (giả sử không có nghĩa là đơn giản):ppp xt= φ1xt - 1+ ... + φpxt - p+ εtxt=φ1xt−1+…+φpxt−p+εt x_t = \varphi_1 x_{t-1} + \dotsc + \varphi_p x_{t-p} + \varepsilon_t Công cụ ước tính OLS (tương đương với công cụ ước tính …

11 time-series  maximum-likelihood  autoregressive  unbiased-estimator 

Tôi có một vấn đề với 6 lớp. Vì vậy, tôi xây dựng một trình phân loại đa lớp, như sau: đối với mỗi lớp, tôi có một trình phân loại Hồi quy Logistic, sử dụng One vs. All, có nghĩa là tôi có 6 trình phân loại khác nhau. …

11 machine-learning  logistic  classification  multi-class  confusion-matrix