Thống kê và dữ liệu lớn

Tôi hơi bối rối và bối rối trước ý tưởng về cách xác định kỹ thuật dừng sớm. Nếu bạn xem Wikipedia , nó được định nghĩa như sau: Chia dữ liệu đào tạo thành tập huấn luyện và tập xác thực, ví dụ theo tỷ lệ 2 trên 1. …

8 machine-learning  neural-networks  cross-validation  hyperparameter 

Một cách tiếp cận để so sánh mô hình trong khung Bayes sử dụng biến chỉ báo Bernoulli để xác định mô hình nào trong hai mô hình có khả năng là "mô hình thực". Khi áp dụng các công cụ dựa trên MCMC để phù hợp với một mô …

8 bayesian  model-selection  prior 

Tôi đã bắt đầu trải qua các hướng dẫn của TensorFlow ở đây và tôi có một câu hỏi nhỏ về các tính toán entropy chéo. Hầu hết các địa điểm tôi đã thấy entropy chéo được tính bằng nhật ký cơ sở 2, nhưng tf.log là cơ sở e. …

8 tensorflow  cross-entropy 

Tôi có một dữ liệu trong đó kết quả là tỷ lệ của một loài được quan sát trong một khu vực bằng máy trong 2 ngày riêng biệt. Vì kết quả là một tỷ lệ và không bao gồm 0 hoặc 1, tôi đã sử dụng hồi quy beta …

8 regression  logistic  multiple-regression  beta-regression 

Theo hiểu biết của tôi, kinh tế lượng ước tính mối tương quan một phần ( ceteris paribus ) với mục đích chủ yếu là ước tính quan hệ nhân quả . Đối với điều đó, nó thường sử dụng toàn bộ dữ liệu có sẵn. Kinh tế lượng có …

8 machine-learning  econometrics 

Tôi muốn tránh lạm dụng các kiểm tra tính quy phạm trong đó một cỡ mẫu đủ lớn sẽ làm nổi bật bất kỳ tính phi quy tắc nhỏ nào. Tôi muốn có thể nói rằng một bản phân phối là "đủ bình thường". Khi dân số không bình thường, …

8 hypothesis-testing  normality-assumption  effect-size 

PCA tìm kiếm các yếu tố trong dữ liệu tối đa hóa phương sai được giải thích. Theo phân tích tương quan Canonical (CCA), theo như tôi hiểu, giống như một PCA nhưng tìm kiếm một yếu tố tối đa hóa hiệp phương sai giữa hai bộ dữ liệu. Vì …

8 pca  canonical-correlation  ica 

Bây giờ tôi mới chuyển sang GLM sau các mô hình tiêu chuẩn. Trong mô hình tiêu chuẩn, y = Xb + epsilon và epsilon được coi là phân phối bình thường. Điều đó có nghĩa là chúng ta có thể viết y - Xb = epsilon và sau đó …

8 generalized-linear-model  residuals 

Xin lỗi nếu điều này khó hiểu chút nào, tôi rất không quen với các phương tiện hình học. Đối với ngữ cảnh, tập dữ liệu của tôi là giá trị danh mục đầu tư cuối tháng 35. Tôi đã tìm thấy tốc độ tăng trưởng hàng tháng [Tháng (N) …

8 distributions  confidence-interval  geometric-mean 

Tôi đã đọc mô hình word2vec tiêu chuẩn / nổi tiếng và theo ghi chú của standord cho cs224n , hàm mục tiêu thay đổi từ: Joriginal=−∑j=0,j≠m2mu⊤c−m+jvc+2mlog(∑k=1|V|exp(u⊤kvc))Joriginal=−∑j=0,j≠m2muc−m+j⊤vc+2mlog(∑k=1|V|exp(uk⊤vc))J_{original} = -\sum^{2m}_{j=0,j\neq m} u^\top_{c-m+j} v_c + 2m log \left( \sum^{|V|}_{k=1} exp(u^{\top}_k v_c) \right) đến: JNS1=−logσ(u⊤c−m+jvc)−∑k=1Klogσ(−u⊤kvc)JNS1=−logσ(uc−m+j⊤vc)−∑k=1Klogσ(−uk⊤vc)J_{NS1} = -log \sigma( u^\top_{c-m+j} v_c ) - \sum^{K}_{k=1} …

8 neural-networks  deep-learning  natural-language  word2vec  word-embeddings 

Tôi có một câu hỏi liên quan đến việc tôi nên quan tâm đến một vi phạm tiềm năng từ tính bình thường của giả định dư trong mô hình hỗn hợp tuyến tính. Tôi có một bộ dữ liệu tương đối nhỏ và sau khi lắp mô hình (sử …

8 mixed-model  lme4-nlme 

Tôi gặp khó khăn trong việc tìm bất kỳ lời giải thích nào về lý do tại sao Q-learning tiêu chuẩn có xu hướng đánh giá quá cao các giá trị q (được giải quyết bằng cách sử dụng Q-learning kép). Các nguồn duy nhất tôi tìm thấy không thực …

8 machine-learning  reinforcement-learning 

Tôi đã tự hỏi tại sao mọi người sử dụng các quy trình Gaussian (GP) để mô hình hóa một hàm chưa biết (đôi khi xác định). Ví dụ, hãy xem xét một hàm chưa biết . Chúng tôi có ba quan sát độc lập từ chức năng này: y=f(x)y=f(x)y=f(x)(x1,y1);(x2,y2);(x3,y3)(x1,y1);(x2,y2);(x3,y3)\big(x_1,y_1); …

8 machine-learning  correlation  covariance  gaussian-process 

Phơi sáng và bù là hai kỹ thuật thường được sử dụng trong hồi quy Poisson bằng các chuyên gia tính toán để dự đoán tần suất yêu cầu. Từ sự hiểu biết của tôi, bù đắp và tiếp xúc là những điều giống nhau, vì vậy tôi không hiểu …

8 poisson-regression  offset 

Gần đây tôi thấy một thuật ngữ "bán tham số" trong các câu trả lời cho câu hỏi của tôi nhưng không thực sự hiểu thuật ngữ này có nghĩa là gì. Wikipedia nói Trong thống kê, một mô hình bán tổng thể là một mô hình thống kê có …

8 logistic  generalized-linear-model  nonparametric  parametric