Thống kê và dữ liệu lớn

Tôi đã đọc cả hai trang wikipedia về phân tích độ nhạy và xác thực mô hình (ở đây, chỉ xác thực hồi quy tuyến tính) nhưng tôi không quản lý để tìm cách tách hai thuật ngữ này. Tôi có ấn tượng rằng cái đầu tiên được sử dụng …

9 validation  sensitivity-analysis 

Trong wiki, hàm softmax được định nghĩa là trình chuẩn hóa log-log của phân phối xác suất phân loại . Một lời giải thích một phần cho trình chuẩn hóa log được tìm thấy ở đây , nhưng gradient-log-normalizer dùng để làm gì?

9 softmax 

Tôi đang làm việc rộng rãi với các mô hình chuỗi thời gian tài chính, chủ yếu là AR (I) MA và Kalman. Một vấn đề tôi tiếp tục phải đối mặt là tần suất lấy mẫu. Ban đầu tôi đã nghĩ nếu được cung cấp khả năng lấy mẫu …

9 time-series  sampling  arima 

Tôi đang sử dụng adonis()hàm trong vegangói để xác định 1) nếu các loài vật chủ cùng xuất hiện khác nhau trong cộng đồng vi sinh vật của chúng trên nhiều trang web và 2) nếu các trang web khác nhau. Tôi đã kiểm tra tất cả các bài đăng …

9 r  permutation-test  sums-of-squares  blocking 

Hệ số tương quan Matthews ( ) là một phép đo để đo lường chất lượng của phân loại nhị phân ([Wikipedia] [1]). được đưa ra để phân loại nhị phân sử dụng dương tính thật ( ), dương tính giả ( ), âm tính giả ( ) và giá …

9 machine-learning  classification  multi-class  agreement-statistics 

Đồng nghiệp của tôi và tôi đang cố gắng che giấu sự khác biệt giữa hồi quy logistic và SVM. Rõ ràng họ đang tối ưu hóa các chức năng khách quan khác nhau. Là một SVM đơn giản như nói nó là một phân loại phân biệt đối xử …

9 regression  logistic  svm  max-margin 

Giả sử có phân phối nhị thức trong đó trước của tham số là đồng nhất. Làm thế nào tôi có thể có được phân phối sau của tham số?

9 bayesian  posterior 

Tôi quan sát thấy hàm lasso trong MATLAB tương đối chậm. Tôi chạy nhiều vấn đề hồi quy, với 1 đến 100 dự đoán và 200 đến 500 quan sát. Trong một số trường hợp, lasso hóa ra cực kỳ chậm (để giải quyết vấn đề hồi quy phải mất …

9 regression  feature-selection  regularization 

Tôi đang đọc bài viết này: dịch giả skype nơi họ sử dụng CD-DNN-HMM (Mạng lưới thần kinh sâu phụ thuộc bối cảnh với các mô hình Markov ẩn). Tôi có thể hiểu ý tưởng của dự án và kiến ​​trúc mà họ đã thiết kế nhưng tôi không hiểu …

9 neural-networks  deep-learning  terminology  natural-language  hidden-markov-model 

Tôi hơi bối rối trước một công thức được trình bày trong cuốn "Giới thiệu về học thống kê" của Hastie. Trong Chương 6, trang 212 (in lần thứ sáu, có sẵn ở đây ), có ghi rằng: Một tôiC= R SSn σ^2+ 2 ngàynAIC=RSSnσ^2+2dnAIC = \frac{RSS}{n\hat\sigma^2} + \frac{2d}{n} Đối …

9 regression  machine-learning  aic 

Đặt là các biến ngẫu nhiên được xác định trên cùng một không gian xác suất và để hiệp phương sai của và là hữu hạn, thì luật của công thức phân rã hiệp phương sai / hiệp phương sai nêu: Giải thích về cái gì và ?X YX, Y, …

9 probability  covariance  variance-decomposition 

Tôi đang tìm kiếm cả 1) cơ học và 2) giải thích trực quan về cách ảnh hưởng của các biến riêng lẻ được xác định giữ các biến khác không đổi. Trong một ví dụ sử dụng dữ liệu khảo sát, chính xác nó có nghĩa là gì: "giữ …

9 regression  interpretation 

Nghiên cứu về thuật toán xgboost tôi đã xem qua tài liệu này . Trong cách tiếp cận này, cây được chuẩn hóa bằng định nghĩa độ phức tạp trong đó và là các tham số, là số lá cuối cùng và là điểm số trong mỗi lá.Ω(f)=γT+12λ∑j=1Tw2jΩ(f)=γT+12λ∑j=1Twj2 \Omega(f) = …

9 cart  regularization  boosting  gradient-descent  overfitting 

Tôi đã được hỏi một câu hỏi liên quan đến một mô hình tuyến tính được thực hiện với R's lm: "Hồi quy có sử dụng bình phương tối thiểu lặp tuyến tính hay không tuyến tính không?" Tôi đã tìm kiếm một chút và [nghĩ rằng tôi] hiểu sự …

9 r  linear-model  lm 

Trong các mô hình CBOW và Skip-gram của word2vec, việc chọn vectơ từ từ (ma trận từ đầu vào) so với việc chọn vectơ từ từ (ma trận từ đầu ra) ảnh hưởng đến chất lượng của vectơ từ kết quả như thế nào?W 'WWWW′W′W' CBOW: Bỏ qua gram:

9 neural-networks  natural-language  word2vec  word-embeddings