Thống kê và dữ liệu lớn

Tôi đang đọc một cuốn sách giáo khoa về học máy (Khai thác dữ liệu của Witten, et al., 2011) và tình cờ thấy đoạn văn này: ... Hơn nữa, các bản phân phối khác nhau có thể được sử dụng. Mặc dù phân phối bình thường thường là một …

11 machine-learning  distributions 

Trong tài liệu này , liên quan đến lệnh "đặt hạt giống", người Stata thảo luận về các vấn đề liên quan đến cài đặt hạt giống khi tạo số giả ngẫu nhiên. Một "không" đáng chú ý là "không sử dụng chuỗi số tự nhiên như hạt giống, vì …

11 random-generation 

Một quy trình hoàn toàn ổn định nếu phân phối chung của giống như phân phối chung của cho tất cả , cho tất cả và cho tất cả .X t 1 , X t 2 , . . . , X t m X t 1 + k , …

11 time-series  autocorrelation  stochastic-processes  stationarity 

Tôi đang thực hiện nhiều hồi quy tuyến tính dưới đây trong R để dự đoán lợi nhuận của quỹ được quản lý. reg <- lm(formula=RET~GRI+SAT+MBA+AGE+TEN, data=rawdata) Ở đây chỉ GRI & MBA là các yếu tố dự đoán nhị phân / nhị phân; các dự đoán còn lại là …

11 r  multiple-regression  categorical-data  heteroscedasticity  residuals 

Vì tôi có bộ dữ liệu rất mất cân bằng (kết quả dương tính 9%), tôi đã quyết định đường cong thu hồi chính xác phù hợp hơn đường cong ROC. Tôi đã thu được số đo tóm tắt tương tự của khu vực dưới đường cong PR (.49, nếu …

11 classification  precision-recall  auc 

Tôi biết một số câu hỏi liên quan ở đây (ví dụ: thuật ngữ kiểm tra giả thuyết xung quanh null , Có thể chứng minh giả thuyết không? ) Nhưng tôi không biết câu trả lời dứt khoát cho câu hỏi của mình dưới đây. Giả sử một bài …

11 hypothesis-testing 

Tôi tiếp tục đọc về sự cần thiết phải kiểm tra tự động trong MCMC. Tại sao điều quan trọng là sự tự tương quan thấp? Nó đo lường cái gì trong bối cảnh của MCMC?

11 sampling  autocorrelation  mcmc 

Có thể sử dụng hồi quy để phát hiện lier. Tôi hiểu rằng có nhiều cách để cải thiện mô hình hồi quy bằng cách loại bỏ các ngoại lệ. Nhưng mục đích chính ở đây không phải là để phù hợp với mô hình hồi quy mà là tìm …

11 regression  outliers 

Giải pháp cho vấn đề: minmE[|m−X|]minmE[|m−X|] \min_{m} \; E[|m-X|] được biết đến là trung vị của XXX , nhưng hàm mất mát trông như thế nào đối với các phần trăm khác? Ví dụ: phân vị thứ 25 của X là giải pháp để: minmE[L(m,X)]minmE[L(m,X)] \min_{m} \; E[ L(m,X) ] …

11 expected-value  loss-functions 

Theo một số bài báo tôi đang đọc, khoảng cách Jeffries và Matusita thường được sử dụng. Nhưng tôi không thể tìm thấy nhiều thông tin về nó ngoại trừ công thức dưới đây JMD (x, y) =∑(xi−−√2−yi−−√2)2−−−−−−−−−−−−−√2∑(xi2−yi2)22\sqrt[2]{\sum(\sqrt[2]{x_i}-\sqrt[2]{y_i})^2} Nó tương tự như khoảng cách Euclide ngoại trừ căn bậc hai …

11 classification  k-nearest-neighbour  euclidean 

Tôi cần nghiên cứu các phương pháp Markov Chain Monte Carlo, để cụ thể hơn, tôi cần nghiên cứu thuật toán của Metropolis Hastings và tất cả về nó giống như các tiêu chí hội tụ. Ai có thể kê cho tôi một cuốn sách, một tờ giấy hoặc một …

11 references  mcmc 

Tôi có thể đào tạo một hồi quy logistic trong Rviệc sử dụng glm(y ~ x, family=binomial(logit))) nhưng, IIUC, điều này tối ưu hóa cho khả năng đăng nhập. Có cách nào để huấn luyện mô hình bằng cách sử dụng hàm mất tuyến tính ( ) (trong trường hợp …

11 logistic 

Tôi đã cố gắng hiểu Hiệp phương sai của hai biến ngẫu nhiên tốt hơn và hiểu người đầu tiên nghĩ về nó như thế nào, đã đi đến định nghĩa được sử dụng thường xuyên trong thống kê. Tôi đã đi đến wikipedia để hiểu nó tốt hơn. Từ …

11 correlation  covariance 

Tôi đã có một vài câu hỏi về việc diễn giải tỷ lệ cược cho các biến liên tục trong hồi quy logistic. Tôi cảm thấy đây là những câu hỏi cơ bản về hồi quy logistic (và có lẽ là về hồi quy nói chung), và mặc dù tôi …

11 regression  logistic 

Tôi đang cố gắng tìm ra SVR nào phù hợp với loại dữ liệu đó. Tôi biết 4 loại SVR: epsilon nu bình phương nhỏ nhất và tuyến tính. Tôi hiểu SVR tuyến tính ít nhiều giống như Lasso với L1 Reg, nhưng sự khác biệt giữa 3 kỹ thuật …

11 regression  svm