Thống kê và dữ liệu lớn

Trong học tập thống kê, ngầm hay rõ ràng, một luôn luôn giả định rằng các tập huấn luyện gồm tuples đầu vào / response được rút ra độc lập từ cùng một phân phối chung vớiD={X,y}D={X,y}\mathcal{D} = \{ \bf {X}, \bf{y} \}NNNP ( X , y )(Xi,yi)(Xi,yi)({\bf{X}}_i,y_i) P(X,y)P(X,y)\mathbb{P}({\bf{X}},y) p(X,y)=p(y|X)p(X)p(X,y)=p(y|X)p(X) …

54 machine-learning  cross-validation  non-independent  iid 

Có một phép biến đổi giống như Box-Cox cho các biến độc lập không? Đó là, một phép biến đổi tối ưu hóa biến sao cho sẽ phù hợp hơn cho mô hình tuyến tính?xxxy~f(x) Nếu vậy, có một chức năng để thực hiện điều này với R?

53 r  regression  data-transformation  normality-assumption 

Tôi xin lỗi nếu điều này có vẻ hơi quá cơ bản, nhưng tôi đoán tôi chỉ đang tìm cách xác nhận sự hiểu biết ở đây. Tôi có cảm giác tôi phải làm điều này theo hai bước và tôi đã bắt đầu thử tìm hiểu các ma trận …

53 probability  correlation  conditional-probability  random-generation 

EDIT: Chế độ xem tác vụ CRAN của Công nghệ và Dịch vụ Web chứa danh sách nguồn dữ liệu và API toàn diện hơn nhiều trong R. Bạn có thể gửi yêu cầu kéo trên github nếu bạn muốn thêm gói vào chế độ xem tác vụ. Tôi đang …

53 r  references  dataset 

Tôi đang xem xét sử dụng các thư viện Python để thực hiện các thí nghiệm Machine Learning của mình. Cho đến nay, tôi đã dựa vào WEKA, nhưng đã không hài lòng về tổng thể. Điều này chủ yếu là vì tôi thấy WEKA không được hỗ trợ tốt …

53 machine-learning  python 

Tôi đang phân tích một số dữ liệu mà tôi muốn thực hiện hồi quy tuyến tính thông thường, tuy nhiên điều này là không thể vì tôi đang xử lý một cài đặt trực tuyến với một luồng dữ liệu đầu vào liên tục (sẽ nhanh chóng trở nên …

53 time-series  regression  algorithms  real-time 

Hãy tưởng tượng thiết kế phổ biến sau đây: 100 người tham gia được phân bổ ngẫu nhiên vào nhóm điều trị hoặc nhóm đối chứng biến phụ thuộc là số và đo lường trước và sau điều trị Ba tùy chọn rõ ràng để phân tích dữ liệu đó …

53 anova  ancova  clinical-trials  change-scores 

Tôi muốn đo mật độ entropy / thông tin / độ giống mẫu của ma trận nhị phân hai chiều. Hãy để tôi hiển thị một số hình ảnh để làm rõ: Màn hình này phải có một entropy khá cao: A) Điều này nên có entropy trung bình: B) …

53 algorithms  binary-data  entropy  pattern-recognition  information 

Các nhà thống kê quan trọng nhất là gì, và điều gì làm cho họ nổi tiếng? (Xin hãy trả lời chỉ một nhà khoa học cho mỗi câu trả lời.)

53 methodology  history 

Với tất cả các đặc tính tốt của mô hình không gian trạng thái và KF, tôi tự hỏi - những bất lợi của mô hình hóa không gian trạng thái và sử dụng Bộ lọc Kalman (hoặc EKF, UKF hoặc bộ lọc hạt) để ước tính là gì? Trên …

53 time-series  arima  kalman-filter  var 

Bài đăng này là sự tiếp nối của một bài đăng khác liên quan đến một phương pháp chung để phát hiện ngoại lệ trong chuỗi thời gian . Về cơ bản, tại thời điểm này, tôi quan tâm đến một cách mạnh mẽ để khám phá tính định kỳ …

53 time-series  algorithms  frequency  real-time 

Trong hầu hết các mã Tensorflow tôi đã thấy Adam Tối ưu hóa được sử dụng với Tỷ lệ học tập không đổi là 1e-4(tức là 0,0001). Mã thường trông như sau: ...build the model... # Add the optimizer train_op = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) # Add the ops to initialize variables. These …

53 neural-networks  deep-learning  gradient-descent  tensorflow  adam 

Không có "phương sai không đổi" trong thuật ngữ lỗi có nghĩa là gì? Như tôi thấy, chúng ta có một dữ liệu với một biến phụ thuộc và một biến độc lập. Phương sai không đổi là một trong những giả định của hồi quy tuyến tính. Tôi đang …

53 regression  heteroscedasticity 

Chúng tôi đã có nhiều câu hỏi về dữ liệu không cân bằng khi sử dụng hồi quy logistic , SVM , cây quyết định , đóng gói và một số câu hỏi tương tự khác, điều gì làm cho nó trở thành một chủ đề rất phổ biến! Thật …

53 machine-learning  classification  predictive-models  unbalanced-classes 

Tôi cho rằng tôi cảm thấy thất vọng mỗi khi nghe ai đó nói rằng sự không bình thường của phần dư và / hoặc tính không đồng nhất vi phạm các giả định OLS. Để ước tính các tham số trong mô hình OLS, cả hai giả định này …

52 regression  assumptions  normality-assumption  robust  teaching