Thống kê và dữ liệu lớn

Gần đây tôi đã bắt gặp bài báo "Sự không đáng kể của thử nghiệm ý nghĩa giả thuyết Null", Jeff Gill (1999) . Tác giả đã nêu ra một số quan niệm sai lầm phổ biến liên quan đến kiểm tra giả thuyết và giá trị p, trong đó …

36 hypothesis-testing  p-value 

Hãy nói rằng chúng ta có một biến phụ thuộc với một vài loại và tập hợp các biến độc lập. YYY Những lợi thế của hồi quy logistic đa phương so với tập hồi quy logistic nhị phân (tức là sơ đồ một so với nghỉ ) là gì? …

36 logistic  categorical-data  multinomial 

Trong bài viết hiện tại về KHOA HỌC, những điều sau đây đang được đề xuất: Giả sử bạn chia ngẫu nhiên 500 triệu thu nhập cho 10.000 người. Chỉ có một cách để cung cấp cho mọi người một phần bằng nhau, 50.000 chia sẻ. Vì vậy, nếu bạn …

36 distributions  mathematical-statistics  exponential 

Gần đây tôi đã biết về một nguyên tắc của lý luận xác suất được gọi là " giải thích đi " và tôi đang cố gắng nắm bắt một trực giác cho nó. Hãy để tôi thiết lập một kịch bản. Gọi là sự kiện xảy ra trận động …

36 probability  intuition 

Tôi muốn sử dụng Lasso hoặc hồi quy sườn cho một mô hình với hơn 50.000 biến. Tôi muốn làm như vậy bằng cách sử dụng gói phần mềm trong R. Làm cách nào để ước tính tham số co ngót ( )?λλ\lambda Chỉnh sửa: Đây là điểm tôi đã …

36 r  lasso  ridge-regression  high-dimensional 

Đây là mùa tuyển sinh cho các trường sau đại học. Tôi (và nhiều sinh viên như tôi) hiện đang cố gắng quyết định nên chọn chương trình thống kê nào. Một số điều mà những người bạn làm việc với thống kê đề nghị chúng tôi xem xét về …

36 machine-learning  mathematical-statistics  careers 

Một phiên bản rất đơn giản của định lý giới hạn trung tâm như dưới đây là Lindeberg mật Lévy CLT. Tôi không hiểu tại sao lại có ở phía bên tay trái. Và Lyapunov CLT nói nhưng tại sao không phải ? Có ai cho tôi biết những yếu …

36 central-limit-theorem  intuition 

Tôi đã có một danh sách nhỏ các công ty cung cấp nền tảng để chạy các tập lệnh R, python hoặc octave trên các cụm được xây dựng trên đỉnh amazon EC2. Có những cái tên khác tôi nên thêm? Đám mây Opani crdata

36 r  machine-learning 

Tôi đã tìm kiếm nhiều trang web để biết chính xác thang máy sẽ làm gì? Kết quả mà tôi thấy tất cả là về việc sử dụng nó trong các ứng dụng chứ không phải chính nó. Tôi biết về chức năng hỗ trợ và tự tin. Từ Wikipedia, …

36 data-mining 

Nếu được phân phối , được phân phối và , tôi biết rằng được phân phối nếu X và Y độc lập.XXXN(μX,σ2X)N(μX,σX2)N(\mu_X, \sigma^2_X)YYYN(μY,σ2Y)N(μY,σY2)N(\mu_Y, \sigma^2_Y)Z=X+YZ=X+YZ = X + YZZZN(μX+μY,σ2X+σ2Y)N(μX+μY,σX2+σY2)N(\mu_X + \mu_Y, \sigma^2_X + \sigma^2_Y) Nhưng điều gì sẽ xảy ra nếu X và Y không độc lập, tức là (X,Y)≈N((μXμY),(σ2XσX,YσX,Yσ2Y))(X,Y)≈N((μXμY),(σX2σX,YσX,YσY2))(X, Y) …

36 normal-distribution  mathematical-statistics 

Tôi đang tìm cách đào tạo một bộ phân loại sẽ phân biệt giữa Type Avà Type Bcác đối tượng với một tập huấn hợp lý lớn với khoảng 10.000 đối tượng, khoảng một nửa trong số đó Type Avà một nửa trong số đó là Type B. Bộ dữ …

36 r  machine-learning  random-forest 

Tôi thấy một hồi quy bị ràng buộc tương tự ở đây: Hồi quy tuyến tính bị ràng buộc thông qua một điểm được chỉ định nhưng yêu cầu của tôi là hơi khác nhau. Tôi cần các hệ số cộng thêm lên 1. Cụ thể, tôi đang hồi quy …

36 r  regression 

Tôi muốn đo thời gian cần thiết để lặp lại hoạt động của một chức năng. Được replicate()và sử dụng vòng lặp for tương đương? Ví dụ: system.time(replicate(1000, f())); system.time(for(i in 1:1000){f()}); Đó là phương pháp ưa thích. Trong đầu ra của system.time(), sys+userthời gian CPU thực tế để chạy …

36 r 

Trong những điều kiện nào đó ai đó nên xem xét sử dụng phân tích đa cấp / phân cấp trái ngược với các phân tích cơ bản / truyền thống hơn (ví dụ: ANOVA, hồi quy OLS, v.v.)? Có bất kỳ tình huống trong đó điều này có thể …

36 mixed-model  multilevel-analysis 

Tôi thực sự thích nghe giải thích đơn giản cho các vấn đề phức tạp. Sự tương tự hoặc giai thoại yêu thích của bạn giải thích một khái niệm thống kê khó khăn là gì? Yêu thích của tôi là lời giải thích của Murray về sự hợp nhất …

36 teaching  communication