Thống kê và dữ liệu lớn

Người ta biết rằng thuật toán k-mean chịu sự hiện diện của các ngoại lệ. k-mean ++ là một phương pháp hiệu quả để khởi động trung tâm cụm. Tôi đã trải qua PPT bởi những người sáng lập phương pháp, Sergei Vassilvitskii và David Arthur http://theory.stanford.edu/~sergei/slides/BATS-Means.pdf (slide 28) cho …

8 clustering  k-means 

Tôi có các dữ liệu sau, có thể được mô hình hóa bằng phân phối theo cấp số nhân Time 0-20 20-40 40-60 60-90 90-120 120-inf Frequency 41 19 16 13 9 2 Để kiểm tra xem dữ liệu có tuân theo phân phối hàm mũ không, tôi sẽ sử …

8 estimation  chi-squared  mean  exponential  binning 

Lần đầu tiên tôi nghiên cứu về mạng nơ ron nhân tạo (ANN) và tôi bị ấn tượng bởi cách các khái niệm về mạng nơ ron xuất hiện tương tự như mô hình phương trình cấu trúc (SEM). Ví dụ, các nút đầu vào trong ANN nhắc nhở tôi …

8 machine-learning  neural-networks  sem 

Trong vấn đề sàng lọc chụp nhũ ảnh thường được đề cập với khả năng sàng lọc là 80%, trước 10% và tỷ lệ dương tính giả là 50% hoặc các biến thể của nó, thật dễ dàng để giải thích rằng xác suất sau có điều kiện rằng sàng …

8 normalization  bayes  marginal 

Tôi mới sử dụng HMM và vẫn đang học. Tôi hiện đang sử dụng HMM để gắn thẻ một phần của bài phát biểu. Để thực hiện thuật toán viterbi, tôi cần xác suất chuyển tiếp ( ai,jai,j a_{i,j} \newcommand{\Count}{\text{Count}} ) và xác suất phát xạ ( bi(o)bi(o) b_i(o) ). …

8 probability  hidden-markov-model  laplace-smoothing  viterbi-algorithm 

Tôi đã thử chạy một công thức tương tự y ~ 1. Điều này mang lại cho tôi chỉ là một đánh chặn, nhưng giá trị được hiển thị bằng với ước tính chặn (không có đồng biến) + 1, hay chỉ là ước lượng chặn (không có đồng biến)? …

8 r  regression 

Trong boxplot()hàm trong R, tồn tại log =đối số để chỉ định xem một trục có nên nằm trên thang đo log hay không. Đối với tôi, nếu tôi chọn tùy chọn này (chỉ định log = "y"làm đối số), hình dạng của ô hộp sẽ trông giống như khi …

8 r  data-transformation  lognormal  boxplot 

Giả sử đặc tả hồi quy là Bất kể có ngẫu nhiên hay không, chúng ta sẽ cần giả định rằng được phân phối giống nhau cho tất cả . Tuy nhiên, nếu là biến ngẫu nhiên ngẫu nhiên thay vì giá trị cố định, thì cần một giả định …

8 regression  linear-model 

Nếu tôi có lý do lý thuyết để cho rằng dữ liệu có thể phù hợp với một phương trình bất thường như sau: Yi=(β0+β1x1i+β2x2i+ϵi)β3Yi=(β0+β1x1i+β2x2i+ϵi)β3Y_i = (\beta_0 + \beta_1x_{1i} + \beta_2x_{2i} + \epsilon_i)^{\beta_3} Tôi có thể sử dụng Bình phương tối thiểu bình phương nhiều hồi quy tuyến tính sau …

8 r  regression  nonlinear-regression 

Nói rằng tôi có dữ liệu binned này là đầu vào. Giá trị trung bìnhy¯iy¯i\bar{y}_i được trao cho mỗi lần kế tiếp ΔxiΔxi\Delta x_ikhoảng thời gian. Để đơn giản, hãy giả sử mật độ lấy mẫu là đồng nhất trong mỗi thùng. Bây giờ tôi muốn ước tính hàm bên …

8 algorithms  interpolation  binning 

Một số bạn bè / đồng nghiệp của tôi gần đây đã quan tâm đến mô hình phương trình cấu trúc và tôi đã phải đưa ra một số câu hỏi ngày càng tăng về SEM. Thông thường, những câu hỏi này là về cách diễn giải ý nghĩa của …

8 factor-analysis  sem  confirmatory-factor 

Giả sử rằng chúng ta có một ma trận . Các phép biến đổi khác nhau sử dụng các toán tử theo cột khác nhau có thể dẫn đến một ma trận đối xứng . Ví dụ: ma trận hiệp phương sai có thể được tính bằng toán tử sản …

8 correlation  terminology  covariance-matrix 

Tôi đang sử dụng hồi quy tuyến tính để ước tính các giá trị mà trong thực tế luôn không âm. Các biến dự đoán cũng không âm. Chẳng hạn, hồi quy số năm học và tuổi để dự đoán mức lương. Tất cả các biến trong trường hợp này …

8 regression  multiple-regression  least-squares 

Bởi "văn phòng phẩm" tôi có nghĩa là "văn phòng phẩm yếu". Hãy xem xét một phương trình AR (1) "đứng yên": Xt=φXt−1+εt,Xt=φXt−1+εt,X_t=\varphi X_{t-1}+\varepsilon_t, trong đó là các khoảnh khắc thời gian rời rạc, một tiếng ồn trắng không có nghĩa (chỉ là một chuỗi iid), . Người ta biết …

8 time-series  arima  stationarity  autoregressive 

Phép biến đổi Box-Cox biến đổi dữ liệu của chúng ta thành một bản phân phối bình thường. Làm thế nào mà thậm chí là một kỹ thuật thích hợp? Điều gì xảy ra nếu dữ liệu của chúng tôi không đến từ một phân phối bình thường? Làm thế …

8 data-transformation