Thống kê và dữ liệu lớn

Tôi đang sử dụng Phân tích thành phần chính (PCA) để tạo ra một chỉ số cần thiết cho nghiên cứu của mình. Câu hỏi của tôi là làm thế nào tôi nên tạo một chỉ mục bằng cách sử dụng các thành phần chính được giữ lại được tính …

15 pca  factor-analysis  rating  composite  scale-construction 

Giáo sư thống kê của tôi nói như vậy, tất cả những cuốn sách mà tôi nhìn vào đều nói rằng: kiểm tra sau đại học là không khoa học. Bạn phải rút ra một giả thuyết từ lý thuyết trước, sau đó thu thập dữ liệu và phân tích …

15 post-hoc 

Tôi đang cố gắng sử dụng phân tích biến công cụ để suy ra quan hệ nhân quả với dữ liệu quan sát. Tôi đã bắt gặp một hồi quy hai bình phương nhỏ nhất (2SLS) có khả năng giải quyết vấn đề nội sinh trong nghiên cứu của tôi. …

15 stata  probit  instrumental-variables  2sls 

"Biến giả" và "biến chỉ báo" là các thuật ngữ được sử dụng thường xuyên để mô tả tư cách thành viên trong danh mục có mã hóa 0/1; thường là 0: Không phải là thành viên của thể loại, 1: Thành viên của thể loại. Vào ngày 26/11/2014, một …

15 categorical-data  terminology  categorical-encoding 

Nền tảng của tôi chủ yếu là học máy và tôi đã cố gắng tìm hiểu ý nghĩa của thử nghiệm giả thuyết Bayes. Tôi ổn với cách giải thích bayesian về xác suất và tôi quen với nó trong bối cảnh các mô hình đồ họa xác suất. Tuy …

15 hypothesis-testing 

Hãy xem xét một chiếc bình chứa quả bóng có màu khác nhau, với là tỷ lệ các quả bóng màu trong số các quả bóng ( ). Tôi vẽ quả bóng từ chiếc bình mà không cần thay thế và nhìn vào số có màu khác nhau trong số …

15 probability  expected-value  coupon-collector-problem 

Từ những gì tôi đã thấy, công thức làm mịn Kneser-Ney (bậc hai) theo cách này hay cách khác được đưa ra như P2KN(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn)PKN2(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn) \begin{align} P^2_{KN}(w_n|w_{n-1}) &= \frac{\max \left\{ C\left(w_{n-1}, w_n\right) - D, 0\right\}}{\sum_{w'} C\left(w_{n-1}, w'\right)} + \lambda(w_{n-1}) \times P_{cont}(w_n) \end{align} với hệ số chuẩn hóa được cho làλ(wn−1)λ(wn−1)\lambda(w_{n-1}) λ(wn−1)=D∑w′C(wn−1,w′)×N1+(wn−1∙)λ(wn−1)=D∑w′C(wn−1,w′)×N1+(wn−1∙) …

15 machine-learning  natural-language  naive-bayes  smoothing  language-models 

Gần đây tôi đã mua một tài nguyên phỏng vấn khoa học dữ liệu trong đó một trong những câu hỏi xác suất như sau: Rút ra từ một phân phối bình thường với các tham số đã biết, làm thế nào bạn có thể mô phỏng các bản vẽ …

15 self-study  normal-distribution  simulation  uniform 

Trong mô hình hiệu ứng hỗn hợp, khuyến nghị là sử dụng hiệu ứng cố định để ước tính một tham số nếu bao gồm tất cả các mức có thể (ví dụ: cả nam và nữ). Bạn cũng nên sử dụng hiệu ứng ngẫu nhiên để tính toán một …

15 mixed-model  random-effects-model  fixed-effects-model  many-categories 

Trong các bài giảng video từ Thống kê 110 của Harvard : Khóa học xác suất có thể tìm thấy trên iTunes và YouTube, tôi đã gặp phải vấn đề này. Tôi đã cố gắng tóm tắt nó ở đây: Giả sử chúng ta được trao một tay bài hai …

15 probability  conditional-probability  intuition 

Lưu ý: 50 điểm dữ liệu thô được đính kèm ngay bây giờ. Tôi muốn hiển thị bao nhiêu nghiên cứu tôi đã thực hiện và bao nhiêu trang tôi đã hoàn thành trong suốt cả tuần, chia tay theo ngày và tôi đã thực hiện như hình dưới đây: …

15 data-visualization 

\newcommand{\E}{\mathbb{E}} Làm thế nào để biến đổi A ( ⋅ ) = ∫ d uV 1 / 3 ( μ )A(⋅)=∫duV1/3(μ)A(\cdot) = \displaystyle\int\frac{du}{V^{1/3}(\mu)} cho gia đình hàm mũ nguồn gốc? Cụ thể hơn : Tôi đã cố gắng theo dõi bản phác thảo mở rộng Taylor ở trang 3, slide …

15 data-transformation  residuals  asymptotics  exponential-family 

Tôi có các mẫu từ bộ dữ liệu sai lệch (trông giống như phân phối theo cấp số nhân) về sự tham gia của người dùng (ví dụ: số lượng bài đăng), có kích thước khác nhau (nhưng không dưới 200) và tôi muốn so sánh ý nghĩa của chúng. …

15 hypothesis-testing  t-test  nonparametric  mean  skewness 

Tôi có hai biến - X và Y và tôi cần tạo tối đa cụm (và tối ưu) = 5. Biểu đồ lý tưởng của các biến như sau: Tôi muốn thực hiện 5 cụm này. Một cái gì đó như thế này: Vì vậy, tôi nghĩ rằng đây là …

15 r  clustering  gaussian-mixture 

Tôi có hai bộ dữ liệu và tôi muốn biết liệu chúng có khác nhau đáng kể hay không (điều này xuất phát từ " Hai nhóm có khác nhau đáng kể không? Thử nghiệm để sử dụng "). Tôi quyết định sử dụng thử nghiệm hoán vị, thực hiện …

15 p-value  permutation-test