Thống kê và dữ liệu lớn

8

Thực hiện phân cụm K-nghĩa (hoặc họ hàng gần của nó) chỉ với một ma trận khoảng cách, không phải dữ liệu theo điểm

Tôi muốn thực hiện phân cụm K-nghĩa trên các đối tượng tôi có, nhưng các đối tượng không được mô tả là các điểm trong không gian, tức là theo objects x featurestập dữ liệu. Tuy nhiên, tôi có thể tính khoảng cách giữa hai đối tượng bất kỳ (nó …

22 machine-learning clustering data-mining k-means distance

4

Làm thế nào bạn sẽ thiết kế một hệ thống máy học để chơi Angry Birds?

Sau khi chơi quá nhiều Angry Birds, tôi bắt đầu quan sát các chiến lược của riêng mình. Hóa ra tôi đã phát triển một cách tiếp cận rất cụ thể để đạt được 3 sao trên mỗi cấp độ. Điều đó khiến tôi băn khoăn về những thách thức …

22 machine-learning reinforcement-learning

1

Tương quan nội bộ (ICC) cho một tương tác?

Giả sử tôi có một số phép đo cho từng đối tượng tại mỗi trang web. Hai biến, chủ đề và trang web, được quan tâm về các giá trị tương quan nội bộ (ICC). Thông thường tôi sẽ sử dụng chức năng lmertừ gói R lme4và chạy lmer(measurement ~ …

22 r lme4-nlme intraclass-correlation

3

AIC hoặc p-value: chọn cái nào để chọn mô hình?

Tôi hoàn toàn mới với điều R này nhưng không chắc chắn nên chọn mô hình nào. Tôi đã thực hiện hồi quy từng bước để chọn từng biến dựa trên AIC thấp nhất. Tôi đã đưa ra 3 mô hình mà tôi không chắc đó là "tốt nhất". Model …

22 model-selection aic stepwise-regression

2

Có thể tích lũy một tập hợp các số liệu thống kê mô tả một số lượng lớn các mẫu để sau đó tôi có thể tạo ra một boxplot không?

Tôi phải làm rõ ngay rằng tôi là một nhà phát triển phần mềm thực hành, không phải là một nhà thống kê và rằng lớp thống kê đại học của tôi cách đây rất lâu Điều đó nói rằng, tôi muốn biết nếu có một phương pháp để tích …

22 algorithms median quantiles

4

Khi nào thì kết quả của Shao khi xác thực chéo một lần áp dụng?

Trong bài viết Lựa chọn mô hình tuyến tính bằng cách xác thực chéo , Jun Shao cho thấy rằng đối với vấn đề lựa chọn biến trong hồi quy tuyến tính đa biến, phương pháp xác thực chéo một lần (LOOCV) là 'không nhất quán'. Trong tiếng Anh đơn …

22 classification model-selection cross-validation

1

Là những gì nó có nghĩa là với

Thông thường, trong quá trình (tự) của tôi nghiên cứu thống kê, tôi đã gặp thuật ngữ " σσ\sigma -algebra được tạo ra bởi một biến ngẫu nhiên". Tôi không hiểu định nghĩa trên Wikipedia , nhưng quan trọng nhất là tôi không có trực giác đằng sau nó. Tại …

22 probability random-variable sigma-algebra

3

Định dạng hình ảnh (png, jpg, gif) có ảnh hưởng đến cách mạng lưới thần kinh nhận dạng hình ảnh được đào tạo không?

Tôi biết rằng đã có rất nhiều tiến bộ liên quan đến nhận dạng hình ảnh, phân loại hình ảnh, vv với các mạng lưới thần kinh tích hợp, sâu. Nhưng nếu tôi đào tạo một mạng trên, giả sử, hình ảnh PNG, nó sẽ chỉ hoạt động cho hình …

22 neural-networks deep-learning image-processing

3

Tại sao chúng ta cần phải giả mã biến phân loại

Tôi không chắc chắn tại sao chúng ta cần phải giả mã biến phân loại. Chẳng hạn, nếu tôi có một biến phân loại với bốn giá trị có thể 0,1,2,3 tôi có thể thay thế nó bằng hai chiều. Nếu biến có giá trị 0, nó sẽ có 0,0 …

22 categorical-data categorical-encoding

5

Giả định của mô hình tuyến tính và phải làm gì nếu phần dư không được phân phối bình thường

Tôi hơi bối rối về các giả định của hồi quy tuyến tính là gì. Cho đến nay tôi đã kiểm tra xem: tất cả các biến giải thích tương quan tuyến tính với biến trả lời. (Đây là trường hợp) có bất kỳ sự cộng tác nào giữa các …

22 linear-model residuals assumptions normality-assumption

5

Lấy mẫu cho dữ liệu mất cân bằng trong hồi quy

Đã có những câu hỏi hay về việc xử lý dữ liệu mất cân bằng trong bối cảnh phân loại , nhưng tôi tự hỏi mọi người làm gì để lấy mẫu cho hồi quy. Nói rằng miền vấn đề rất nhạy cảm với dấu hiệu nhưng chỉ hơi nhạy …

22 regression sampling unbalanced-classes

6

Các xét nghiệm quy phạm phù hợp cho các mẫu nhỏ

Cho đến nay, tôi đã sử dụng thống kê Shapiro-Wilk để kiểm tra các giả định về tính quy tắc trong các mẫu nhỏ. Bạn có thể vui lòng giới thiệu một kỹ thuật khác?

22 hypothesis-testing goodness-of-fit normality-assumption small-sample

5

Trực giác định lý của Bayes

Tôi đã cố gắng phát triển một sự hiểu biết dựa trên trực giác về định lý của Bayes về mặt trước , sau , khả năng và xác suất cận biên . Cho rằng tôi sử dụng phương trình sau: trong đó đại diện cho một giả thuyết hoặc …

22 bayesian likelihood intuition

4

Tại sao đầu ra softmax không phải là thước đo độ không chắc chắn tốt cho các mô hình Deep Learning?

Tôi đã làm việc với Mạng thần kinh chuyển đổi (CNNs) một thời gian rồi, chủ yếu dựa trên dữ liệu hình ảnh để phân đoạn ngữ nghĩa / phân đoạn ngữ nghĩa. Tôi thường hình dung mức mềm của đầu ra mạng là "bản đồ nhiệt" để xem mức …

22 probability deep-learning conv-neural-network uncertainty softmax

5

Hồi quy đa thức thô hay trực giao?

Tôi muốn hồi quy một biến lên . Tôi nên làm điều này bằng cách sử dụng đa thức thô hoặc trực giao? Tôi đã xem xét câu hỏi trên trang web liên quan đến những vấn đề này, nhưng tôi không thực sự hiểu sự khác biệt giữa việc …

22 r regression polynomial