Thống kê và dữ liệu lớn

Một thực tiễn tốt phổ biến trong Machine Learning là thực hiện tính năng chuẩn hóa hoặc chuẩn hóa dữ liệu của các biến dự đoán, đó là, tập trung vào dữ liệu trừ giá trị trung bình và chuẩn hóa nó chia cho phương sai (hoặc độ lệch chuẩn). …

52 machine-learning  normalization  standardization  multidimensional-scaling 

Tôi đã đọc Bản saopppppp p p giấy và của 2008 của Geoff Cumming : Các giá trị dự đoán tương lai một cách mơ hồ, nhưng khoảng tin cậy làm tốt hơn nhiều [~ 200 trích dẫn trong Google Scholar] - và bị nhầm lẫn bởi một trong những …

52 hypothesis-testing  p-value  power  replicability 

Nếu tôi chạy một randomForestmô hình, thì tôi có thể đưa ra dự đoán dựa trên mô hình đó. Có cách nào để có được một khoảng dự đoán của từng dự đoán để tôi biết mô hình đó "chắc chắn" như thế nào về câu trả lời của nó …

52 r  confidence-interval  random-forest 

Nhiều tác giả của bài báo tôi đọc khẳng định các SVM là kỹ thuật vượt trội để đối mặt với vấn đề hồi quy / phân loại của họ, nhận thấy rằng họ không thể nhận được kết quả tương tự thông qua NN. Thường thì sự so sánh …

52 machine-learning  svm  neural-networks 

Tôi đã đọc cuốn sách "Phân tích dữ liệu khám phá" của Tukey. Được viết vào năm 1977, cuốn sách nhấn mạnh các phương pháp giấy / bút chì. Có một người kế vị 'hiện đại' hơn có tính đến việc bây giờ chúng ta có thể lập biểu đồ …

52 data-visualization  references  descriptive-statistics  eda 

Đối với vấn đề Lasso sao cho . Tôi thường thấy kết quả ngưỡng mềm \ beta_j ^ {\ text {lasso}} = \ mathrm {sgn} (\ beta ^ {\ text {LS}} _ j) (| \ beta_j ^ {\ text {LS}} | - \ gamma) ^ + cho trường hợp X …

52 lasso 

Các trang Wikipedia trên ANOVA liệt kê ba giả định , cụ thể là: Độc lập của các trường hợp - đây là một giả định của mô hình đơn giản hóa việc phân tích thống kê. Bình thường - sự phân phối của phần dư là bình thường. Bình …

52 anova  residuals  assumptions  normality-assumption 

Giả sử rằng tôi có ba quần thể với bốn đặc điểm loại trừ lẫn nhau. Tôi lấy các mẫu ngẫu nhiên từ mỗi quần thể và xây dựng bảng chéo hoặc bảng tần số cho các đặc điểm mà tôi đang đo. Tôi có đúng không khi nói rằng: …

52 chi-squared  proportion  contingency-tables  z-test 

Có vẻ như rất nhiều người (bao gồm cả tôi) thích phân tích dữ liệu khám phá trong Excel. Một số hạn chế, chẳng hạn như số lượng hàng được cho phép trong bảng tính, là một vấn đề khó khăn nhưng trong hầu hết các trường hợp, không thể …

52 software  computational-statistics  excel 

Tôi có một ma trận (đối xứng) Mđại diện cho khoảng cách giữa mỗi cặp nút. Ví dụ, ABCDEFGHIJKL A 0 20 20 20 40 60 60 60 100 120 120 120 B 20 0 20 20 60 80 80 80 120 140 140 140 C 20 20 0 20 …

52 clustering 

Một phân phối Gaussian được tiêu chuẩn hóa trên có thể được xác định bằng cách cung cấp rõ ràng mật độ của nó: RR\mathbb{R}12π−−√e−x2/212πe−x2/2 \frac{1}{\sqrt{2\pi}}e^{-x^2/2} hoặc chức năng đặc trưng của nó. Như đã nhắc lại trong câu hỏi này, đây cũng là phân phối duy nhất mà giá …

52 probability  normal-distribution  mathematical-statistics  characteristic-function 

Tôi có một bộ dữ liệu ở dạng (tính năng, đầu ra nhị phân 0 hoặc 1), nhưng 1 xảy ra khá hiếm, vì vậy chỉ cần luôn dự đoán 0, tôi có được độ chính xác từ 70% đến 90% (tùy thuộc vào dữ liệu cụ thể mà tôi …

52 machine-learning  classification  binary-data  unbalanced-classes 

Tôi hiểu làm thế nào một artificial neural network (ANN), có thể được đào tạo một cách có giám sát bằng cách sử dụng backpropogation để cải thiện sự phù hợp bằng cách giảm lỗi trong các dự đoán. Tôi đã nghe nói rằng ANN có thể được sử dụng …

52 clustering  neural-networks  unsupervised-learning  self-organizing-maps 

Tôi đang xây dựng mô hình hồi quy. Là bước tiền xử lý, tôi chia tỷ lệ các giá trị tính năng của mình thành trung bình 0 và độ lệch chuẩn 1. Có cần phải chuẩn hóa các giá trị đích không?

52 regression  machine-learning 

Nhiều nghiên cứu trong khoa học xã hội sử dụng thang đo Likert. Khi nào thì thích hợp để sử dụng dữ liệu Likert làm thông thường và khi nào thì thích hợp để sử dụng dữ liệu đó làm dữ liệu khoảng?

52 ordinal-data  likert  scales  measurement