Thống kê và dữ liệu lớn

Trong khi thực hiện một số EDA, tôi quyết định sử dụng một ô vuông để minh họa sự khác biệt giữa hai cấp độ của một yếu tố. Cách ggplot biểu hiện cốt truyện hộp là thỏa đáng, nhưng hơi đơn giản (âm mưu đầu tiên bên dưới). Trong …

11 data-visualization  ggplot2  eda 

Tôi muốn đào tạo một SVM để phân loại các trường hợp (TRUE / FALSE) dựa trên 20 thuộc tính. Tôi biết rằng một số thuộc tính có mối tương quan cao. Do đó, câu hỏi của tôi là: SVM có nhạy cảm với sự tương quan, hoặc dự phòng, …

11 svm  multicollinearity  kernel-trick 

Chuỗi Markov có ý nghĩa với tôi, tôi có thể sử dụng chúng để mô hình hóa các thay đổi trạng thái xác suất trong các vấn đề thực tế trong cuộc sống. Sau đó đến HMM. HMM được cho là phù hợp hơn để mô hình hóa nhiều vấn …

11 hidden-markov-model 

Tôi đã vẽ với mã sau với chức năng stl (Phân chia theo chuỗi thời gian theo thời gian): plot(stl(ts(rnorm(144), frequency=12), s.window="periodic")) Nó cho thấy sự thay đổi đáng kể theo mùa với dữ liệu ngẫu nhiên được đặt trong mã ở trên (hàm rnorm). Biến thể Signficant được nhìn …

11 time-series  seasonality  loess 

Nếu , có thể‖ β * ‖ 2 tăng khiλtăng?β*= a r gm i nβ∥ y- Xβ∥22+ λ ∥ β∥1β∗=argminβ‖y−Xβ‖22+λ‖β‖1\beta^*=\mathrm{arg\,min}_{\beta} \|y-X\beta\|^2_2+\lambda\|\beta\|_1∥ β*∥2‖β∗‖2\|\beta^*\|_2λλ\lambda Tôi nghĩ rằng điều này là có thể. Mặc dù không tăng khi λ tăng (tôi bằng chứng ), ‖ β * ‖ 2 có thể tăng. Hình …

11 lasso 

Khi thực hiện một bộ mã hóa tự động với mạng thần kinh, hầu hết mọi người sẽ sử dụng sigmoid làm chức năng kích hoạt. Chúng ta có thể sử dụng ReLU thay thế không? (Vì ReLU không có giới hạn ở giới hạn trên, về cơ bản có …

11 machine-learning  neural-networks  deep-learning  autoencoders 

Tôi có một khung dữ liệu chứa các giá trị trên 4 cột: Ví dụ: ID, price, click count,rating Điều tôi muốn làm là "chia" khung dữ liệu này thành N nhóm khác nhau trong đó mỗi nhóm sẽ có số lượng hàng bằng nhau với cùng phân phối giá, …

11 r  distributions 

Làm thế nào người ta có thể đánh giá kỳ vọng của CDF bình thường ở dạng đóng? E[Φ(aZ+b)2]=∫∞−∞Φ(az+b)2ϕ(z)dzE[Φ(aZ+b)2]=∫−∞∞Φ(az+b)2ϕ(z)dz\mathbb{E}\left[\Phi\left(aZ+b\right)^{2}\right] = \int_{-\infty}^{\infty}\Phi\left(az+b\right)^{2}\phi(z)\,dz Ở đây, , là các số thực, và và là các hàm mật độ và phân phối của một biến ngẫu nhiên tiêu chuẩn thông thường, tương ứng.aaabbbZ∼N(0,1)Z∼N(0,1)Z\sim\mathcal{N}(0,1)ϕ(⋅)ϕ(⋅)\phi(\cdot)Φ(⋅)Φ(⋅)\Phi(\cdot)

11 mathematical-statistics 

Tôi đang làm việc về một vấn đề phân loại nhị phân trong đó điều quan trọng hơn nhiều là không có dương tính giả; khá nhiều phủ định sai là ok. Tôi đã sử dụng một loạt các trình phân loại trong sklearn chẳng hạn, nhưng tôi nghĩ không …

11 classification  precision-recall 

Tôi đang gặp khó khăn để hiểu câu này: Kiến trúc được đề xuất đầu tiên tương tự như NNLM tiếp theo, trong đó lớp ẩn phi tuyến tính được loại bỏ và lớp chiếu được chia sẻ cho tất cả các từ (không chỉ ma trận chiếu); do đó, …

11 machine-learning  neural-networks  natural-language  word-embeddings  language-models 

Tôi đã đi qua các khoảng cách gần trong rừng ngẫu nhiên. Nhưng tôi không thể hiểu nó làm gì trong những khu rừng ngẫu nhiên. Làm thế nào nó giúp cho mục đích phân loại?

11 machine-learning  random-forest 

Trong khi làm việc với chuỗi thời gian, đôi khi chúng tôi phát hiện và loại bỏ tính thời vụ bằng cách sử dụng phân tích quang phổ. Tôi là người mới bắt đầu thực sự trong chuỗi thời gian, và tôi bối rối tại sao người ta lại muốn …

11 time-series  seasonality 

Trong công việc của tôi, tôi đã thấy một số cách sử dụng thử nghiệm chính xác của Fisher và tôi đã tự hỏi làm thế nào nó phù hợp với dữ liệu của tôi. Nhìn vào một số nguồn tôi đã hiểu làm thế nào để tính toán thống …

11 hypothesis-testing  chi-squared  multinomial  contingency-tables  fishers-exact 

Tôi đang cố gắng hiểu khi nào thì phù hợp để sử dụng MAP và khi nào nên sử dụng MRR. Tôi thấy bài thuyết trình này nói rằng MRR được sử dụng tốt nhất khi số lượng kết quả có liên quan ít hơn 5 và tốt nhất khi …

11 information-retrieval  average-precision 

Vì vậy, tôi biết rằng nếu chúng ta muốn tìm phân phối xác suất của một tổng các biến ngẫu nhiên độc lập , chúng ta có thể tính toán nó từ các phân phối xác suất của và , bằng cách nóiX+YX+YX + YXXXYYY fX+Y(a)=∫∞x=−∞fX,Y(X=x,Y=a−x) dx=∫∞x=−∞fX(x)fY(a−x) dxfX+Y(a)=∫x=−∞∞fX,Y(X=x,Y=a−x) dx=∫x=−∞∞fX(x)fY(a−x) dxf_{X …

11 probability