Câu hỏi được gắn thẻ «maximum-entropy»

Tôi biết rằng entropy là thước đo tính ngẫu nhiên của một quá trình / biến và nó có thể được định nghĩa như sau. cho một biến ngẫu nhiên tập : - . Trong cuốn sách về Entropy và Lý thuyết thông tin của MacKay, ông cung cấp tuyên …

32 uniform  entropy  maximum-entropy 

Trong bài báo này , nhà nghiên cứu tài năng Cosma Shalizi lập luận rằng để chấp nhận hoàn toàn một quan điểm Bayes chủ quan, người ta cũng phải chấp nhận một kết quả phi vật lý rằng mũi tên thời gian (được đưa ra bởi dòng chảy entropy) …

31 bayesian  entropy  maximum-entropy  philosophical 

Tôi đã sử dụng nguyên tắc entropy tối đa để biện minh cho việc sử dụng một số bản phân phối trong các cài đặt khác nhau; tuy nhiên, tôi vẫn chưa thể xây dựng một thống kê, trái ngược với lý thuyết thông tin, giải thích về entropy tối …

23 distributions  entropy  intuition  information-theory  maximum-entropy 

Tôi đã sử dụng các bản phân phối bình thường như các bản phân phối trước cho các tham số tỷ lệ (đối với các bản phân phối bình thường, bản phân phối, v.v.) khi tôi có một ý tưởng sơ bộ về quy mô nên là gì, nhưng tôi …

21 distributions  bayesian  modeling  prior  maximum-entropy 

Đối với một biến ngẫu nhiên liên tục tùy ý, nói , là nó entropy khác biệt luôn nhỏ hơn ∞XXX∞∞\infty ? (Sẽ ổn nếu nó .) Nếu không, điều kiện cần và đủ để nó nhỏ hơn ∞ là gì?−∞−∞-\infty∞∞\infty

14 entropy  information-theory  maximum-entropy 

Tôi đang cố gắng tìm hiểu bằng chứng sau đây rằng Gaussian có entropy tối đa. Làm thế nào để bước đánh dấu sao có ý nghĩa? Một hiệp phương sai cụ thể chỉ sửa chữa khoảnh khắc thứ hai. Điều gì xảy ra với khoảnh khắc thứ ba, thứ …

13 entropy  information-theory  maximum-entropy 

Là gì phân phối entropy tối đa cho một biến liên tục tích cực, đưa ra những khoảnh khắc đầu tiên và thứ hai của nó? Ví dụ, phân phối Gaussian là phân phối entropy tối đa cho một biến không giới hạn, với giá trị trung bình và độ …

13 distributions  standard-deviation  mean  maximum-entropy 

Câu hỏi: Bootstrapping vượt trội hơn so với jackknifing; tuy nhiên, tôi tự hỏi liệu có những trường hợp trong đó jackknifing là lựa chọn duy nhất hoặc ít nhất là khả thi để mô tả tính không chắc chắn từ các ước tính tham số. Ngoài ra, trong các …

12 machine-learning  cross-validation  bootstrap  maximum-entropy  jackknife 

Đặt là phân phối chung của hai biến phân loại , với . Giả sử mẫu được rút ra từ phân phối này, nhưng chúng tôi chỉ được tính tổng số biên, cụ thể là cho :px,ypx,yp_{x,y}X,YX,YX,Yx,y∈{1,…,K}x,y∈{1,…,K}x,y\in\{1,\ldots,K\}nnnj=1,…,Kj=1,…,Kj=1,\ldots,K Sj=∑i=1nδ(Xi=l),Tj=∑i=1nδ(Yi=j),Sj=∑i=1nδ(Xi=l),Tj=∑i=1nδ(Yi=j), S_j = \sum_{i=1}^{n}{\delta(X_i=l)}, T_j = \sum_{i=1}^{n}{\delta(Y_i=j)}, Công cụ ước tính khả năng …

12 categorical-data  maximum-likelihood  joint-distribution  marginal  maximum-entropy 

Một trong những vấn đề quan trọng đang được các nhà dự báo phải đối mặt là liệu loạt bài đã cho có thể được dự báo hay không? Tôi tình cờ đọc được một bài báo có tựa đề " Entropy như một chỉ số dự báo ưu tiên …

10 time-series  forecasting  entropy  maximum-entropy  forecastability 

Tôi đã đọc cuộc thảo luận trên Hacker News về việc sử dụng độ lệch chuẩn trái ngược với các số liệu khác như độ lệch tuyệt đối trung bình. Vì vậy, nếu chúng ta tuân theo nguyên tắc entropy tối đa, chúng ta sẽ sử dụng loại phân phối …

10 distributions  maximum-entropy  mad 

Câu hỏi ngắn: Tại sao điều này là đúng ?? Câu hỏi dài: Rất đơn giản, tôi đang cố gắng tìm ra điều gì biện minh cho phương trình đầu tiên này. Tác giả của cuốn sách tôi đang đọc, (bối cảnh ở đây nếu bạn muốn, nhưng không cần …

9 probability  normal-distribution  entropy  maximum-entropy 

Tôi bị thu hút bởi khái niệm Mô hình Markrop Entropy tối đa (MEMM) và tôi đang nghĩ đến việc sử dụng nó cho một trình ghi thẻ Part of Speech (POS). Hiện tại, tôi đang sử dụng trình phân loại Maximum Entropy (ME) thông thường để gắn thẻ cho …

9 machine-learning  mcmc  maximum-entropy  memm 

Nhìn chung, có nhiều phân phối chung phù hợp với phân phối biên đã đặt .P(X1=x1,X2=x2,...,Xn=xn)P(X1=x1,X2=x2,...,Xn=xn)P(X_1 = x_1, X_2 = x_2, ..., X_n = x_n)fi(xi)=P(Xi=xi)fi(xi)=P(Xi=xi)f_i(x_i) = P(X_i = x_i) Trong số các bản phân phối chung này, sản phẩm có được hình thành bằng cách lấy sản phẩm của lề …

9 distributions  joint-distribution  marginal  maximum-entropy 

Gần đây tôi đã có một cuộc thảo luận nhanh với một người bạn am hiểu, người đã đề cập rằng các SVM là giới hạn nhiệt độ bằng không của hồi quy logistic. Cơ sở lý luận liên quan đến polytopes cận biên và nhị nguyên fenchel. Tôi đã …

8 logistic  svm  graphical-model  exponential-family  maximum-entropy