Giảm thiểu năng lượng trong học máy là gì?

Tôi đã đọc về tối ưu hóa cho một vấn đề đặt ra trong tầm nhìn máy tính và tìm thấy lời giải thích bên dưới về tối ưu hóa trên Wikipedia. Điều tôi không hiểu là tại sao họ gọi việc tối ưu hóa này là " Giảm thiểu năng lượng " trong Thị giác máy tính?

Một vấn đề tối ưu hóa có thể được trình bày theo cách sau:

Cho: một hàm từ một số tập thành các số thực $f: A \to R$ $A$

Tìm kiếm: một yếu tố trong ví dụ rằng cho tất cả các trong ( "giảm thiểu") hay như vậy mà cho tất cả các trong $x_0$ $A$ $f(x_0) ≤ f(x)$ $x$ $A$ $f(x_0) ≥ f(x)$ $x$ $A$ (" tối đa hóa ").

Một công thức như vậy được gọi là một vấn đề tối ưu hóa hoặc một vấn đề lập trình toán học (thuật ngữ không liên quan trực tiếp đến lập trình máy tính, nhưng vẫn được sử dụng ví dụ trong lập trình tuyến tính - xem Lịch sử bên dưới). Nhiều vấn đề thực tế và lý thuyết có thể được mô hình hóa trong khuôn khổ chung này. Các vấn đề được hình thành khi sử dụng kỹ thuật này trong các lĩnh vực vật lý và thị giác máy tính có thể gọi kỹ thuật này là giảm thiểu năng lượng, nói về giá trị của hàm là đại diện cho năng lượng của hệ thống được mô hình hóa. $f$

machine-learning optimization computer-vision

— iamprem
nguồn

Câu trả lời:

Các mô hình dựa trên năng lượng là một khung thống nhất để đại diện cho nhiều thuật toán học máy. Họ giải thích suy luận là giảm thiểu chức năng năng lượng và học tập như giảm thiểu chức năng mất.

Hàm năng lượng là một hàm của cấu hình các biến tiềm ẩn và cấu hình của các đầu vào được cung cấp trong một ví dụ. Suy luận thường có nghĩa là tìm một cấu hình năng lượng thấp hoặc lấy mẫu từ cấu hình có thể để xác suất chọn một cấu hình nhất định là phân phối Gibbs.

Hàm mất là một hàm của các tham số mô hình được đưa ra nhiều ví dụ. Ví dụ, trong một vấn đề học tập có giám sát, mất mát của bạn là tổng số lỗi tại các mục tiêu. Đôi khi, nó được gọi là "hàm" vì nó là hàm của hàm (tham số hóa) tạo thành mô hình.

Giấy chính:

Y. LeCun, S. Chopra, R. Hadsell, M. Ranzato và FJ Huang, tạm Một hướng dẫn về học tập dựa trên năng lượng, trong việc dự đoán dữ liệu có cấu trúc, MIT Press, 2006.

Cũng thấy:

LeCun, Y., & Huang, FJ (2005). Chức năng mất cho đào tạo phân biệt các mô hình dựa trên năng lượng. Trong Kỷ yếu Hội thảo quốc tế lần thứ 10 về Trí tuệ nhân tạo và Thống kê (AIStats'05). Lấy từ http://yann.lecun.com/exdb/publis/pdf/lecun-huang-05.pdf

Ranzato, M., Boureau, Y.-L., Chopra, S., & LeCun, Y. (2007). Một khung dựa trên năng lượng thống nhất cho việc học tập không giám sát. Proc. Hội nghị về AI và Thống kê (Thống kê AI). Lấy từ http://dblp.uni-trier.de/db/journals/jmlr/jmlrp2.html#RanzatoBCL07

— Neil G
nguồn

Bạn có thể mở rộng về những gì "Họ diễn giải suy luận như giảm thiểu chức năng năng lượng và học như giảm thiểu chức năng mất" có nghĩa là gì? Làm thế nào là một chức năng năng lượng khác với một chức năng mất?

— Vách đá AB

Bạn có thể vui lòng giải thích câu trả lời của bạn

— iamprem 7/2/2016

@CliffAB Hy vọng điều đó rõ ràng hơn?

— Neil G

@NeilG: thành thật mà nói, tôi vẫn hơi bối rối. Đối với tôi, có vẻ như "hàm năng lượng" về cơ bản giống như chức năng khả năng trong thống kê. Đó có phải là một cách giải thích hợp lý hay tôi đang thiếu một cái gì đó tinh tế hơn?

— Vách đá AB

@CliffAB: Hàm năng lượng có thể là khả năng đăng nhập trong trường hợp tổng năng lượng lũy thừa là một. Tuy nhiên, điều đó thậm chí không cần thiết: Các mô hình dựa trên năng lượng không có xác suất không lo lắng về sự bình thường hóa này, điều này có thể giúp việc học chúng hiệu quả hơn các mô hình xác suất. Điều này là do nó tránh đánh giá các tích phân đắt tiền trên không gian cấu hình.

— Neil G

$x_t$

E = = Σ x_{t}^{2}

$E = \Sigma x_t^2$

S S E = = Σ (y - \hat{y})^{2}

$SSE= \Sigma (y-\hat{y})^2$

\hat{y}

$\hat{y}$

— stan
nguồn

Tôi nghĩ bạn đang nhầm lẫn sự mất mát với năng lượng

— Neil G

Tôi đang sử dụng định nghĩa tiêu chuẩn về năng lượng từ xử lý tín hiệu . Khoa học máy tính / người học máy có xu hướng xác định lại các thuật ngữ, tôi đoán vậy. Tôi đến từ số liệu thống kê và nền tảng xử lý tín hiệu

— stan

Công thức đầu tiên của bạn là một hàm năng lượng. Công thức thứ hai là hàm mất vì nó không phải là hàm của cấu hình.

— Neil G

@Neil Tôi chắc chắn rằng bạn đang sử dụng thuật ngữ chính xác như được xác định trong các giấy tờ bạn đã trích dẫn. Đó chỉ là một thuật ngữ khác với những gì tôi đã sử dụng để SSE là năng lượng

— stan