Khám phá và nội suy một chức năng bằng cách sử dụng máy học?


7

Những phương pháp học máy chung nào đang cố gắng "học" hoặc nội suy một hàm đa biến trơn tru và thực sự chọn những điểm mà hàm đó được đánh giá trong quá trình học (khám phá)?

Ý tưởng là mỗi đánh giá chức năng ít nhiều tốn kém và thuật toán học để khám phá các vùng không gian nơi thu được kiến ​​thức là lớn nhất (so với chi phí đánh giá chức năng). Hàm này có thể không phân tích (ví dụ với kinks) trong các trường hợp thú vị nhất.

Nền tảng của tôi là vật lý và tôi chắc chắn rằng các phương pháp như vậy tồn tại, nhưng mặc dù có một số tìm kiếm tôi không thể tìm thấy thứ gì đó có liên quan trực tiếp, có thể vì tôi không biết các thuật ngữ phù hợp để tìm kiếm. Tôi chỉ biết rằng nói rộng hơn 'học tăng cường' là lĩnh vực AI đối phó với khám phá và phần thưởng, vì vậy có lẽ các phương pháp tôi đang yêu cầu đại diện cho một số trường hợp đặc biệt về điều đó.

Để làm rõ, đây là một ví dụ: Bạn có thể muốn lấy sơ đồ pha của một chất, nghĩa là mật độ là hàm của áp suất p và nhiệt độ T. Vì vậy, chúng ta đang xử lý một hàm (hầu hết) trơn tru của hai biến (p, T). Đánh giá của nó tại bất kỳ điểm nào (p, T) yêu cầu một mô phỏng Monte-Carlo đắt tiền (rất nhiều thời gian của CPU; mức độ thậm chí phụ thuộc vào vị trí của bạn trong không gian p, T). Thuật toán lý tưởng sẽ chọn các điểm (p, T) một cách thận trọng để đánh giá mật độ, cố gắng đi tới các khu vực nơi hàm có các tính năng nổi bật nhất (ví dụ: các đường chuyển pha, tức là không phân tích). Sau đó, khi bạn hỏi thuật toán về mật độ tại bất kỳ điểm nào khác (p, T), nó sẽ cung cấp phép nội suy / ngoại suy tốt nhất có thể đưa ra, với tất cả thông tin mà nó có được trong giai đoạn khám phá của nó.


Nếu thực sự hóa ra câu hỏi này chưa được giải quyết nhiều, thì đó cũng sẽ là một thông tin rất hữu ích cho tôi. Tôi chắc chắn có thể nghĩ ra nhiều ứng dụng khả thi (trong vật lý và khoa học tính toán nói chung). Nhưng với tất cả nỗ lực trong 'các tác nhân thông minh' khám phá một số môi trường chưa biết, người ta có thể hy vọng rằng mọi người đã phân tích các tình huống trong đó môi trường này là một chức năng trơn tru chưa biết (một phong cảnh đồi núi, có thể nói).
Florian Marquest

Tôi chỉ cần thêm một ví dụ ứng dụng điển hình, để làm rõ.
Florian Marquest

chuyển tiếp pha fyi mà bạn mô tả là rất không liên tục / hỗn loạn / fractal trong "trung tâm" có thể "hẹp" của họ, vì vậy ý ​​tưởng về tổng thể này là một "chức năng trơn tru" có thể khá không chính xác / sai lệch.
vzn

@vzn: Mặc dù các động lực học vi mô trong một hệ thống nhiều hạt thông thường thực sự hỗn loạn (rất quan trọng đối với nhiệt), các đặc tính nhiệt động trung bình thu được là các chức năng trơn tru của các tham số, ngoại trừ khi chúng nhảy (hoặc có các phân tích khác) đường chuyển tiếp. Ví dụ, trên đường chuyển tiếp pha lỏng-khí trong mặt phẳng (p, T), có một bước nhảy về mật độ.
Florian Marquest

Câu trả lời:


3

Tôi sẽ xem xét lĩnh vực "thiết kế thử nghiệm tối ưu" trong các vấn đề nghịch đảo của Bayes, đặc biệt là công trình gần đây của Alen Alexandrian.

http://arxiv.org/abs/1410.5899

http://www4.ncsu.edu/~aalexan3/research.html

Về cơ bản, người ta có một vấn đề nghịch đảo bên trong để xấp xỉ hàm dựa trên các phép đo điểm của đại lượng dẫn xuất, được lưu trữ trong một vấn đề tối ưu hóa bên ngoài để chọn các điểm dựa trên việc giảm thiểu sự kết hợp giữa sai số và phương sai.

Hơn nữa, bạn không cần phải thực hiện một quy trình giải quyết bên trong đầy đủ. Thay vào đó, bạn có thể sử dụng các điều kiện KKT cho vấn đề bên trong làm ràng buộc cho vấn đề bên ngoài và hình thành một hệ thống KKT "meta" cho vấn đề kết hợp.

Nó được xây dựng theo ngôn ngữ của các vấn đề nghịch đảo bị ràng buộc bởi PDE, nhưng cũng sẽ áp dụng cho các tình huống đơn giản hơn như vấn đề của bạn ("PDE" trở thành ma trận danh tính ..)


Cảm ơn bạn! Từ bit tôi đọc, tôi đoán hầu hết các thiết kế thử nghiệm tối ưu đều liên quan đến dữ liệu ngẫu nhiên, vì vậy tôi vẫn sẽ phải hiểu làm thế nào điều này chuyên về một chức năng trơn tru xác định.
Florian Marquest

Người ta thường sử dụng các kỹ thuật Bayes như thế này ngay cả khi câu trả lời thực sự mang tính quyết định, bằng cách xem xét sự không chắc chắn của chính mình về câu trả lời là yếu tố ngẫu nhiên. Cho dù bạn có thích sử dụng xác suất như thế này hay không thì tùy thuộc vào việc bạn là người Bayes hay người thường xuyên; đó là một điểm rất gây tranh cãi giữa các nhà thống kê ... Dù sao đi nữa, nếu điều này không làm phiền bạn thì tôi sẽ đề xuất một trường ngẫu nhiên gaussian với laplacian nghịch đảo như trước đây, để đưa ra xác suất cao hơn cho các chức năng trơn tru. I E,πtrước(f)~điểm kinh nghiệm(-f*Δ-1f).
Nick Alger

2

Học tích cực là một thuật ngữ được sử dụng trong tài liệu học máy cho tình huống thuật toán học được phép truy vấn tương tác giá trị của hàm trên một số điểm nhất định. Tôi không biết liệu có các thuật toán hiện có trong tài liệu để học tích cực các hàm đa biến trơn tru hay không, nhưng có vẻ như đó là những gì bạn muốn. Bạn có thể dành một chút thời gian với Google Scholar tìm kiếm công việc trong lĩnh vực này.

Bạn cũng có thể nhìn vào thiết kế thử nghiệm tối ưu .


1
Cảm ơn bạn! Lướt qua trang Wikipedia, tôi tìm thấy trang web Học tập tích cực của Burr Settles và bài đánh giá tài liệu liên quan . Từ lần đọc đầu tiên, tôi tập hợp các ví dụ điển hình có chức năng riêng biệt (nhãn để phân loại). Vì vậy, tôi vẫn cần tìm một cái gì đó về các chức năng trơn tru, mặc dù có lẽ đó chỉ là một biến thể đơn giản của những gì họ nói (dễ dịch cho chuyên gia, không dễ dàng cho tôi ngay bây giờ).
Florian Marquest

-2

thuật toán di truyền có thể được sử dụng cho mục đích này. trong một số trường hợp, việc đánh giá chức năng tập thể dục có phần "đắt đỏ". một phần của khó khăn là mã hóa một số loại đo lường của "các khu vực thú vị" và số liệu này bằng cách nào đó sẽ phải định lượng các phép đo qua nhiều đánh giá chức năng, tức là một đánh giá chức năng không đủ để "nhận thấy xu hướng". I E:

thuật toán học để khám phá các vùng không gian nơi đạt được kiến ​​thức lớn nhất

và sau này bạn gọi nó là "tìm kiếm các tính năng nổi bật nhất" . tuyên bố này là có vấn đề bởi vì nói chung rất khó để định lượng toán học "trong đó việc đạt được kiến ​​thức là lớn nhất" hoặc "các tính năng nổi bật". một khả năng để chính thức hóa / định lượng nó là xem xét "entropy cao so với entropy thấp" mà có một cơ thể lớn về lý thuyết.

vấn đề của bạn cũng phần nào được phân chia theo dòng học tập có giám sátkhông giám sát để đó là một lĩnh vực để phân tích sâu hơn vấn đề của bạn.

một trường hợp lớn gần đây về ứng dụng thành công ML trong vật lý là thử thách học máy Higgs và kết hợp nhiều ý tưởng mà bạn đề cập. trong trường hợp này, hành vi theo dõi hạt được dự đoán bởi thuật toán ML và nó tự động tìm hiểu về nhiễu so với tín hiệu trong dữ liệu. thuật toán chiến thắng thường sử dụng cây quyết định như được mô tả trong bài báo.


1
Cảm ơn bạn, nhưng tôi không rõ làm thế nào những gì tôi đang yêu cầu có thể được diễn đạt theo thuật toán di truyền (thậm chí về nguyên tắc), có thể bạn có thể giải thích?
Florian Marquest

không biết phần nào không rõ ràng. tất cả đều tiềm ẩn trong lý thuyết thuật toán di truyền cơ bản như được phác thảo trong câu trả lời / liên kết (thử làm theo một số). có thể giải thích thêm / dài hơn trong Trò chuyện Khoa học Máy tính . (nhân tiện, một số thuật toán để "vạch ra" fractals có cấu trúc tương tự như bạn mô tả, ví dụ như trực quan hóa
mandelbrot,
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.