Mạng sâu có thể được đào tạo để chứng minh các định lý?

Giả sử chúng ta có một số lượng lớn các bằng chứng trong phép tính vị ngữ thứ tự đầu tiên. Giả sử chúng ta cũng có các tiên đề, hệ quả và định lý trong lĩnh vực toán học ở dạng đó.

Hãy xem xét từng mệnh đề đã được chứng minh và cơ thể của lý thuyết hiện có xung quanh đề xuất cụ thể đó như một ví dụ trong tập huấn luyện và một bằng chứng tốt được biết đến cho mệnh đề như các nhãn liên quan. Bây giờ, hãy xem xét một mạng nhân tạo sâu được thiết kế đặc biệt để huấn luyện tập hợp ví dụ này và các tham số siêu được đặt chính xác để làm như vậy.

Có thể đào tạo một mạng nhân tạo sâu theo cách mà việc trình bày một đề xuất mới và lý thuyết hiện có xung quanh nó được trình bày trong phép tính vị ngữ bậc nhất ở đầu vào sẽ tạo ra một bằng chứng ở đầu ra?

(Tất nhiên, bằng chứng như vậy sau đó nên được kiểm tra bằng tay.)

Nếu tỷ lệ bằng chứng tốt dẫn đến đủ cao, có thể tạo ra một thuật toán di truyền đề xuất các đề xuất cho mạng lưới sâu được đào tạo từ đó tạo ra bằng chứng?

Điều đó có thể không?

Liệu có thể sử dụng kiểu thiết kế mạng sâu này để giải quyết phỏng đoán Collatz hay phỏng đoán Riemann hoặc ít nhất là sắp xếp lại các mẫu theo cách mà các nhà toán học có thể đi đến một bằng chứng hợp pháp hơn?

Các hệ thống sản xuất hiện có, được phát triển trong vài thập kỷ qua, có các quy tắc suy luận được mã hóa vào chúng. Chúng dựa trên tầm nhìn của Leibniz rằng tất cả logic cổ điển có thể được mã hóa thành ngôn ngữ tượng trưng và được xử lý một cách máy móc. Logic vị ngữ thứ tự đầu tiên đã được phát triển và một danh mục được chính thức hóa.

Mặc dù tầm nhìn của định lý tự động đã bị thách thức đáng kể bởi hai định lý không hoàn chỉnh của Gôdel, công việc hoàn thiện của Turing và sự phát triển của một kiến ​​trúc để thực tế nhận ra nó bởi von Neumann đã làm hồi sinh công việc theo hướng tự động hóa quá trình suy luận.

Phòng thí nghiệm AI của MIT, trong thời của Minsky, vẫn còn sống với những nỗ lực như vậy, nhưng cái mà họ gọi là vụ nổ kết hợp cho thấy rằng không có đủ tài nguyên điện toán để tìm kiếm không gian cần thiết để tự động chứng minh các định lý tùy ý về độ phức tạp không tầm thường. Các máy tính lớn song song được gọi là máy kết nối và các sơ đồ khác nhau, sử dụng các quy tắc meta và phương pháp heuristic, đã được sử dụng để khắc phục vấn đề nổ kết hợp.

Các mạng nhân tạo đã được giới thiệu và ý tưởng rằng chúng có thể là đối thủ của các máy sản xuất đã bị cộng đồng LISP phản ánh khi lần đầu tiên đề xuất. Tuy nhiên, trong bối cảnh thành công đáng kể trong việc tăng tài nguyên điện toán và những thành tựu gần đây trong học máy, nhiều người đã bắt đầu đặt câu hỏi đã bị gác lại trong thế kỷ XX.

Chúng ta đã biết rằng các mạng nhân tạo có thể học các hàm logic và đại số tùy ý, nhiều trong số đó là PAC Learnable. ¹ Với môi trường học tập phù hợp, học suy luận logic rõ ràng là điều mà vỏ não có thể làm tại thời điểm hiện tại của nó trong quá trình tiến hóa. Liệu mạng lưới thần kinh sẽ đạt đến mức độ nhận thức đó là một câu hỏi mở mà nhiều người đặt ra.

Nghiên cứu AI và máy học chính thống không tập trung vào việc thu thập các quy tắc suy luận logic nhân tạo, phần lớn là do lập trình chúng vào một hệ thống như DRools và các hệ thống sản xuất được sử dụng phổ biến khác dường như không phải lúc nào cũng hợp lý. Câu hỏi đặt ra là liệu có đủ lợi tức đầu tư để làm những gì có thể thú vị nhưng chắc chắn tốn kém, khi các giải pháp khác đã tồn tại.

Câu hỏi này tương tự như một câu hỏi khác về Trao đổi ngăn xếp trí tuệ nhân tạo về mức độ AI tốt trong toán học. Một trong những câu trả lời được đưa ra là có thể áp dụng ở đây.

Điều quan trọng là không loại bỏ bất kỳ phương pháp tiếp cận nào trong thời gian này, vì sự quan tâm gần đây đối với AI không chỉ chi phối chi tiêu của chính phủ mà còn cả chi tiêu thương mại. Chi tiêu này làm tăng nhân sự, sức mạnh tính toán và khuyến khích vượt qua những trở ngại có thể được cho là không thể vượt qua trước đây.

Chú thích

[1] PAC Learning là một khuôn khổ để xác định khả năng tính toán thực tế của các thuật toán học tập dựa trên các tính năng của lớp giả thuyết có thể học được bằng cách sử dụng mô hình nhất định và độ chính xác và độ tin cậy của quá trình học tập.

Ý tưởng của bạn có thể khả thi nói chung, nhưng một mạng lưới thần kinh có lẽ là công cụ cấp cao sai để sử dụng để khám phá vấn đề này.

Thế mạnh của mạng nơ-ron là tìm kiếm các biểu diễn bên trong cho phép giải pháp phi tuyến tính cao khi ánh xạ đầu vào thành đầu ra. Khi chúng ta huấn luyện một mạng lưới thần kinh, những ánh xạ đó được học theo thống kê thông qua việc lặp lại các ví dụ. Điều này có xu hướng tạo ra các mô hình nội suy tốt khi được cung cấp dữ liệu tương tự như tập huấn luyện, nhưng ngoại suy đó rất tệ.

Các mô hình mạng nơ-ron cũng thiếu ngữ cảnh, như vậy nếu bạn sử dụng mô hình thế hệ (ví dụ RNN được đào tạo về trình tự tạo bằng chứng hợp lệ hoặc thú vị) thì nó có thể dễ dàng tạo ra rác rưởi thống kê nhưng vô nghĩa.

Những gì bạn sẽ cần là một số nguyên tắc tổ chức cho phép bạn khám phá và xác nhận bằng chứng theo kiểu kết hợp. Trong thực tế, một cái gì đó giống như ý tưởng của bạn đã được thực hiện hơn một lần, nhưng hiện tại tôi không thể tìm thấy một tài liệu tham khảo.

Không ai trong số này ngăn bạn sử dụng mạng thần kinh trong AI tìm kiếm bằng chứng. Có thể có những vị trí trong AI toán học, nơi bạn cần một người tìm hiểu giỏi để hướng dẫn các tìm kiếm chẳng hạn - ví dụ trong bối cảnh X là bằng chứng phụ Y có thể thú vị hoặc có liên quan. Đánh giá điểm khả năng là điều mà mạng lưới thần kinh có thể thực hiện như là một phần của sơ đồ AI rộng hơn. Điều đó tương tự như cách các mạng lưới thần kinh được kết hợp với việc học tăng cường.

Về nguyên tắc, có thể xây dựng toàn bộ ý tưởng của bạn ra khỏi mạng lưới thần kinh. Rốt cuộc, có những lý do chính đáng để nghi ngờ lý luận của con người hoạt động tương tự bằng cách sử dụng tế bào thần kinh sinh học (không được chứng minh rằng nhân tạo có thể phù hợp với cả hai cách này). Tuy nhiên, kiến ​​trúc của một hệ thống như vậy nằm ngoài bất kỳ thiết kế NN hoặc thiết lập đào tạo hiện đại nào. Nó chắc chắn sẽ không phải là vấn đề chỉ cần thêm đủ các lớp sau đó cung cấp dữ liệu.

Những gì chúng ta biết

Theo một trang của Ngân hàng Thế giới , "Ngày nay, có khoảng 200 triệu sinh viên giáo dục đại học trên thế giới, tăng từ 89 triệu vào năm 1998". Ít nhất 1 trong 100, theo yêu cầu toán học, phải phát triển một bằng chứng cho một định lý và sống ít nhất 40 năm sau đó.

Mặc dù có ít nhất 20 triệu mạng lưới thần kinh có thể chứng minh một định lý, nhưng chúng thiếu các ví dụ sẽ trả lời câu hỏi này trong phần khẳng định. Các mạng lưới thần kinh này là sinh học, không phải nhân tạo và chúng hầu hết đã được chứng minh các định lý đã được chứng minh trước đây, không phải là phỏng đoán Collatz hay phỏng đoán Riemann.

Những gì một số người tin

Những người tin rằng các thiết bị dựa trên Q-learning và chú ý sâu sẽ được tham gia bởi các thiết kế hệ thống học tập khác cho đến khi các bộ phận của bộ não con người được mô phỏng và có thể vượt qua, có thể bao gồm định lý chứng minh là một trong những khả năng của con người. Chúng có khả năng sẽ khai báo logic vị ngữ và suy luận giống như một chức năng nhận thức phức tạp khác sẽ đạt được trong các hệ thống nhân tạo.

Những người tin rằng một số khả năng đã thấm nhuần vào con người và là những khả năng dành riêng, có thể tuyên bố logic vị ngữ và suy luận là dành riêng cho con người.

Hiện trạng tiến độ

Không có bài báo học thuật nào cho thấy khả năng chứng minh ngay cả những bằng chứng đơn giản nhất bằng cách sử dụng logic và suy luận vị ngữ. Có thể một chính phủ hoặc doanh nghiệp tư nhân đã đạt được một mức độ thành công nào đó khi làm như vậy, nhưng điều đó chưa được tiết lộ.

Ý tưởng rằng các mạng nhân tạo, nếu được phát triển đáng kể, có thể vượt qua các hệ thống sản xuất, các hệ thống AI dựa trên sản xuất hoặc quy tắc, trong các lĩnh vực có hiệu quả cao nhất của chúng đã được đề xuất sớm trong quá trình phát triển AI. Sau đó, nó đã bị tranh chấp và tranh chấp, tuy nhiên các đối số không phải là toán học, vì vậy không có dấu hiệu mạnh mẽ nào cho thấy điều đó là không thể.

Chắc chắn các khía cạnh nhận thức khác trong suy nghĩ của con người là mục tiêu quan trọng của nghiên cứu AI. Đối thoại, giáo dục tự động, lập kế hoạch, phân tích chiến lược và thử nghiệm phương tiện là tất cả các khía cạnh của tư duy cao hơn đòi hỏi nhiều hơn DQN và phương pháp tiếp cận mạng dựa trên sự chú ý hiện có thể cung cấp, nhưng nỗ lực nghiên cứu trong các lĩnh vực này được đánh giá cao và được tài trợ tốt.

Cách tiếp cận tiềm năng

Nghiên cứu hướng tới khả năng nhận thức logic nên bắt đầu bằng chứng đã biết, đơn giản hơn nhiều so với những phỏng đoán được đề cập trong câu hỏi. Ví dụ, người ta đã chứng minh rằng tổng của hai số nguyên không âm phải là một số nguyên không âm khác. Trong phép tính vị ngữ, điều đó có thể được biểu diễn dưới dạng một chuỗi ký tự.

$\forall a∈C, b∈C: s=a+b \implies s∈C$

Nó nói rằng a và b là thành viên của tập hợp các số đếm, s, được định nghĩa là tổng của hai số, cũng phải là thành viên của tập hợp các số đếm. Bằng chứng của nó cũng có thể được biểu diễn dưới dạng một chuỗi các chuỗi ký tự của phép tính vị ngữ bậc nhất.

Dự án nghiên cứu không nhỏ

Một ví dụ như vậy có vẻ đơn giản đối với một người đã mất nhiều năm học toán và đã xây dựng bằng chứng. Một đứa trẻ không đơn giản và rất khó để có được một mạng nhân tạo hội tụ đến một hàm áp dụng tất cả các quy tắc suy luận logic và kết hợp các quy tắc meta để đi đến một bằng chứng cho một hệ thống chính thức như số học số nguyên.

Turing các mạng hoàn chỉnh, chẳng hạn như RNN, chắc chắn sẽ có lợi thế hơn MLP (tri giác đa lớp). Mạng dựa trên sự chú ý có thể là một lựa chọn nghiên cứu hợp lý. Có những người khác được chỉ định trong các tài liệu tham khảo dưới đây.

Một nền tảng điện toán song song sẽ cần thiết cho nghiên cứu, vì vectơ đầu vào có thể là hàng trăm Kbyte. Kích thước của các ví dụ và số lượng cần thiết là rất khó để ước tính nếu không có một hoặc hai năm trong quá trình nghiên cứu.

Định nghĩa về đếm số, dấu cộng và dấu bằng trước tiên phải được xác định và các định nghĩa đó và một số tiên đề, định đề, bổ đề và hệ quả phải là một phần của ví dụ đầu vào ở dạng chính thức như đề xuất đã chứng minh ở trên, cùng với đề xuất đó.

Và đó là công việc để chuẩn bị chỉ một ví dụ. Bạn sẽ cần hàng ngàn người để đào tạo kiến ​​thức trực quan về các quy tắc suy luận thành một mạng lưới sâu rộng. (Tôi đã chọn từ INTUITIVE rất có chủ ý vì lý do lý thuyết sẽ mất ít nhất một trăm trang để giải thích rõ.)

Đây không phải là dự án nhỏ vì tập dữ liệu mẫu phải có ít nhất vài nghìn trường hợp và mỗi trường hợp, mặc dù có thể chia sẻ một số lý thuyết, phải được thiết lập sao cho đề xuất được hình thành hoàn hảo và cơ thể lý thuyết cần thiết cũng được trình bày ở dạng hoàn hảo ở đầu vào cho mỗi lần lặp đào tạo.

Tôi đoán là sẽ cần một nhóm các nhà nghiên cứu sáng giá với sự hiểu biết phù hợp về các mạng sâu, hội tụ và tính toán dự đoán khoảng mười năm để đào tạo một mạng để đưa ra bằng chứng khả thi để đáp ứng các đề xuất toán học đơn giản.

Nhưng nó sẽ không phải là thành tựu nhỏ

Điều đó có vẻ là một nỗ lực vô lý đối với một số người, nhưng đây sẽ là lần đầu tiên ai đó dạy máy tính cách logic. Phải mất thiên nhiên ngay dưới tuổi trái đất để dạy suy luận logic cho một sinh vật, Socrates.

Mọi người cho rằng vì một máy tính được tạo thành từ các mạch kỹ thuật số thực hiện logic bằng thiết kế mà máy tính là logic. Bất cứ ai đã xung quanh phát triển phần mềm trong nhiều thập kỷ với xu hướng suy nghĩ sâu sắc hơn là hack để giải trí hoặc kiếm tiền đều biết khác nhau. Ngay cả sau khi lập trình cẩn thận, máy tính không mô phỏng suy luận logic và không thể sửa hành vi được lập trình của riêng chúng cho bất kỳ lỗi tùy ý nào. Trong thực tế, hầu hết phát triển phần mềm ngày nay là sửa lỗi.

Mô phỏng tư duy logic sẽ là một bước quan trọng trong việc mô phỏng nhận thức và mảng khả năng của con người rộng hơn.

Tài liệu tham khảo

Học cách soạn thảo mạng lưới thần kinh để trả lời câu hỏi Jacob Andreas, Marcus Rohrbach, Trevor Darrell và Dan Klein UC, Berkeley 2016 https://arxiv.org/pdf/1601.01705.pdf

Học nhiều lớp đại diện Geoffrey E. Hinton Khoa Khoa học Máy tính, Đại học Toronto 2007 http://www.csri.utoronto.ca/~hinton/absps/ticsdraft.pdf

Máy tạo màng thần kinh (trình chiếu) Tác giả: Alex Graves, Greg Wayne, Ivo Danihelka Trình bày: Tinghui Wang (Steve) https://eecs.wsu.edu/~cook/aiseminar/ con / st.p.pdf

Máy Turing thần kinh (giấy) Alex Graves, Greg Wayne, Ivo Danihelka https://pdfs.semanticscholar.org/c112/6fbffd6b8547a44c58b192b36b08b18299de.pdf 2014

Tăng cường học tập, thần kinh Turing Machines Wojciech Zaremba, giấy họp Ilya Sutskever ICLR https://arxiv.org/pdf/1505.00521.pdf?utm_content=buffer2aaa3&utm_medium=social&utm_source=twitter.com&utm_campaign=buffer 2016

Máy Turing thần kinh năng động với các sơ đồ địa chỉ liên tục và rời rạc Caglar Gulcehre1, Sarath Chandar1, Kyunghyun Cho2, Yoshua Bengio1 https://arxiv.org/pdf/1607.00036.pdf 2017

Một mạng lưới thần kinh tự xây dựng trực tuyến, mạng suy luận và các ứng dụng của nó Chia-Feng Juang và Chin-Teng Lin Giao dịch trên hệ thống mờ, v6, n1 1998 https://ir.nctu.edu.tw/bitstream/11536/ 32809/1/000072774800002.pdf

Biểu đồ Gated Sequence Mạng thần kinh Yujia Li và Richard Zillac Tài liệu hội nghị ICLR 2016 https://arxiv.org/pdf/1511.05493.pdf

Xây dựng những cỗ máy học và suy nghĩ như mọi người Brenden M. Lake, Tomer D. Ullman, Joshua B. Tenenbaum và Samuel J. Gershman Khoa học hành vi và não bộ 2016 https://arxiv.org/pdf/1604.00289.pdf

Các mạng lưới thần kinh sâu được đào tạo trước phụ thuộc vào bối cảnh để nhận dạng giọng nói từ vựng lớn George E. Dahl, Dong Yu, Li Đặng và Alex Acero Giao dịch về âm thanh, giảng dạy và xử lý ngôn ngữ 2012 https://s3.amazonaws.com/ AWSccessKeyId1

Nhúng các thực thể và mối quan hệ để học hỏi và suy luận trong các cơ sở kiến ​​thức Bishan Yang1, Wen-tau Yih2, Xiaodong He2, Jianfeng Gao2 và Li Deng2 ICLR 2015 https://arxiv.org/pdf/1412,6575.pdf

Một thuật toán học nhanh cho niềm tin sâu sắc Geoffrey E. Hinton, Simon Osindero, Yee-Whye Teh (được truyền đạt bởi Yann Le Cun) Tính toán thần kinh 18 2006 http://axon.cs.byu.edu/Dan/778/ con / % 20 Mạng / hinton1 * .pdf

FINN: Một khuôn khổ cho suy luận mạng nơ ron thần kinh nhanh, có thể mở rộng Yaman Umuroglu, et al 2016 https://arxiv.org/pdf/1612.07119.pdf

Từ học máy đến lý luận máy Léon Bottou 2/8/2011 https://arxiv.org/pdf/1102.1808.pdf

Học sâu Yann LeCun1,2, Yoshua Bengio3 & Geoffrey Hinton4,5 Nature vol 521 2015 https://www.evl.uic.edu/creativecoding/cifts/cs523/slides/week3/DeepLearning_LeCun.pdf

Điều đó là có thể, nhưng có lẽ không phải là một ý tưởng tốt.

Bằng chứng logic là một trong những lĩnh vực lâu đời nhất của AI, và có những kỹ thuật được xây dựng có mục đích không cần phải được đào tạo và đáng tin cậy hơn phương pháp mạng lưới thần kinh, vì chúng không dựa vào lý luận thống kê và thay vào đó sử dụng bạn của nhà toán học: suy luận.

Trường chính được gọi là " Chứng minh định lý tự động ", và nó đủ cũ để nó bị vôi hóa một chút như một lĩnh vực nghiên cứu. Không có nhiều đổi mới, nhưng một số người vẫn làm việc với nó.

Ý tưởng cơ bản là chứng minh định lý chỉ là tìm kiếm hướng dẫn cổ điển hoặc heuristic: bạn bắt đầu từ một trạng thái bao gồm một tập hợp các tiền đề được chấp nhận. Sau đó, bạn áp dụng bất kỳ quy tắc suy luận logic hợp lệ nào để tạo ra các tiền đề mới cũng phải đúng, mở rộng tập hợp kiến ​​thức mà bạn có. Cuối cùng, bạn có thể chứng minh một tiền đề mong muốn, thông qua các tìm kiếm liệt kê như tìm kiếm đầu tiên hoặc tìm hiểu sâu , hoặc thông qua một cái gì đó như A * với một heuristic cụ thể theo miền. Rất nhiều người giải quyết cũng chỉ sử dụng một quy tắc logic ( hợp nhất ) vì nó hoàn thành và giảm hệ số phân nhánh của tìm kiếm.