Hình học và AI

Ma trận, hình khối, lớp, ngăn xếp và phân cấp là những gì chúng ta có thể gọi chính xác cấu trúc liên kết . Xem xét cấu trúc liên kết trong bối cảnh này thiết kế hình học cấp cao hơn của một hệ thống học tập.

Khi độ phức tạp tăng lên, thường rất hữu ích khi biểu diễn các cấu trúc liên kết này dưới dạng cấu trúc đồ thị có hướng. Biểu đồ trạng thái và công việc của Markov về lý thuyết trò chơi là hai nơi thường sử dụng biểu đồ có hướng. Đồ thị có hướng có các đỉnh (thường được hình dung dưới dạng hình kín) và các cạnh thường được hình dung như mũi tên nối các hình.

Chúng ta cũng có thể biểu diễn GAN dưới dạng biểu đồ có hướng, trong đó đầu ra của mỗi mạng thúc đẩy việc đào tạo cái khác theo kiểu đối nghịch. GAN giống như một dải Mobius về mặt tôpô.

Chúng ta không thể khám phá các thiết kế và kiến ​​trúc mới mà không hiểu toán học không chỉ hội tụ một giải pháp tối ưu hoặc theo dõi một mà còn các cấu trúc liên kết mạng có thể hỗ trợ sự hội tụ như vậy. Nó giống như lần đầu tiên phát triển bộ xử lý trong khi tưởng tượng một hệ điều hành sẽ cần gì trước khi viết hệ điều hành.

Để xem sơ qua những cấu trúc liên kết mà chúng ta KHÔNG YÊN xem xét, trước tiên hãy xem xét những cái nào đã được.

Bước một - Đùn trong chiều thứ hai

Trong những năm 1980, thành công đã đạt được với việc mở rộng thiết kế perceptron ban đầu. Các nhà nghiên cứu đã thêm một chiều thứ hai để tạo ra một mạng lưới thần kinh nhiều lớp. Sự hội tụ hợp lý đã đạt được thông qua việc truyền ngược lại độ dốc của hàm lỗi thông qua các gradient của các hàm kích hoạt bị suy giảm bởi tốc độ học tập và được làm ẩm bằng các tham số meta khác.

Bước hai - Thêm kích thước cho tín hiệu đầu vào rời rạc

Chúng tôi thấy sự xuất hiện của các mạng tích chập dựa trên các kỹ thuật tích chập hình ảnh được điều chỉnh thủ công hiện có đã đưa các kích thước vào đầu vào mạng: Vị trí dọc, các thành phần màu và khung. Chiều hướng cuối cùng này rất quan trọng đối với CGI, thay thế khuôn mặt và các kỹ thuật hình thái khác trong quá trình làm phim đương đại. Không có nó, chúng ta có thể tạo hình ảnh, phân loại và loại bỏ nhiễu.

Bước ba - Ngăn xếp mạng

Chúng ta thấy các chồng lưới thần kinh xuất hiện vào cuối những năm 1990, nơi việc đào tạo một mạng được giám sát bởi một mạng khác. Đây là sự giới thiệu của các lớp khái niệm, không phải theo nghĩa các lớp tế bào thần kinh liên tiếp cũng như ý nghĩa của các lớp màu trong một hình ảnh. Kiểu phân lớp này cũng không phải là đệ quy. Nó giống như thế giới tự nhiên nơi một cấu trúc là một cơ quan trong một loại cấu trúc hoàn toàn khác.

Bước bốn - Phân cấp mạng

Chúng ta thấy hệ thống các mạng lưới thần kinh xuất hiện thường xuyên trong nghiên cứu phát sinh từ những năm 2000 và đầu những năm 2010 (Laplacian và những người khác), tiếp tục sự tương tác giữa các mạng lưới thần kinh và tiếp tục sự tương tự não của động vật có vú. Bây giờ chúng ta thấy cấu trúc meta, trong đó toàn bộ các mạng trở thành các đỉnh trong một biểu đồ có hướng đại diện cho một cấu trúc liên kết.

Bước năm% mdash; Khởi hành từ định hướng Cartesian

Non-Cartesian lặp đi lặp lại một cách có hệ thống các tế bào và các kết nối giữa chúng đã bắt đầu xuất hiện trong tài liệu. Ví dụ: Mạng tương đương đo lường tương đương và CNN của Icosah thờ (Taco S. Cohen, Maurice Weiler, Berkay Kicanaoglu, Max Welling, 2019) kiểm tra việc sử dụng một sự sắp xếp dựa trên một icosahedron thông thường lồi.

Tóm tắt

Các lớp có các hàm kích hoạt có giá trị thông thường cho các đỉnh và ma trận suy giảm được ánh xạ tới một tập hợp đầy đủ các cạnh có hướng giữa các lớp liền kề [1]. Các lớp chập hình ảnh thường được sắp xếp theo đỉnh hai chiều với các khối suy giảm được ánh xạ tới một tập hợp các cạnh được định hướng giữa các lớp liền kề [2]. Các ngăn xếp có toàn bộ các lớp được xếp lớp như các đỉnh trong đồ thị siêu hướng và các đỉnh meta đó được kết nối theo một chuỗi với mỗi cạnh là một tham số meta đào tạo, tín hiệu gia cố (phản hồi thời gian thực) hoặc một số điều khiển học tập khác . Hệ thống phân cấp của lưới phản ánh khái niệm rằng nhiều điều khiển có thể được tổng hợp và học trực tiếp ở cấp độ thấp hơn hoặc trường hợp lật trong đó nhiều yếu tố học tập có thể được kiểm soát bởi một mạng lưới giám sát cấp cao hơn.

Phân tích xu hướng học tập cấu trúc liên kết

Chúng ta có thể phân tích xu hướng trong kiến ​​trúc máy học. Chúng tôi có ba xu hướng tô pô.

• Độ sâu trong kích thước quan hệ nhân quả - Các lớp để xử lý tín hiệu trong đó đầu ra của một lớp kích hoạt được đưa qua một ma trận các tham số suy giảm (trọng số) cho đầu vào của lớp tiếp theo. Khi các điều khiển lớn hơn được thiết lập, chỉ bắt đầu với việc giảm độ dốc cơ bản trong propatagion trở lại, độ sâu lớn hơn có thể đạt được.

• Thứ nguyên tín hiệu đầu vào - Từ đầu vào vô hướng đến siêu âm (video có chiều ngang, chiều dọc, độ sâu màu bao gồm độ trong suốt và khung - Lưu ý rằng điều này không giống với số lượng đầu vào theo nghĩa perceptron.

• Phát triển tô pô - Hai loại trên là bản chất của Cartesian. Kích thước được thêm vào ở góc bên phải với kích thước hiện có. Vì các mạng được nối theo thứ bậc (như trong Laplacian HVELies) và dải Mobius giống như các vòng tròn (như trong GAN), các xu hướng là địa hình và được biểu thị tốt nhất bằng các đồ thị có hướng trong đó các đỉnh không phải là nơ-ron mà là các mạng nhỏ hơn.

Topo nào đang thiếu?

Phần này mở rộng về ý nghĩa của câu hỏi tiêu đề.

• Có bất kỳ lý do tại sao nhiều đỉnh meta, mỗi đỉnh đại diện cho một mạng lưới thần kinh, có thể được sắp xếp sao cho nhiều đỉnh meta giám sát có thể kết hợp với nhau, giám sát nhiều đỉnh meta của nhân viên không?
• Tại sao sự lan truyền ngược của tín hiệu lỗi chỉ tương đương phi tuyến tính với phản hồi âm?
• Không thể hợp tác giữa các đỉnh meta thay vì giám sát, trong đó có hai cạnh đối ứng đại diện cho các điều khiển?
• Vì lưới thần kinh được sử dụng chủ yếu để tìm hiểu các hiện tượng phi tuyến, tại sao lại cấm các loại đường dẫn khép kín khác trong thiết kế lưới hoặc liên kết của chúng?
• Có bất kỳ lý do tại sao âm thanh không thể được thêm vào hình ảnh để các video clip có thể được phân loại tự động? Nếu đó là trường hợp, một kịch bản có thể là một tính năng trích xuất của một bộ phim và một kiến ​​trúc đối nghịch có thể được sử dụng để tạo ra các kịch bản phim và sản xuất các bộ phim mà không có hệ thống phim trường không? Cấu trúc liên kết đó trông như thế nào như một biểu đồ có hướng?
• Mặc dù các ô được sắp xếp trực giao có thể mô phỏng sự sắp xếp đóng gói đều đặn tùy ý của các đỉnh và cạnh không trực giao, nhưng liệu có hiệu quả trong tầm nhìn máy tính trong đó độ nghiêng của máy ảnh không phải là cộng hoặc trừ 90 độ là phổ biến?
• Có hiệu quả không khi sắp xếp các tế bào riêng lẻ trong các mạng hoặc mạng của các tế bào trong các hệ thống AI trực giao trong các hệ thống học tập nhằm mục đích hiểu và lắp ráp ngôn ngữ tự nhiên hoặc nhận thức nhân tạo?

Ghi chú

1. Các tế bào nhân tạo trong MLP sử dụng các hàm truyền số học điểm nổi hoặc cố định thay vì truyền xung điện hóa dựa trên biên độ và ngưỡng dựa gần. Chúng không phải là mô phỏng thực tế của các nơ-ron thần kinh, vì vậy việc gọi các nơ-ron đỉnh sẽ là một cách gọi sai cho loại phân tích này.

2. Sự tương quan của các tính năng hình ảnh và thay đổi tương đối giữa các pixel ở gần nhau cao hơn nhiều so với các pixel ở xa.

Cấu trúc liên kết là nghiên cứu các hình dạng hình học được phân biệt bởi giao điểm và phân nhánh. Thuật ngữ này được sử dụng cho các kiến ​​trúc mạng khía cạnh đồ họa. Đó là apropos để sử dụng nó để xem xét sự mở rộng của sự tương tự mạng thần kinh, với sự hiểu rằng ANN không giống như các nơ-ron sinh học trong cách chúng kích hoạt. Do đó, rất khó để giới hạn thảo luận về các mối quan tâm tô pô khi xem xét những gì phần lớn chưa được khám phá.

Mô hình nhân viên giám sát là những gì ngăn xếp và phân cấp Laplacian sử dụng, trong khi mô hình cộng tác viên là những gì các mạng đối thủ sử dụng. Mặc dù phản hồi là tiêu cực, mô hình thế hệ (G) và mô hình phân biệt đối xử (D) thực sự hợp tác để đạt được mục tiêu, vì một người ủng hộ quỷ được sử dụng trong diễn ngôn để hội tụ về sự thật. Chắc chắn các thiết kế khác trong đó các đỉnh không phải là tế bào thần kinh nhân tạo mà toàn bộ các yếu tố ANN hoặc CNN sắp ra mắt.

Các mô hình giáo viên-học sinh và giám sát-nhân viên có lẽ chỉ là hai trong số nhiều. Để mô phỏng độ dẻo thần kinh, các nhà máy làm vườn, thợ sửa chữa thiết bị và mô hình sản phẩm kỹ sư cần điều tra.

Truyền ngược tín hiệu lỗi không phải là tương đương phi tuyến tính duy nhất của phản hồi âm. Cấu trúc liên kết tròn của GAN cũng là phản hồi tiêu cực, như bạn đã chỉ ra trong việc sử dụng phép tương tự dải Mobius. Nên có nhiều suy nghĩ dọc theo những dòng mặc dù.

Sự hợp tác giữa các đỉnh meta là thú vị. Phải hợp tác phải là loại đối thủ giả vờ? Phản hồi tích cực có thể hữu ích trong cấu trúc liên kết trí tuệ nhân tạo? Chủ trang trại và tài xế xe tải phân phối thực phẩm mua thực phẩm tại các siêu thị ở cuối chuỗi quy trình mà vai trò của họ chỉ là một phần. Các chu kỳ lớn hơn trong biểu diễn đồ thị có hướng của cấu trúc liên kết và thiết kế có thể có thể sử dụng phản hồi tích cực hoặc tiêu cực một cách hữu ích.

Việc sản xuất nhân tạo các hình ảnh chuyển động có thể ra khỏi nghiên cứu như Cornell U hoạt động trên Thế hệ video từ văn bản - Li, Min, Shen, Carlson và Carin .

Cạnh của sự hỗn loạn và học máy; và lợi ích trong việc ra quyết định

Trả lời trực tiếp cho câu hỏi của bạn : -

Cạnh hỗn loạn

Giải thích của giáo dân : -

( https://www.lucd.ai/post/the-edge-of-chaos# !)

Câu trả lời này là gì về : -

Edge of Chaos trong lý thuyết hỗn loạn có thể là một chủ đề quan trọng của nghiên cứu về trí tuệ nhân tạo.

Các cạnh của sự hỗn loạn là gì? Lĩnh vực này được đưa ra giả thuyết tồn tại trong một loạt các hệ thống. Nó có nhiều ứng dụng trong các lĩnh vực như vậy. Lĩnh vực này là một khu vực chuyển tiếp giữa tương tác giữa trật tự và rối loạn.

Tôi quan tâm đến sự giao thoa giữa AI và lý thuyết hỗn loạn. Các khía cạnh của sự hỗn loạn phục vụ như một cấu trúc liên kết tiềm năng mà phần lớn chưa được khám phá trong học máy.

Đây là một lĩnh vực phong phú cung cấp nhiều tiềm năng. Đó là, cả hai, phần lớn chưa biết và ước tính thấp.

Tôi sẽ khám phá những lợi ích của việc phân tích một lĩnh vực như vậy trong câu trả lời này. Những lợi ích thể hiện trong việc ra quyết định, chẳng hạn như cách tối ưu để đầu tư và quản lý nhân lực trong một tổ chức.

Giải thích kỹ thuật : -

"Ma trận, hình khối, lớp, ngăn xếp và phân cấp là những gì chúng ta có thể gọi chính xác là cấu trúc liên kết. Hãy xem xét cấu trúc liên kết trong bối cảnh này thiết kế hình học cấp cao hơn của một hệ thống học tập." ~ Douglas Daseeco, Poster mở đầu

So sánh với trích xuất này từ bản tóm tắt của bài báo dưới đây: -

"... Thông qua phân tích ổn định động trên các mô hình thị giác máy tính khác nhau, chúng tôi tìm thấy bằng chứng trực tiếp rằng hiệu suất mạng thần kinh sâu tối ưu xảy ra gần điểm chuyển tiếp phân tách các yếu tố thu hút ổn định và hỗn loạn. ..." Feng, Ling và Choy Heng Lai. - "Trí thông minh máy tối ưu gần rìa hỗn loạn." bản in sẵn arXiv arXiv: 1909.05176 (2019).

-

"Rìa của sự hỗn loạn là một không gian chuyển tiếp giữa trật tự và rối loạn được giả thuyết tồn tại trong một loạt các hệ thống. Vùng chuyển tiếp này là một khu vực của sự mất ổn định bị ràng buộc tạo ra sự tương tác động liên tục giữa trật tự và rối loạn.

Mặc dù ý tưởng về sự hỗn loạn là trừu tượng và không trực quan, nó có nhiều ứng dụng trong các lĩnh vực như sinh thái học, quản lý kinh doanh, tâm lý học, khoa học chính trị và các lĩnh vực khác của khoa học xã hội. Các nhà vật lý đã chỉ ra rằng sự thích nghi với sự hỗn loạn xảy ra trong hầu hết các hệ thống có phản hồi. "Những người đóng góp Wikipedia." - "Cạnh của sự hỗn loạn." Wikipedia, bách khoa toàn thư miễn phí . Wikipedia, Bách khoa toàn thư miễn phí, ngày 10 tháng 9 năm 2019. Web. Ngày 22 tháng 9 năm 2019.

Những lợi ích từ việc học một lĩnh vực như vậy : -

"[...] Chiến lược, giao thức, đội, phòng ban, hệ thống phân cấp. Tất cả được tổ chức tỉ mỉ để đạt hiệu quả tối ưu.

Hoặc ít nhất, đó là cách nó được coi là. Nhưng khi chúng ta áp dụng lăng kính của một nhà lý thuyết phức tạp vào doanh nghiệp chúng ta làm, chúng ta thấy các vấn đề khá phức tạp hơn. Chúng tôi không còn xem các tổ chức là các tổ chức, hoặc các phòng ban như các phòng ban, mà là các hệ thống thích ứng phức tạp, được hiểu một cách hữu ích nhất trong ba phần:

NHÂN VIÊN

Sử dụng các mô hình tinh thần để đưa ra quyết định tốt hơn trong công việc Cuộc sống chuyên nghiệp tràn ngập những lựa chọn khó khăn. Tôi đã sẵn sàng cho chương trình khuyến mãi này? Những người quản lý của tôi nên chọn làm cố vấn? Nên ăn gì vào bữa trưa? Không có phương pháp hoàn hảo nào để luôn luôn thực hiện một cách hành động tốt nhất.

Thứ nhất, nhân viên (nói phức tạp: tác nhân không đồng nhất). Mỗi nhân viên có các quy tắc quyết định khác nhau và phát triển, vừa phản ánh môi trường vừa cố gắng lường trước sự thay đổi trong đó. Thứ hai, các nhân viên tương tác với nhau và các cấu trúc mà các tương tác này tạo ra - các nhà khoa học gọi đây là sự xuất hiện. Cuối cùng, cấu trúc bao trùm nổi lên, hoạt động giống như một hệ thống cấp cao hơn với các thuộc tính và đặc điểm khác biệt với các tác nhân cơ bản của nó. Phần cuối cùng này là lý do chúng ta thường nói 'toàn bộ lớn hơn tổng số phần của nó'.

Với mong muốn kiểm soát của các nhà quản lý, sự phức tạp khác xa với thực tế thuận tiện. Thay vì phải đối mặt với thực tế tàn khốc của hệ thống mà họ đang làm việc để duy trì, các nhà quản lý thường làm việc trong các silo, tạo ra các mô hình và cơ chế áp đặt một veneer chắc chắn. Khi làm như vậy, họ giúp bản thân và đồng nghiệp của mình đưa ra quyết định với ít biến số hơn. Đáp ứng các mục tiêu được đặt ra bởi các mô hình này tạo ra bằng chứng thành công - nhưng đó là một thành công được đơn giản hóa có thể không phải là lợi ích tốt nhất của toàn bộ hệ thống.

Ví dụ, việc đặt ưu tiên cứng nhắc vào tối đa hóa lợi nhuận của cổ đông sẽ giúp mọi người rõ ràng hơn: trong trường hợp đánh đổi khó khăn, tùy chọn cho vay lợi nhuận trước mắt là lựa chọn thích hợp hơn. Nhưng, tất nhiên, tất cả chúng ta đều biết rằng việc cắt giảm chi phí và đầu tư để tăng tỷ suất lợi nhuận ngắn hạn có thể gây bất lợi cho sức khỏe lâu dài của một công ty. Chỉ bằng cách chấp nhận sự phức tạp, chúng ta mới có thể cân bằng hiệu quả các giá trị và ưu tiên cạnh tranh (và ảnh hưởng của các quyết định đối với tất cả chúng). [...] "- Fresno, Blanca González del. Thứ tự từ Chaos: Cách áp dụng lý thuyết phức tạp trong công việc: BBVA. TIN TỨC BBVA , BBVA, ngày 4 tháng 12 năm 2017, < www.bbva.com/en/order-from-chaos-how-to-apply-complexity-theory-at-work/ >.

Đọc thêm : -

• ( http://www.marspolemics.com/racing-over-the-edge-of-chaos-cyberspace-and-art bát-intellect-in-the-facture-operating-en môi / )
• ( https://scitechd Daily.com/physicists-apply-machine-learning-to-solve-the-universes-mysteries/ )
• ( https: //www.t Technologyreview.com/s/602234/how-the-mathatures-of-acheebraic-topology-is-revolutionizing-brain-science/ )

Nguồn và tài liệu tham khảo : -

• ( https://en.wikipedia.org/wiki/Edge_of_chaos )
• ( https://arxiv.org/abs/1909.05176v1 )
• ( https://ktiml.mff.cuni.cz/~bartak/ui_seminar/talks/2016ZS/FilipMatzner_DeepLearning.pdf )
• ( https://en.wikipedia.org/wiki/Self- Organized_criticality )

Điều này có thể lạc đề. Nếu vậy, xóa nó.

Trong mạch điện tử, chúng ta có các khối logic - máy phát, bộ kích hoạt, ô nhớ, bộ chọn, alus, fpus, bus và nhiều chip khác. Và từ đây, chúng tôi có máy tính, và từ cấp độ tiếp theo, chúng tôi có mạng máy tính ...

Đối với học máy, chúng ta phải có một tổ chức tương tự, nhưng nếu chúng ta có máy tính 64 bit, mạng lưới thần kinh của chúng ta có thể có nhiều hơn đầu vào phức tạp / đầu ra và nhiều chức năng logic hơn quy định tại bất kỳ ngôn ngữ lập trình.

Vì vậy, đối với các bit đầu vào X, chúng ta có các trạng thái X ^ (2 ^ 2) cho một bit đầu ra và 2 ^ X bit để chọn một hàm logic cần thiết.

Vì vậy, chúng ta phải nhất quán nghiên cứu các chức năng này, nêu bật các bộ lọc opencv cần thiết đầu tiên như ví dụ.