Nếu các giá trị kỹ thuật số chỉ là ước tính, tại sao không trở lại tương tự cho AI?

Động lực đằng sau sự chuyển đổi từ thế kỷ XX từ mạch tương tự sang kỹ thuật số được thúc đẩy bởi mong muốn có độ chính xác cao hơn và tiếng ồn thấp hơn. Bây giờ chúng tôi đang phát triển phần mềm trong đó kết quả là gần đúng và tiếng ồn có giá trị dương.

• Trong các mạng nhân tạo, chúng tôi sử dụng độ dốc (Jacobian) hoặc mô hình mức độ thứ hai (Hessian) để ước tính các bước tiếp theo trong thuật toán hội tụ và xác định mức độ không chính xác và nghi ngờ chấp nhận được. ¹
• Trong các chiến lược hội tụ, chúng tôi cố tình thêm nhiễu bằng cách tiêm nhiễu ngẫu nhiên hoặc giả ngẫu nhiên để cải thiện độ tin cậy bằng cách nhảy ra cực tiểu cục bộ trên bề mặt tối ưu hóa trong quá trình hội tụ. ²

Những gì chúng tôi chấp nhận và cố tình giới thiệu trong các hệ thống AI hiện tại là những điều tương tự đã đưa thiết bị điện tử vào mạch kỹ thuật số.

Tại sao không quay trở lại mạch tương tự cho mạng lưới thần kinh và thực hiện chúng với ma trận khuếch đại hoạt động thay vì ma trận của các yếu tố xử lý tín hiệu số?

Các giá trị của các tham số học tập mạng nhân tạo có thể được duy trì bằng cách sử dụng các tụ tích hợp được sạc qua bộ chuyển đổi D-A để các trạng thái đã học có thể hưởng lợi từ độ chính xác và tiện lợi kỹ thuật số, trong khi chuyển tiếp lợi ích từ lợi thế tương tự.

• Tốc độ cao hơn ³
• Đơn đặt hàng của các bóng bán dẫn cường độ ít hơn để đại diện cho các tế bào mạng
• Tiếng ồn nhiệt tự nhiên ⁴

Một bài báo học thuật hoặc tìm kiếm bằng sáng chế cho các mạng nhân tạo tương tự cho thấy nhiều công việc trong bốn mươi năm qua, và xu hướng nghiên cứu đã được duy trì. Các mạch tương tự tính toán được phát triển tốt và cung cấp cơ sở cho các mảng thần kinh.

Nỗi ám ảnh hiện tại với tính toán kỹ thuật số có thể che mờ quan điểm chung về các tùy chọn kiến ​​trúc AI?

Là hybrid tương tự kiến ​​trúc ưu việt cho mạng nhân tạo?

Chú thích

[1] PAC (có lẽ khoảng đúng) Learning Khung liên quan lỗi chấp nhận được $\epsilon$ và chấp nhận nghi ngờ với cỡ mẫu cần thiết cho việc học tập với nhiều loại mô hình cụ thể. (Lưu ý rằng thể hiện độ chính xác và thể hiện sự tự tin trong khung này.)$\delta$$1 - \epsilon$$1 - \delta$

[2] Độ dốc dốc ngẫu nhiên được hiển thị, khi các chiến lược và tham số siêu thích hợp được sử dụng, để hội tụ nhanh hơn trong quá trình học và đang trở thành một thực tiễn tốt nhất trong các ứng dụng mạng nhân tạo điển hình trong thế giới thực.

[3] Bộ xử lý Intel Core i9-7960X chạy ở tốc độ turbo là 4.2 GHz trong khi phát sóng satelite cố định tiêu chuẩn là 41 GHz.

[4] Tiếng ồn nhiệt có thể thu được trên silicon bằng cách khuếch đại và lọc rò rỉ điện tử qua điốt zener phân cực ngược tại điểm tuyết lở của nó. Nguồn gốc của hiện tượng lượng tử là tiếng ồn nhiệt Johnson Johnson Nyquist. Sanguinetti và. al. trong trạng thái 'Tạo số ngẫu nhiên lượng tử trên điện thoại di động' (2014), "Máy dò có thể được mô hình hóa như một kênh bị mất với xác suất truyền theo sau là bộ chuyển đổi photon thành điện tử với hiệu suất đơn vị ... phân phối được đo là sự kết hợp giữa độ không đảm bảo lượng tử và tiếng ồn kỹ thuật "và JTWPA của CalTech hoạt động. Cả hai điều này có thể trở thành tiêu chuẩn để tạo ra nhiễu lượng tử thực sự không xác định trong các mạch tích hợp.

Người giới thiệu

• STDP Học về các bản vá hình ảnh với các mạng nơ ron chuyển đổi kết hợp , Saunders et. al. 2018, Thánh Lễ và ĐÃ
• Tăng tốc mã mục đích chung với tính toán tương tự chính xác có giới hạn , Amant et. al., 2014
• Mô phỏng sinh học và điện toán tương tự nhận được sự thúc đẩy từ trình biên dịch MIT mới , bởi Devin Coldewey, 2016
• Trả về điện toán tương tự , bởi Larry Hardesty, 2016 *
• Tại sao tính toán tương tự? , NSA Tài liệu giải mật
• Quay lại với điện toán tương tự: Các nhà nghiên cứu Columbia hợp nhất điện toán analog và kỹ thuật số trên một con chip duy nhất , Columbia U, 2016
• Mảng thanh ngang có thể lập trình trường (FPCA) để tính toán cấu hình lại , Zian et. al., IEEE, 2017
• Cơ sở hạ tầng điện toán lai FPAA / Memristor , Laiho et. al., IEEE, 2015
• Các nền tảng và mô hình mới nổi để tính toán trong các tế bào sống , Ma, Perli, Lu, Harvard U, 2016
• Một mô hình linh hoạt của mảng Transitor có thể lập trình trường CMOS được nhắm mục tiêu cho sự tiến hóa phần cứng (FPAA), bởi Zebulum, Stoica, Keymeulen, NASA / JPL, 2000
• Mảng tuyến tính tùy chỉnh kết hợp tới 48 Ampe Op chính xác trên mỗi chip , Ashok Bindra, 2001, Thiết kế điện tử
• Mảng tương tự có thể lập trình trường quy mô lớn để xử lý tín hiệu tương tự , Hall et. al., Giao dịch của IEEE trên Mạch và Hệ thống, tập. 52, không 11, 2005
• Các mảng tương tự có thể lập trình trường quy mô lớn để xử lý tín hiệu analog , Hall et. al. 2005
• Một mảng VLSI gồm các nơ-ron chạy bằng năng lượng thấp và các khớp thần kinh có thể uốn được với độ dẻo phụ thuộc thời gian tăng đột biến , Indiveri G, Chicca E, Douglas RJ, 2006
• https://www.amazon.com/Analog-Computing-Ulmann/dp/3486728970
• https://www.amazon.com/Neural-Networks-Analog-Computing- Theoryory/dp/0817639497

Tôi nghĩ rằng, có nhiều lý do. Trước hết: Linh hoạt. Với CPU và GPU hiện đại, bạn có thể xây dựng khá nhiều mô hình AI bạn muốn và ở mọi kích thước và độ phức tạp bạn muốn. Làm thế nào bạn có thể chắc chắn rằng mô hình bạn hiện đang sử dụng vẫn còn phù hợp trong một vài năm? Có lẽ sẽ có một bước đột phá lớn trong NN trong vài năm tới? Có thể một số nhà khoa học thấy rằng có một cách phát triển AI tốt hơn so với NN, thuật toán di truyền, v.v. Các chip thông thường có thể xử lý tất cả, và họ có thể xử lý nó đủ tốt. Nhưng nếu bạn muốn tối ưu hóa nó không phải lo lắng về tiền bạc, bạn có thể phát triển một kiến ​​trúc chuyên biệt (điều này đã được thực hiện bởi các công ty khác nhau, giúp tăng tốc độ lớn cho các nhiệm vụ cụ thể).

Lý do số hai: Sản xuất hàng loạt. Ý tôi là, các công ty cuối cùng có thể sản xuất các thành phần AI tương tự tích hợp cao (ví dụ, ví dụ như chip NN). Nhưng đó sẽ là một khoản đầu tư lớn hơn. Không rõ liệu các đơn vị đủ linh hoạt để trở thành một sự thay thế phần cứng AI nghiêm trọng, có thể dễ dàng được sản xuất trong một sản xuất hàng loạt có thể cạnh tranh với CPU và GPU. Đặc biệt là cái sau được tối ưu hóa cao để thực hiện tính toán song song lớn. Và, nếu bạn theo dõi sự phát triển của các kiến ​​trúc tương tự GPU (có thể làm được một số thứ, nhưng rất tốt) được tối ưu hóa cho việc học maschine, bạn có thể thấy rằng đó sẽ là một đối thủ cạnh tranh khó khăn cho các đơn vị tương tự.

Tất cả những điều trên không có nghĩa là không có nghiên cứu trong lĩnh vực này. Có một vài thí nghiệm cố gắng lưu trữ điều đó, nhưng chúng chưa 'nguy hiểm' đối với các kiến ​​trúc thông thường. Cuối cùng, chúng sẽ đến trong tương lai, khi chúng ta hiểu về AI và trí thông minh nói chung tốt hơn và chỉ đang cố gắng điều chỉnh, nhưng tôi khá hoài nghi về điều đó.

EDIT: Ngoài ra, một thứ cũng thuộc về tính linh hoạt: Bạn có thể thử nghiệm tốt hơn với các thuật toán AI chạy trên phần cứng kỹ thuật số 'bình thường'. Ví dụ: bạn có thể dễ dàng kiểm tra NN tại một số vị trí nhất định, bạn có thể nhanh chóng sửa đổi dữ liệu đầu vào hoặc cung cấp dữ liệu thay thế, bạn thực sự không bị ràng buộc với bất cứ điều gì. Và vì chúng ta vẫn chưa biết hoặc hiểu hoàn toàn mọi mô hình, khi nào nên sử dụng mô hình đó, nếu có kiến ​​trúc tốt hơn cho một nhiệm vụ nhất định, v.v., sẽ không có ý nghĩa gì khi đặt một cái gì đó 'trẻ' và 'thử nghiệm' vào một tương tự cố định ngành kiến ​​trúc.

Câu trả lời nhanh

Khi Intel mua Nirvana, họ đã cho thấy niềm tin của họ rằng VLSI tương tự có vị trí của nó trong các chip biến đổi thần kinh của tương lai gần ^{1, 2, 3} .

Cho dù đó là vì khả năng khai thác dễ dàng hơn tiếng ồn lượng tử tự nhiên trong các mạch tương tự vẫn chưa được công khai. Có nhiều khả năng vì số lượng và độ phức tạp của các chức năng kích hoạt song song có thể được đóng gói vào một chip VLSI duy nhất. Analog có các đơn đặt hàng lợi thế lớn hơn so với kỹ thuật số trong khía cạnh đó.

Nó có khả năng có lợi cho các thành viên AI Stack Exchange để tăng tốc độ phát triển mạnh mẽ của công nghệ này.

Xu hướng quan trọng và phi xu hướng trong AI

Để tiếp cận câu hỏi này một cách khoa học, tốt nhất là đối chiếu lý thuyết tín hiệu tương tự và kỹ thuật số mà không có sự thiên vị của xu hướng.

Những người đam mê trí tuệ nhân tạo có thể tìm thấy nhiều trên web về tìm hiểu sâu, trích xuất tính năng, nhận dạng hình ảnh và các thư viện phần mềm để tải xuống và ngay lập tức bắt đầu thử nghiệm. Đó là cách mà hầu hết mọi người đều bị ướt chân với công nghệ, nhưng việc giới thiệu nhanh về AI cũng có mặt trái của nó.

Khi không hiểu được nền tảng lý thuyết của việc triển khai thành công sớm AI đối mặt với người tiêu dùng, các giả định hình thành mâu thuẫn với các nền tảng đó. Các tùy chọn quan trọng, chẳng hạn như tế bào thần kinh nhân tạo tương tự, mạng tăng vọt và phản hồi thời gian thực, bị bỏ qua. Sự cải thiện của các hình thức, khả năng và độ tin cậy bị tổn hại.

Sự nhiệt tình trong phát triển công nghệ phải luôn được tôi luyện với ít nhất một thước đo bằng nhau về tư duy duy lý.

Sự hội tụ và ổn định

Trong một hệ thống mà độ chính xác và độ ổn định đạt được thông qua phản hồi, cả giá trị tín hiệu analog và kỹ thuật số luôn chỉ là ước tính.

• Các giá trị số trong thuật toán hội tụ, hay chính xác hơn là một chiến lược được thiết kế để hội tụ
• Giá trị tín hiệu tương tự trong mạch khuếch đại hoạt động ổn định

Hiểu được sự song song giữa hội tụ thông qua sửa lỗi trong thuật toán kỹ thuật số và độ ổn định đạt được thông qua phản hồi trong thiết bị tương tự là điều quan trọng trong suy nghĩ về câu hỏi này. Đây là những tương đồng sử dụng biệt ngữ đương đại, với kỹ thuật số ở bên trái và tương tự ở bên phải.

┌┌ ─ ─ ─ Giới thiệu về giới tính của bạn
* Lưới nhân tạo kỹ thuật số * * Lưới nhân tạo tương tự *
├├ ─ ─ Giới thiệu về giới tính của bạn
Truyền lan Đường dẫn tín hiệu chính │
├├ ─ ─ Giới thiệu về giới tính của bạn
Chức năng lỗi Chức năng lỗi │
├├ ─ ─ Giới thiệu về giới tính của bạn
Hội tụ │ Ổn định
├├ ─ ─ Giới thiệu về giới tính của bạn
Độ bão hòa của độ dốc │ Độ bão hòa ở đầu vào
├├ ─ ─ Giới thiệu về giới tính của bạn
Chức năng kích hoạt function Chức năng chuyển tiếp
└└ ─ ─ Giới thiệu về giới tính của bạn

Phổ biến của mạch kỹ thuật số

Yếu tố chính trong sự gia tăng phổ biến mạch kỹ thuật số là ngăn chặn tiếng ồn. Các mạch kỹ thuật số VLSI ngày nay có thời gian trung bình dài đến thất bại (thời gian trung bình giữa các trường hợp khi gặp phải một giá trị bit không chính xác).

Việc loại bỏ nhiễu ảo đã mang lại cho mạch kỹ thuật số một lợi thế đáng kể so với mạch tương tự để đo lường, điều khiển PID, tính toán và các ứng dụng khác. Với mạch kỹ thuật số, người ta có thể đo chính xác đến năm chữ số thập phân, điều khiển với độ chính xác vượt trội và tính toán chính xác từ π đến một nghìn chữ số thập phân, lặp lại và đáng tin cậy.

Nó chủ yếu là hàng không, quốc phòng, đạn đạo và ngân sách đối phó đã làm tăng nhu cầu sản xuất để đạt được nền kinh tế quy mô trong sản xuất mạch kỹ thuật số. Nhu cầu về độ phân giải màn hình và tốc độ kết xuất đang thúc đẩy việc sử dụng GPU làm bộ xử lý tín hiệu số.

Là những lực lượng kinh tế phần lớn gây ra sự lựa chọn thiết kế tốt nhất? Các mạng nhân tạo dựa trên kỹ thuật số có sử dụng tốt nhất bất động sản VLSI quý giá không? Đó là thách thức của câu hỏi này, và nó là một câu hỏi hay.

Thực tế về độ phức tạp của IC

Như đã đề cập trong một bình luận, phải mất hàng chục ngàn bóng bán dẫn để thực hiện trong silicon một nơron mạng nhân tạo độc lập, có thể tái sử dụng. Điều này phần lớn là do phép nhân ma trận vector dẫn vào mỗi lớp kích hoạt. Chỉ mất vài chục bóng bán dẫn cho mỗi nơron nhân tạo để thực hiện phép nhân ma trận véc tơ và mảng các bộ khuếch đại hoạt động của lớp. Bộ khuếch đại hoạt động có thể được thiết kế để thực hiện các chức năng như bước nhị phân, sigmoid, soft plus, ELU và ISRLU.

Nhiễu tín hiệu số từ làm tròn

Tín hiệu số không bị nhiễu vì hầu hết các tín hiệu số được làm tròn và do đó gần đúng. Độ bão hòa của tín hiệu trong lan truyền ngược xuất hiện đầu tiên khi nhiễu kỹ thuật số được tạo ra từ phép tính gần đúng này. Bão hòa hơn nữa xảy ra khi tín hiệu luôn được làm tròn thành cùng một biểu diễn nhị phân.

$v$$e$$k$$n$$N$

$v = \sum_{n = 0}^{N} 1_n \, 2^{\, k + e + N - n}$

Các lập trình viên đôi khi gặp phải các hiệu ứng làm tròn theo số dấu phẩy động chính xác kép hoặc đơn của IEEE khi các câu trả lời được dự kiến ​​là 0,2 xuất hiện dưới dạng 0,20000000000001. Một phần năm không thể được biểu diễn với độ chính xác hoàn hảo dưới dạng số nhị phân vì 5 không phải là hệ số 2.

Science Over Media Hype và Xu hướng phổ biến

$E = mc^2$

Trong học máy như với nhiều sản phẩm công nghệ, có bốn thước đo chất lượng chính.

• Hiệu quả (thúc đẩy tốc độ và tính kinh tế của việc sử dụng)
• độ tin cậy
• Sự chính xác
• Tính toàn diện (giúp duy trì khả năng bảo trì)

Đôi khi, nhưng không phải lúc nào cũng vậy, thành tích của người này thỏa hiệp với người khác, trong trường hợp đó phải cân bằng. Gradient descent là một chiến lược hội tụ có thể được thực hiện trong một thuật toán kỹ thuật số cân bằng độc đáo bốn điều này, đó là lý do tại sao nó là chiến lược chủ đạo trong đào tạo tri giác nhiều lớp và trong nhiều mạng sâu.

Bốn điều đó là trọng tâm của công việc điều khiển học sớm của Norbert Wiener trước các mạch kỹ thuật số đầu tiên trong Bell Labs hoặc lần lật đầu tiên được thực hiện với các ống chân không. Thuật ngữ điều khiển học có nguồn gốc từ tiếng Hy Lạp κυβερκυβερ (phát âm là kyvernítis ) có nghĩa là người lái, trong đó người đập và cánh buồm phải bù cho gió và dòng chảy thay đổi liên tục và con tàu cần phải hội tụ trên cảng hoặc bến cảng dự định.

Xu hướng của câu hỏi này có thể xoay quanh ý tưởng về việc liệu có thể thực hiện được VLSI để đạt được quy mô kinh tế cho các mạng tương tự hay không, nhưng tiêu chí được đưa ra bởi tác giả của nó là để tránh các quan điểm theo xu hướng. Ngay cả khi đó không phải là trường hợp, như đã đề cập ở trên, các bóng bán dẫn được yêu cầu ít hơn đáng kể để tạo ra các lớp mạng nhân tạo với mạch tương tự so với kỹ thuật số. Vì lý do đó, việc trả lời câu hỏi giả định rằng tương tự VLSI là rất khả thi với chi phí hợp lý nếu sự chú ý hướng đến việc hoàn thành nó là hợp pháp.

Thiết kế mạng nhân tạo tương tự

Lưới nhân tạo tương tự đang được điều tra trên toàn thế giới, bao gồm liên doanh IBM / MIT, Nirvana của Intel, Google, Không quân Hoa Kỳ vào đầu năm 1992 ⁵ , Tesla và nhiều người khác, một số người nêu trong các nhận xét và phụ lục về điều này câu hỏi

Sự quan tâm đến tương tự đối với các mạng nhân tạo có liên quan đến số lượng các chức năng kích hoạt song song liên quan đến việc học có thể phù hợp với một milimet vuông của bất động sản chip VLSI. Điều đó phụ thuộc phần lớn vào số lượng bóng bán dẫn được yêu cầu. Các ma trận suy giảm (ma trận tham số học tập) ⁴ yêu cầu nhân vectơ ma trận, đòi hỏi một số lượng lớn các bóng bán dẫn và do đó là một khối đáng kể của bất động sản VLSI.

Phải có năm thành phần chức năng độc lập trong một mạng lưới tri giác đa lớp cơ bản nếu nó có sẵn để đào tạo song song hoàn toàn.

1. Phép nhân vectơ ma trận tham số hóa biên độ truyền về phía trước giữa các hàm kích hoạt của mỗi lớp
2. Việc lưu giữ các tham số
3. Các chức năng kích hoạt cho mỗi lớp
4. Việc giữ lại các đầu ra của lớp kích hoạt để áp dụng trong lan truyền ngược
5. Đạo hàm của các hàm kích hoạt cho mỗi lớp

Trong mạch tương tự, với sự song song lớn hơn vốn có trong phương pháp truyền tín hiệu, 2 và 4 có thể không cần thiết. Lý thuyết phản hồi và phân tích điều hòa sẽ được áp dụng cho thiết kế mạch, sử dụng một trình giả lập như Spice.

$c_p$$c(\int r)$$r(t, c)$$t$$i$$I$$w_i$ $\tau_p$$\tau_a$$\tau_d$

$c = c_p \; c(\int r(t, c) \, dt) \; \Big( \sum_{i = 0}^{I - 2} \, (\tau_p w_i w_{i-1} + \tau_a w_i + \tau_d w_i) + \tau_a w_{I-1} + \tau_d w_{I-1} \Big)$

Đối với các giá trị chung của các mạch này trong các mạch tích hợp tương tự hiện tại, chúng tôi có chi phí cho các chip VLSI tương tự hội tụ theo thời gian với giá trị ít nhất ba bậc độ lớn so với các chip kỹ thuật số có độ song song đào tạo tương đương.

Địa chỉ trực tiếp tiêm tiếng ồn

Câu hỏi nêu rõ: "Chúng tôi đang sử dụng độ dốc (Jacobian) hoặc mô hình độ hai (Hessian) để ước tính các bước tiếp theo trong thuật toán hội tụ và cố tình thêm nhiễu [hoặc] gây nhiễu giả ngẫu nhiên để cải thiện độ tin cậy hội tụ bằng cách nhảy ra khỏi giếng địa phương trong lỗi bề mặt trong quá trình hội tụ. "

Lý do nhiễu giả ngẫu nhiên được đưa vào thuật toán hội tụ trong quá trình đào tạo và trong các mạng tái sử dụng thời gian thực (như mạng gia cố) là do sự tồn tại của cực tiểu cục bộ trong bề mặt chênh lệch (lỗi) không phải là cực tiểu toàn cầu. bề mặt. Cực tiểu toàn cầu là trạng thái được đào tạo tối ưu của mạng nhân tạo. Cực tiểu địa phương có thể là xa tối ưu.

Bề mặt này minh họa chức năng lỗi của các tham số (hai trong trường hợp ⁶ được đơn giản hóa cao này ) và vấn đề cực tiểu cục bộ che giấu sự tồn tại của cực tiểu toàn cầu. Các điểm thấp trên bề mặt thể hiện cực tiểu tại các điểm tới hạn của các khu vực địa phương về sự hội tụ đào tạo tối ưu. ^7,8

Các hàm lỗi chỉ đơn giản là thước đo sự chênh lệch giữa trạng thái mạng hiện tại trong quá trình đào tạo và trạng thái mạng mong muốn. Trong quá trình đào tạo mạng nhân tạo, mục tiêu là tìm ra mức tối thiểu toàn cầu của sự chênh lệch này. Bề mặt như vậy tồn tại cho dù dữ liệu mẫu được dán nhãn hoặc không được gắn nhãn và liệu các tiêu chí hoàn thành đào tạo là bên trong hay bên ngoài mạng nhân tạo.

Nếu tốc độ học tập nhỏ và trạng thái ban đầu là ở gốc của không gian tham số, thì sự hội tụ, sử dụng độ dốc, sẽ hội tụ đến giếng ngoài cùng, là mức tối thiểu cục bộ, không phải là mức tối thiểu toàn cầu ở bên phải.

Ngay cả khi các chuyên gia khởi tạo mạng nhân tạo để học đủ thông minh để chọn điểm giữa giữa hai cực tiểu, thì độ dốc tại điểm đó vẫn dốc về phía tối thiểu bên tay trái và sự hội tụ sẽ đến trạng thái đào tạo không tối ưu. Nếu sự tối ưu của đào tạo là rất quan trọng, điều thường thấy, đào tạo sẽ không đạt được kết quả chất lượng sản xuất.

Một giải pháp được sử dụng là thêm entropy vào quá trình hội tụ, thường chỉ đơn giản là tiêm đầu ra suy yếu của bộ tạo số ngẫu nhiên giả. Một giải pháp khác ít được sử dụng là phân nhánh quá trình đào tạo và thử tiêm một lượng lớn entropy trong quy trình hội tụ thứ hai để có một tìm kiếm bảo thủ và một tìm kiếm hơi hoang dã chạy song song.

Đúng là nhiễu lượng tử trong các mạch tương tự cực nhỏ có độ đồng đều cao hơn phổ tín hiệu từ entropy của nó so với máy phát giả ngẫu nhiên kỹ thuật số và cần ít bóng bán dẫn hơn để đạt được nhiễu chất lượng cao hơn. Liệu những thách thức trong việc thực hiện VLSI đã được khắc phục hay chưa vẫn chưa được tiết lộ bởi các phòng thí nghiệm nghiên cứu được nhúng trong các chính phủ và tập đoàn.

• Các yếu tố ngẫu nhiên như vậy được sử dụng để tiêm số lượng ngẫu nhiên đo được để tăng cường tốc độ và độ tin cậy đào tạo có thể miễn nhiễm với tiếng ồn bên ngoài trong quá trình đào tạo không?
• Họ sẽ được bảo vệ đầy đủ khỏi cuộc nói chuyện chéo nội bộ?
• Liệu một nhu cầu phát sinh sẽ làm giảm chi phí sản xuất VLSI đủ để đạt đến điểm sử dụng lớn hơn bên ngoài các doanh nghiệp nghiên cứu được tài trợ cao?

Cả ba thử thách đều hợp lý. Điều chắc chắn và cũng rất thú vị là cách các nhà thiết kế và nhà sản xuất tạo điều kiện cho việc điều khiển kỹ thuật số các đường dẫn tín hiệu tương tự và các chức năng kích hoạt để đạt được tốc độ đào tạo cao.

Chú thích

[1] https://ieeexplore.ieee.org/abab/document/8401400/

[2] https://spectrum.ieee.org/automaton/robotics/art bát-intellect / analog-and-neuromorphic-chips-will-rule -robotic-agage

[3] https://www.roboticstomorrow.com/article/2018/04/whats-the-difference-b between-analog-and-neuromorphic-chips-in-robots/11820

[4] Sự suy giảm liên quan đến việc nhân một đầu ra tín hiệu từ một lần truyền động bằng một tham số có thể huấn luyện để cung cấp một phần bổ sung được tổng hợp với các phần khác cho đầu vào để kích hoạt lớp tiếp theo. Mặc dù đây là một thuật ngữ vật lý, nó thường được sử dụng trong kỹ thuật điện và nó là thuật ngữ thích hợp để mô tả chức năng của phép nhân ma trận véc tơ đạt được những gì, trong các vòng tròn ít giáo dục, được gọi là trọng số của các đầu vào lớp.

[5] http://www.dtic.mil/dtic/tr/fulltext/u2/a256621.pdf

[6] Có nhiều hơn hai tham số trong các mạng nhân tạo, nhưng chỉ có hai tham số được mô tả trong hình minh họa này vì cốt truyện chỉ có thể hiểu được trong 3-D và chúng tôi cần một trong ba chiều cho giá trị hàm lỗi.

$z = (x-2)^2 + (y-2)^2 + 60 - \frac {40} {\sqrt{1 + (y - 1.1)^2 + (x - 0.9)^2}} - \frac {40} {(1 + {((y - 2.2)^2 + (x - 3.1)^2)}^4)}$

[8] Các lệnh gnuplot liên kết:

set title "Error Surface Showing How Global Optimum Can be Missed"
set xlabel "x"
set ylabel "y"
set pm3d at b
set ticslevel 0.8
set isosample 40,40
set xrange [0:4]
set yrange [0:4]
set nokey
splot (x-2)**2 + (y-2)**2 + 60 \
    - 40 / sqrt(1+(y-1.1)**2+(x-0.9)**2) \
    - 40 / (1+(y-2.2)**2+(x-3.1)**2)**4

Thiết bị kỹ thuật số của các tế bào tương tự

Một trong những thách thức chính trong các mạng nhân tạo tương tự là thiết bị mạng sẽ thực tế nhất nếu là kỹ thuật số. Bất kỳ triển khai VLSI nào đối với các tri giác tương tự, các cấu trúc hoặc mạng gia tốc có thể sẽ cần phải có các thành phần kỹ thuật số trong một sắp xếp lai cho một số chức năng.

• Chỉ số sức khỏe
• Chỉ báo lỗi
• Lưu trữ và truy xuất các tham số đã học ¹
• Kiểm soát hệ thống tổng thể
• Đặt siêu tham số
• Thống kê hoạt động
• Hướng nội để phát triển và gỡ lỗi
• Điểm phá vỡ
• Kiểm toán

Điều này có nghĩa là việc hiện thực hóa một mạng học tập nhân tạo tương tự có mục đích chung sẽ yêu cầu chuyển đổi từ A sang D và D thành A. ² Thử thách thiết kế VLSI sau đó trở thành tránh việc tích hợp các bóng bán dẫn từ việc giới thiệu một số lượng lớn các khối chuyển đổi. Như vậy sẽ đánh bại lợi thế mật độ của việc thực hiện tương tự của lan truyền tiến và lùi.

Giải pháp có thể là sử dụng ma trận chốt để phân phối tín hiệu từ bộ biến đổi D-A sang tụ điện và ma trận chuyển mạch rò rỉ thấp để chọn giá trị nào sẽ được đọc bởi bộ biến đổi A-D-D. Điều này phải được thực hiện mà không đưa nhiễu kỹ thuật số vào các đường dẫn tương tự và không làm giảm phí lưu trữ hoặc mất độ chính xác khi sạc chúng.

Chỉ có thể tìm thấy số lượng bóng bán dẫn và tuyến bổ sung trong mạch mạng chính như thế nào bằng cách thực hiện quy trình thiết kế VLSI.

Đóng góp nguồn mở quan trọng

Đại học Massachusetts đã giới thiệu kho lưu trữ BindsNet mã nguồn mở ^3,4 vào tháng 2 năm 2018. Nó mô phỏng các mạng spiking tương tự với phần mềm và phần cứng kỹ thuật số và thúc đẩy tăng tốc GPU thông qua PyTorch.

Điều này tạo điều kiện cho thử nghiệm ngày nay vào các thiết kế và chiến lược mạng gia tăng. Thành công khi sử dụng mô phỏng, nếu đủ quan trọng, có thể sẽ dẫn đến một thiết kế VLSI vượt trội.

Chú thích

[1] Trong bất kỳ hệ thống học tập thực tế nào, các tham số đã học phải được trích xuất từ ​​triển khai VLSI, được lưu trữ trong cơ sở dữ liệu và được cung cấp cho bất kỳ số lượng phát triển, thử nghiệm, UAT hoặc hệ thống sản xuất nào để triển khai, phân tích nguyên nhân gốc, lỗ hổng và khắc phục thảm họa. Lưu và tải phải là một tính năng cơ bản của mạng nhân tạo tương tự lai VLSI, ngay cả giữa các kỷ nguyên trong quá trình đào tạo và trong quá trình sử dụng thực tế.

[2] Người ta không thể giữ trạng thái đã học của một mạng nhân tạo trong các tụ điện vô thời hạn. Mặc dù các tụ điện đã trở thành thành phần thụ động chi phối cho các mạch tương tự được thiết kế trong các quy trình CMOS tiêu chuẩn, chúng không thể có nhiều công suất và rò rỉ không bằng không. Thời gian bán hủy của các mạch lưu trữ điện dung và độ chính xác cần thiết của các giá trị tham số sẽ xác định tốc độ của chu kỳ cập nhật lại đọc và có điều kiện.

[3] Kho lưu trữ nguồn mở BindsNet

[4] BindsNET [paper]: Một thư viện mạng nơ-ron định hướng học máy trong Python cho ấn phẩm Harvard U của bản tóm tắt từ bài báo BindsNet.

Tôi ngạc nhiên không ai đề cập đến một số hướng nghiên cứu cụ thể trong lĩnh vực AI tương tự. Và cũng để làm rõ Trí tuệ nhân tạo không hoàn toàn giống với Machine Learning như thế này câu trả lời cho thấy. Những tiến bộ gần đây trong tính toán tương tự chỉ có trong lĩnh vực Machine Learning.

Tương tự CMOS:

Trước hết chúng ta hãy nói về việc thực hiện tương tự sớm nhất của các tế bào thần kinh. Dr.Giacomo Indiveri, et al là một trong số những người tiên phong trong lĩnh vực này. Mặc dù với logic CMOS, bạn có thể thiết kế tăng tốc Mạng lưới thần kinh với STDP (Spike Time Depitive Plasticity), rất khó để sử dụng các thuật toán Machine Learning. Bộ não con người vẫn chưa được hiểu đầy đủ, đặc biệt là cách nó truyền đạt thông tin phức tạp với gai. Các mạng dựa trên đột biến rất tốt trong việc thực hiện nhận dạng hình ảnh tương đối nhỏ và các tác vụ có độ phức tạp thấp (Hầu hết các bài báo dường như quan tâm nhiều hơn đến việc cải thiện hiệu suất thay vì áp dụng cho các tác vụ rất phức tạp). Do số lượng bóng bán dẫn có sẵn, chúng tôi có thể sử dụng nó trong các nhiệm vụ phức tạp.

Ví dụ điển hình nhất là Google đang sử dụng ý tưởng về độ chính xác thấp và độ chính xác bù của TPU, bằng cách sử dụng số lượng lớn các đơn vị xử lý gây ra sự đánh đổi giữa thời gian, độ chính xác và diện tích. Điều này có thể tương tự với số lượng bóng bán dẫn khổng lồ trong bộ xử lý mặc dù có độ chính xác thấp. ( Một cái nhìn sâu sắc về Bộ xử lý kéo căng đầu tiên của Google (TPU) )

LƯU Ý: Một số người có thể cho rằng công nghệ CMOS thuộc miền kỹ thuật số, nhưng vì chúng tôi không đặc biệt sử dụng CMOS ở đây để thực hiện bất kỳ hoạt động kỹ thuật số nào tôi muốn nghĩ về nó như là tương tự.

Các tác vụ dựa trên Spike rõ ràng là khá tốt đối với Người chiến thắng trong tất cả các mạng (giống như Bản đồ tự tổ chức ), vì vậy đây là cách chung để thực hiện Thuật toán học máy trong chip VLSI.

Mạng dựa trên Spike không có bộ nhớ lý tưởng, bạn không thể có trọng số chính xác cao. Họ đã đề xuất thực hiện các trọng lượng sinh học hoặc các khớp thần kinh hoặc bộ nhớ bằng cách sử dụng các tụ điện, nhưng rõ ràng nó phải đối mặt với các vấn đề tương tự như các chip silicon thông thường, như rò rỉ điện tích và từ các phi lý tưởng khác dựa trên Silicon và từ những gì tôi hiểu, chúng cũng có thể mô hình các trọng số giới hạn ( như -1, 0, 1).

Tính toán kỹ thuật số:

Ở đây, tính toán kỹ thuật số. Các nhiệm vụ đòi hỏi số lượng biểu diễn dấu phẩy động cao không thể được thực hiện bằng cách tăng đột biến, vì chúng ta chưa biết hoặc thậm chí có thể bắt chước hoàn toàn sinh lý học hoặc bất kỳ khía cạnh nào của một tế bào thần kinh thực sự cho vấn đề đó. Tính toán kỹ thuật số chỉ đơn giản là giúp truyền đạt nhiều thông tin hơn với độ chính xác như chúng ta muốn (nếu chúng ta thiết kế một CPU như vậy). Mặc dù các nút thắt cổ chai là một nhược điểm đã biết của kiến ​​trúc Von Neumann đối với tính toán kỹ thuật số, nó không phải là vấn đề nhiều như việc thể hiện thông tin qua các đột biến. Gai luôn có độ lớn cố định, cách duy nhất có thể truyền tải thông tin là tần số và dấu hiệu của nó (kích thích hoặc ức chế). Ngoài ra tốc độ đồng hồ khá cao trong các máy tính hiện đại.

Memristors: Một hướng đi mới

Ở đây có phát minh gần đây nhất, Memristor . Đây là thiết bị tương tự hứa hẹn nhất trong Machine Learning. Bộ nhớ là một khái niệm rất mới được dự đoán vào những năm 70 và chỉ được sản xuất vào năm 2008. Về cơ bản, chúng là RAM của RRAM hoặc Resisitive. Trong cuộc kháng chiến của bộ nhớ điện trở hoặc memristor có liên quan trực tiếp đến lịch sử hiện tại quá khứ mà là rất giống với mô hình sinh lý của tế bào thần kinh. Họ cũng có thể được đào tạo dễ dàng bằng cách sử dụng các mảng thanh ngang (về cơ bản là ma trận tiếp xúc điện) của các memristor (mảng thanh ngang sẽ đại diện cho ma trận trọng số, điện áp được áp dụng dọc theo các hàng hoặc dọc theo các cột xác định lan truyền về phía trước hoặc lan truyền ngược).

Do đó, Memristor cung cấp một spin tương tự thực cho các thuật toán Machine Learning. Thật không may, do sự xuất hiện gần đây của nó, có rất nhiều vấn đề vẫn chưa được giải quyết.

• Memristor có thể xuống cấp khá nhanh, đó là họ có chu kỳ đào tạo hạn chế.
• Memristors giới thiệu rất nhiều tiếng ồn, dường như không giúp ích gì cho nguyên nhân của việc chính quy hóa như một kỹ sư ML có thể nghĩ.
• $TiO_2$$HfO_2$

Phòng thí nghiệm nghiên cứu điện tử nano, Đại học Purdue

Vật liệu điện hóa, ETH Zurich

Dự án não người

Viện nghiên cứu não, hành vi và phát triển MARCS

Photonics thần kinh:

Gần đây, đã có một mối quan tâm trong lĩnh vực quang tử thần kinh. Đây là một bài viết ngắn trên cùng. Tôi không quen thuộc với các hoạt động bên trong giống nhau, nhưng AFAIK nó liên quan đến việc truyền thông tin ở dạng quang học trong chính chip xử lý. Điều này dẫn đến một số lợi thế so với các mạch tương tự hoặc kỹ thuật số thông thường:

• Xử lý thông tin nhanh hơn.
• Mật độ thông tin cao hơn.
• Độ trung thực dữ liệu tốt hơn do tổn thất rất ít.

Tôi tin rằng hầu hết mọi người đã trả lời khá nhiều câu hỏi một cách siêng năng theo cách thực sự nhiều thông tin. Tôi chỉ muốn nói rằng chúng ta thường sử dụng các mạch kỹ thuật số bởi vì đó là công nghệ hiện có và các mạch tương tự chắc chắn có vẻ rất hứa hẹn.

Tuy nhiên, tại thời điểm này, ý tưởng này không được phát triển lắm mặc dù số lượng nghiên cứu được thực hiện trong những năm qua. Cho đến nay, không có công ty nào, đã cố gắng thực hiện ý tưởng ở cấp độ thương mại nơi họ đang sản xuất những con chip như vậy để sử dụng bên ngoài phòng thí nghiệm của họ.

Bên cạnh đó, ý tưởng này cảm thấy giống như một cách tiếp cận mới và có tiềm năng lớn.

Nhưng, với sự thiếu hiểu biết của chúng tôi về cách một số mô hình hoạt động, một số không chỉ là vấn đề; Làm thế nào các mạng lưới thần kinh thực sự giải quyết các vấn đề phức tạp như vậy và nhiều thứ khác. Vì vậy, nó vẫn là một công nghệ khá xa để đạt được tiềm năng đầy đủ của nó.

PS Tôi vẫn là người mới bắt đầu trong lĩnh vực này và nghĩ rằng ý kiến ​​của tôi không được tính như vậy, nếu tôi thừa ở bất cứ đâu hoặc không cung cấp cho bạn câu trả lời mong đợi sau đó, tôi thực sự hối tiếc.

Người ta cũng có thể tiếp cận câu hỏi từ khía cạnh lý thuyết thông tin:

Có hai giao dịch / lựa chọn:

Thông tin tương tự có thể thể hiện thông tin theo cách chính xác / cụ thể hơn, nhưng bị giới hạn về số lượng.

Thông tin kỹ thuật số không thể hiện đầy đủ thế giới thực, nhưng có thể chứa lượng thông tin không giới hạn trong một vài bit. Một ví dụ tốt có thể là một cái gì đó giống như một vòng lặp tăng dần:

i = 0
while True:
   print(i)
   i += 1

Cái nào mạnh hơn thì sao?

Hava Siegelmann

Ở cái nhìn đầu tiên, điện toán Analog vượt trội hơn so với kỹ thuật số. Máy tính lượng tử nhanh hơn máy tính Von-Neumann và chip thần kinh cần ít năng lượng hơn CPU Intel. Cũng từ quan điểm lý thuyết, nhiều người nói cho các máy tính tương tự. Hava Siegelmann đã nghiên cứu khả năng Siêu bảo vệ của mạng thần kinh, điều đó có nghĩa là một máy tính tương tự có thể mô phỏng một máy kỹ thuật số nhưng không phải là cách khác. Vậy tại sao chúng ta không nên sử dụng điện toán tương tự?

Stephen Wolfram

Lý do phải làm với hệ thống giáo dục. Toán học cổ điển được dạy trong trường học là toán học tương tự. Nó dựa trên các quy tắc trượt, bảng logarit và suy nghĩ trong các mạch. Ngược lại, suy nghĩ về các giá trị rời rạc của một thuật toán và mô tả thế giới bằng không và những cái khác nhau là cơ bản khác nhau và dẫn chúng ta đến một loại toán học mới. Stephen Wolfram đã giải thích, rằng sự hiểu biết về máy tự động di động là một bước quan trọng để mô tả vũ trụ và ông đã đúng. Bỏ qua toán học tương tự và thích các ngôn ngữ máy tính có khả năng turing là một phương pháp mạnh mẽ trong giáo dục. Nó không chỉ giúp làm quen với máy tính mà còn với tất cả những thứ khác như y học, văn học và kinh tế nữa. Ngay cả khi các máy tương tự có kỹ thuật vượt trội, chúng ta vẫn nên sử dụng các máy Turing chậm nhưng rời rạc,

Dạy toán

Để hiểu được sự khác biệt giữa tính toán kỹ thuật số và tương tự, chúng ta phải tập trung vào chính toán học được sử dụng trong các trường học. Nếu ý tưởng là để đẩy tính toán tương tự về phía trước, loại toán học thích hợp được nhóm quanh các lĩnh vực điện, tích hợp và phân biệt. Trong trường học, điều này được dạy theo thuật ngữ ô dù phân tích Toán học. Chủ đề này rất quan trọng trong quá khứ, bởi vì phân tích giúp xây dựng cầu, máy móc và xe hơi. Trong tất cả các miền, đại số vectơ để mô tả không gian hình học được sử dụng.

Nếu tính toán tương tự rất mạnh, tại sao mọi người cần toán học kỹ thuật số? Nó phải làm với thuật toán. Những gì máy đo phân tích và phân tích vi sai không phải cung cấp là khả năng lập trình. Không thể xác định thuật toán và ngôn ngữ nhân tạo. Nhìn vào lịch sử toán học cho thấy, lý thuyết thuật toán không phổ biến trong quá khứ. Trong toán học hiện đại, nó được thảo luận dưới thuật ngữ Lambda tính toán và dừng bài toán .

Điều buồn cười là, ngay từ cái nhìn đầu tiên, tính toán Lamda không có ứng dụng thực tế. Không cần thiết nếu ai đó muốn tính diện tích của cây cầu. Lý thuyết thuật toán là một trường phái tư duy để cải thiện tư duy phê phán. Đó là một triết lý cần thiết cho con người, không phải bởi máy móc.