Trong một số tweet về NeurIPS 2018, video này của NVIDIA đã xuất hiện. Vào khoảng 0,37, cô nói:
Nếu bạn nghĩ về các tính toán hiện tại trong các hệ thống học tập sâu của chúng tôi, tất cả chúng đều dựa trên Đại số tuyến tính. Chúng ta có thể đưa ra các mô hình tốt hơn để xử lý đa chiều không? chúng ta có thể thực hiện các kỹ thuật đại số thực sự trong lõi tenor của chúng ta không?
Tôi đã tự hỏi những gì cô ấy đang nói về. Tôi không phải là chuyên gia nên tôi muốn hiểu rõ hơn về điểm cụ thể này.
Câu trả lời:
Cả PR và lý thuyết hợp lệ
Mặc dù bài thuyết trình của Anima Anandkumar là một phần khó khăn cho NVidia, nhưng đại diện của cô không trái với lý thuyết.
... cấp độ tiếp theo [trên thành công GPU của NVidia] ... có nghĩa là nghiên cứu thuật toán mới. Vì vậy, nếu bạn nghĩ về các tính toán hiện tại trong các hệ thống học tập sâu của chúng tôi, tất cả chúng đều dựa trên đại số tuyến tính. Chúng ta có thể đưa ra các mô hình tốt hơn để xử lý đa chiều không. Chúng ta có thể thực hiện các kỹ thuật đại số thực sự trong lõi tenor của mình không, và loại kiến trúc mới này sẽ nhận ra điều gì?
Máy kéo
Một tenxơ là phần mở rộng của ý tưởng về các hàm và vectơ. Các vectơ xuất hiện cho phép đóng gói nhiều biến cùng loại vào một đơn vị để thể hiện các thuộc tính đa chiều như vị trí hoặc lực. Các biến không được đóng gói của nhiều biến sau đó được gọi là vô hướng. Khi các thuộc tính đa chiều như vậy là các thành phần của các hàm chứ không phải là các biến vì các giá trị của chúng phụ thuộc vào các biến khác, chúng là các trường vectơ.
Để mô hình điện từ và lực hấp dẫn sạch hơn trong toán học, cần phải có mức độ đóng gói biến đổi và chức năng cao hơn. Do đó, các biến vô hướng và các hàm trả về các biến vô hướng là các bậc của bậc một (1). Các vectơ và trường vectơ là các bậc của bậc hai (2) và các bậc cao hơn là các phần mở rộng của mẫu được tạo bởi vô hướng và vectơ. Một ma trận chứa các hàm có thể được biểu diễn dưới dạng một thang bậc ba (3), gói các phần tử của nó thành một đơn vị.
Xu hướng tích hợp và xử lý số
Các lõi CUDA, là các đơn vị xử lý tín hiệu được sử dụng trong GPU NVidia thế hệ hiện tại (đơn vị xử lý đồ họa) có thể được sử dụng để sản xuất kết xuất hai hoặc ba chiều hoặc được sử dụng để tạo ra xử lý tín hiệu song song thông qua mạng nhân tạo. Điều này đang theo xu hướng ủy thác cho mạch kỹ thuật số các nút thắt quan trọng nhất trong thực thi thuật toán. Công nghệ VLSI (tích hợp quy mô rất lớn) là kết quả hợp lý của xu hướng này.
Với tất cả những điều này, tốc độ, kích thước, tiết kiệm năng lượng và sự tiện lợi không thực sự là một sự thay đổi trong mô hình ban đầu bắt đầu với Norbert Wiener, Claude Shannon, Alan Turing, John von Neumann và những người khác. Trên thực tế, điện toán vẫn đang bắt kịp theo nhiều cách với quan điểm của những người tiên phong này và một chặng đường dài từ việc sản xuất các khái niệm phổ biến về VLSI trong khoa học. Phần mềm là giải pháp, đó là lý do tại sao nó được gọi là mềm, có nghĩa là linh hoạt, không nhất thiết là yếu. Tuy nhiên, linh hoạt hy sinh tốc độ và khả năng, do đó, xu hướng trên.
Thử thách tính toán song song
Một phần của những gì Anima Anandkumar nói rằng các đường dẫn tín hiệu trong bộ xử lý VLSI hiện tại vẫn ở mức độ trừu tượng thấp hơn nhiều so với ý tưởng của các nhà toán học, vật lý học và kỹ sư AI. Lý thuyết khoa học mô tả xác suất, phân phối thống kê, kỳ vọng, lực, mất, tăng, đau, phần thưởng, trí nhớ, động lượng, ngữ nghĩa, kết hợp và tương quan ở mức cao hơn nhiều so với mạch kỹ thuật số hiện tại.
Việc sử dụng các thuật toán tuần tự là việc phát ra kịp thời những gì có thể là một hoạt động song song ồ ạt. Thuật toán nối tiếp giới hạn tốc độ xử lý. Việc tìm ra cách đối phó với những thứ song song trong toán học có thể được thực hiện bằng bút chì. Trong máy tính, các thuật toán song song và tìm các cấu trúc xử lý song song ở dạng VLSI linh hoạt như phần mềm ở một số khía cạnh khó khăn hơn nhiều và do đó bị bỏ lại phía sau.
Đây là một vấn đề đã trở thành trọng tâm của nghiên cứu tại ít nhất hai mươi phòng thí nghiệm lớn của công ty và chính phủ kể từ nửa thế kỷ qua và đã có ý định của VLSI từ khi bắt đầu. Công việc không dành riêng cho NVidia. Nó không phải là một vấn đề mới và cách tiếp cận để giải quyết nó đã đi theo mô hình này.
Bảy mươi năm qua phát triển máy tính đã đưa phần cứng, hệ điều hành và phần mềm đến gần hơn với các biểu thức toán học đã hai mươi đến hai trăm năm tuổi. Điều đó có thể thay đổi, và mọi người đều muốn cưỡi sóng mới.
Anima Anandkumar và các đối tác của cô tại IBM, Intel, Google, Microsoft, Hải quân Hoa Kỳ, Amazon, Alibaba và các phòng thí nghiệm của công ty và chính phủ khác không nêu rõ (vì đây là bí mật được phân loại hoặc công ty) những gì họ dự định làm để tiếp tục song song hóa máy tính. Bất cứ điều gì họ làm dọc theo các dòng cụ thể đó sẽ không phải là một sự thay đổi mô hình mà là một bước tiếp theo dọc theo mô hình hiện tại.
Chiến lược doanh nghiệp
Họ cũng sẽ không nói rõ những gì họ có thể đang làm không nằm trong mô hình đó. Họ bị hạn chế chỉ đưa ra gợi ý mà không có chất lý thuyết. Nếu họ đang làm việc trên một con chip thể hiện những gì bộ não con người thể hiện khi tế bào thần kinh phát triển và kết nối theo xu hướng dựa trên DNA, họ sẽ không nói điều đó một cách chính xác về mặt kỹ thuật. Bí mật của công ty là một phần của trò chơi kinh tế toàn cầu, không phải là bàn tay. Họ có mặt trò chơi của họ trên.
Ý tưởng chuyển từ tuyến tính sang phi tuyến tính là một chủ đề quan hệ công chúng tốt và khi được sử dụng cho các mẩu phồng không mang tính kỹ thuật. Các sân thường đi dọc theo dòng này.
Những gì họ đã làm là rất tuyến tính. Chúng tôi đang di chuyển vào một không gian phi tuyến tính.
Đó là một nỗ lực để tuyên bố rằng những gì đã được thực hiện là nguyên thủy và sự tiến bộ thay đổi trò chơi sắp xảy ra đến từ người nói và người của họ. Đôi khi nó hoạt động để tạo ra một sự tăng vọt tạm thời về giá trị của chứng khoán có thể giao dịch, mà công ty cần có trong văn bản này. Nếu có một sự thay đổi thực sự trong trò chơi, nó sẽ được biết khi nó được phát hành. Những người đã làm việc trong các phòng thí nghiệm trong nhiều năm biết chờ đợi cho đến khi một cái gì đó được phát hành chứng tỏ, khi mã ví dụ được cấu hình và chạy, thay đổi trò chơi thực sự xảy ra, nếu có. Hoặc họ tự phát triển bộ thay đổi trò chơi, đó là lý do tại sao nó là một phòng thí nghiệm.
Sự mơ hồ của 'Tuyến tính' Ngay cả trong Toán học
Cũng lưu ý rằng các đường cong vẫn là các đường và thuật ngữ tuyến tính có thể có nghĩa là hai điều tùy thuộc vào ngữ cảnh.
Dự đoán sự thay đổi mô hình
Sự hoài nghi phát triển sau khi xem PR của công ty công nghệ trong một thời gian không nhất thiết loại bỏ những tiến bộ công nghệ thay đổi trò chơi trong quá khứ và tiềm năng của tương lai. Bất kỳ nhóm dự án nguồn mở, cá nhân, công ty hoặc phòng thí nghiệm chính phủ nào cũng có thể làm điều gì đó làm thay đổi mô hình, thường là trong một khoảng thời gian nhiều năm. Ví dụ cổ điển:
Ví dụ tính toán:
Các ca làm việc không cần phải vươn xa và thay đổi trò chơi như những điều này để có tác động. Ai sẽ đạt được tiếp theo liên quan đến các khái niệm AI, cấu trúc thông tin, thuật toán, môi trường thực thi không phải là điều gì đó rất dễ dự đoán. Hãy xem xét những người sống trước bất kỳ điều nào ở trên và cố gắng tưởng tượng họ đang cố gắng dự đoán rằng các dự án của Isaac Newton, Antoine Lavoisier, Michael Faraday, Nicola Tesla, Norbert Wiener, Claude Shannon, Ken Thompson, Dennis Ritchie hoặc bất kỳ ai khác là những hạt giống của sự thay đổi mô hình tiếp theo.
Có nghiên cứu về các mạng nhân tạo tương tự, phần cứng biến đổi thần kinh, mô hình ngữ nghĩa, thuật toán đồ thị và các công cụ thay đổi trò chơi tiềm năng khác, mỗi trong số chúng có nền tảng khái niệm ấn tượng và được thảo luận trong một số câu hỏi và trả lời ở đây. Đây là một vài.
Những gì trong số này có thể chỉ ra sự khởi đầu của sự thay đổi mô hình không thể được biết, và ngay cả khi một ý tưởng đầu tiên được đăng ở đây hoặc được tham chiếu từ đây là hạt giống, nó có thể không được biết sau. Perceptionron đa lớp có thể là hạt giống của đường phố và đường cao tốc trong tương lai bị chi phối bởi các phương tiện tự động vào năm 2090, nhưng không ai trong một triệu người sẽ nhận ra trong bảy mươi năm qua, xu hướng nghiên cứu AV đã được gieo rắc bởi sự nhiệt tình của MLP từ thập kỷ đầu của thế kỷ này .
Những khoảng trống cần được lấp đầy và NVidia là một Contendere
Tất cả điều này sang một bên, chúng tôi sử dụng phần cứng NVidia mỗi ngày cho robot và phân tích, vì vậy họ có uy tín do thành công trong quá khứ. Nếu họ sản xuất một con chip làm điều gì đó thông minh đáng chú ý trước sự hợp tác của Intel hoặc IBM-MIT, đó sẽ là một bất ngờ nho nhỏ, nhưng đó không phải là một khả năng hoàn toàn không thể tin được. Chắc chắn sự hiểu biết về không gian, ngữ nghĩa và cấu trúc liên kết của Hilbert bị hạn chế trong lĩnh vực khoa học máy tính và một sự thay đổi mô hình theo hướng hiểu sâu hơn về chúng hoặc một số điều mới thậm chí không phải là một phần của tư duy toán học ngày nay sẽ thêm một số sự đa dạng cần thiết cho ngành công nghiệp điện toán .