Tại sao ML chỉ trở nên khả thi sau khi chip của Nvidia có sẵn?

Tôi đã nghe một bài nói chuyện của hội thảo bao gồm hai nhà khoa học có ảnh hưởng của Trung Quốc: Wang Gang và Yu Kai và những người khác.

Khi được hỏi về nút thắt lớn nhất của sự phát triển trí tuệ nhân tạo trong tương lai gần (3 đến 5 năm), Yu Kai, người có nền tảng trong ngành công nghiệp phần cứng, nói rằng phần cứng sẽ là vấn đề thiết yếu và chúng ta nên trả phần lớn sự chú ý của chúng tôi về điều đó. Ông đã cho chúng tôi hai ví dụ:

1. Trong sự phát triển ban đầu của máy tính, chúng tôi so sánh các máy của mình bằng chip của nó;
2. Trí thông minh nhân tạo rất phổ biến trong những năm này sẽ gần như không thể nếu không được GPU của Nvidia trao quyền.

Các thuật toán cơ bản đã tồn tại từ những năm 1980 và 1990, nhưng trí tuệ nhân tạo đã trải qua 3 mùa đông AI và không theo kinh nghiệm cho đến khi chúng ta có thể đào tạo các mô hình với các máy chủ lớn được tăng cường GPU.

Sau đó, Tiến sĩ Wang đã bình luận với ý kiến ​​của mình rằng chúng ta cũng nên phát triển hệ thống phần mềm vì chúng ta không thể chế tạo một chiếc xe tự động ngay cả khi chúng ta đã kết hợp tất cả các GPU và tính toán trên thế giới lại với nhau.

Sau đó, như thường lệ, tâm trí tôi lang thang và tôi bắt đầu nghĩ rằng điều gì sẽ xảy ra nếu những người có thể vận hành siêu máy tính trong những năm 1980 và 1990 sử dụng các thuật toán mạng thần kinh tồn tại sau đó và huấn luyện chúng với hàng tấn dữ liệu khoa học? Một số người tại thời điểm đó rõ ràng có thể cố gắng xây dựng các hệ thống AI mà chúng ta đang xây dựng bây giờ. Nhưng tại sao AI lại trở thành một chủ đề nóng và trở thành kinh nghiệm cho đến hàng thập kỷ sau? Có phải chỉ là vấn đề phần cứng, phần mềm và dữ liệu?

Có rất nhiều yếu tố cho sự bùng nổ của ngành công nghiệp AI. Điều mà nhiều người bỏ lỡ là sự bùng nổ chủ yếu nằm ở phần Machine Learning của AI. Điều này có thể được quy cho các lý do đơn giản khác nhau cùng với sự so sánh của họ trong thời gian trước đó:

• Toán học : Các toán học đằng sau thuật toán ML khá đơn giản và được biết đến trong một thời gian dài (dù nó có hoạt động hay không vẫn chưa được biết). Trong thời gian trước đó, không thể thực hiện các thuật toán đòi hỏi độ chính xác cao của các con số, được tính toán trên một con chip, trong một khoảng thời gian chấp nhận được. Một trong những phép chia số học chính của các số vẫn mất rất nhiều chu kỳ trong các bộ xử lý hiện đại. Các bộ xử lý cũ chậm hơn so với các bộ xử lý hiện đại (hơn 100 lần), sự tắc nghẽn này khiến cho việc đào tạo các mô hình tinh vi trên các bộ xử lý hiện đại là không thể.
• $1$$0$
• Song song hóa : Khái niệm song song hóa các hoạt động ma trận không có gì mới. Chỉ đến khi chúng tôi bắt đầu thấy Deep Learning chỉ là một tập hợp các hoạt động ma trận, chúng tôi mới nhận ra rằng nó có thể dễ dàng song song trên GPU song song ồ ạt, nếu thuật toán ML của bạn không phải là song song thì việc bạn sử dụng CPU hay GPU (hầu như không quan trọng) ví dụ: RNN).
• Dữ liệu : Có lẽ là nguyên nhân lớn nhất trong sự bùng nổ ML. Internet đã cung cấp cơ hội để thu thập lượng dữ liệu khổng lồ từ người dùng và cũng có sẵn cho các bên quan tâm. Vì thuật toán ML chỉ là một hàm xấp xỉ dựa trên dữ liệu, do đó dữ liệu là điều quan trọng nhất trong thuật toán ML. Dữ liệu càng nhiều thì hiệu suất của mô hình của bạn càng tốt.
• Chi phí : Chi phí đào tạo một mô hình ML đã giảm đáng kể. Vì vậy, sử dụng Siêu máy tính để đào tạo một mô hình có thể tốt, nhưng nó có đáng không? Các siêu máy tính không giống như PC thông thường đang rất đói tài nguyên về làm mát, không gian, v.v. Một bài báo gần đâytrên MIT Technology Review chỉ ra dấu chân carbon của việc đào tạo mô hình Deep Learning (chi nhánh của ML). Đây là một chỉ số khá tốt tại sao nó không thể đào tạo được trên Siêu máy tính trong thời gian trước đó (xem xét các bộ xử lý hiện đại tiêu thụ ít năng lượng hơn và cho tốc độ cao hơn). Mặc dù, tôi không chắc nhưng tôi nghĩ các siêu máy tính trước đó chuyên về "tính toán song song + độ chính xác rất cao" (cần thiết cho thời tiết, thiên văn học, ứng dụng quân sự, v.v.) và "phần rất cao" là quá mức trong kịch bản Machine Learning.

Một khía cạnh quan trọng khác là ngày nay mọi người đều có quyền truy cập vào các máy tính mạnh mẽ. Do đó, bất kỳ ai cũng có thể xây dựng các mô hình ML mới, đào tạo lại các mô hình có sẵn, sửa đổi các mô hình, v.v. Điều này hoàn toàn không thể trong thời gian trước đó,

Tất cả các yếu tố này đã dẫn đến một sự gia tăng lớn về lợi ích trong ML và đã gây ra sự bùng nổ mà chúng ta đang thấy ngày nay. Ngoài ra kiểm tra câu hỏi này về cách chúng tôi đang di chuyển ngoài bộ xử lý kỹ thuật số.

GPU là lý tưởng cho sự bùng nổ AI

• Họ đánh đúng lúc

AI đã được nghiên cứu trong một thời gian dài. Gần nửa thế kỷ. Tuy nhiên, đó là tất cả các khám phá về cách các thuật toán sẽ hoạt động và nhìn. Khi NV thấy rằng AI sắp trở thành xu hướng, họ đã nhìn vào GPU của họ và nhận ra rằng sức mạnh xử lý parellel khổng lồ, với khả năng lập trình tương đối dễ dàng, là lý tưởng cho thời đại sắp tới. Nhiều người khác cũng nhận ra điều đó.

• GPU là loại máy gia tốc đa năng

GPGPU là một khái niệm sử dụng xử lý song song GPU cho các tác vụ chung. Bạn có thể tăng tốc đồ họa hoặc làm cho thuật toán của bạn tối ưu hóa 1000 lõi có sẵn trên GPU. Điều đó làm cho GPU trở thành mục tiêu tuyệt vời cho tất cả các loại trường hợp sử dụng bao gồm cả AI. Cho rằng chúng đã có sẵn và không quá khó để lập trình, sự lựa chọn lý tưởng của nó để tăng tốc thuật toán AI.

Xin lỗi, nhưng Trí tuệ nhân tạo chưa được phát minh. Trong FIRST Lego League, các robot không thể lái trên một đường đơn giản, trong robot DARPA thách thức các robot hình người đấu tranh để mở van và Tesla Autopilot không được khuyến nghị cho các tình huống giao thông thực sự. Tình huống duy nhất mà Deeplearning hoạt động là trên các slide powerpoint trong đó độ chính xác để phát hiện một con mèo là 100%, nhưng trong thực tế, các công cụ tìm kiếm hình ảnh bình thường không tìm thấy gì.

Chúng ta hãy lùi một bước: loại ứng dụng AI nào hiện có? Phải, không có gì. Hệ thống điều khiển duy nhất có sẵn trong thực tế là tủ lạnh bình thường giữ nhiệt độ ở mức 5 độ, nhưng điều này không liên quan gì đến học máy mà là với một bộ điều chỉnh nhiệt.

Lý do tại sao Deeplearning có mặt ở khắp mọi nơi không phải vì đó là công nghệ mạnh mẽ để phát hiện hình ảnh, mà bởi vì đó là một phần của chương trình giảng dạy để dạy con người. Deeplearning có nghĩa là, con người nên học một cái gì đó về thống kê, lập trình python và thuật toán phát hiện cạnh. Không phải máy tính sẽ trở nên thông minh hơn mà là sinh viên.

Sách về chủ đề này

Ngay cả khi bản thân Deeplearning không phải là một kỹ thuật rất mạnh để điều khiển robot, số lượng và chất lượng sách về chủ đề này là rất lớn. Kể từ năm 2010, rất nhiều ấn phẩm chính thống đã được xuất bản giúp giới thiệu Trí tuệ nhân tạo đến với nhiều đối tượng hơn. Tất cả đều có một cái gì đó với các mạng thần kinh được GPU hỗ trợ trong tiêu đề và họ đang giải thích rất rõ nhận dạng hình ảnh, kế hoạch chuyển động và nhận dạng giọng nói là gì. Ngay cả khi độc giả quyết định hoàn toàn không sử dụng máy học nhưng nhận ra một dự án robot với mô hình thông thường, anh ta sẽ thu được lợi nhuận từ việc đọc các hướng dẫn mới được tạo.