Nhà nước của nghệ thuật học tập nói chung từ dữ liệu trong '69

Tôi đang cố gắng tìm hiểu bối cảnh của cuốn sách "Perceptrons" nổi tiếng của Minsky và Papert từ năm 1969, rất quan trọng đối với các mạng lưới thần kinh.

Theo như tôi biết, chưa có thuật toán học có giám sát chung nào khác ngoại trừ perceptron: cây quyết định bắt đầu thực sự hữu ích chỉ vào cuối thập niên 70, rừng ngẫu nhiên và SVM là thập niên 90. Có vẻ như phương pháp jackknife đã được biết đến, nhưng không phải xác thực k-cross (70s) hay bootstrap (1979?).

Wikipedia cho biết các khung thống kê cổ điển của Neyman-Pearson và Fisher vẫn còn bất đồng trong thập niên 50, mặc dù những nỗ lực đầu tiên trong việc mô tả một lý thuyết lai đã có từ những năm 40.

Vì vậy, câu hỏi của tôi: các phương pháp tiên tiến để giải quyết các vấn đề chung về dự đoán từ dữ liệu là gì?

Tôi tò mò về điều này, vì vậy tôi đã làm một số đào. Tôi đã rất ngạc nhiên khi thấy rằng các phiên bản dễ nhận biết của nhiều thuật toán phân loại phổ biến đã có sẵn vào năm 1969 hoặc sau đó. Liên kết và trích dẫn được đưa ra dưới đây.

Điều đáng chú ý là nghiên cứu AI không phải lúc nào cũng tập trung vào phân loại. Có rất nhiều quan tâm trong việc lập kế hoạch và lý luận tượng trưng, ​​không còn thịnh hành, và dữ liệu được dán nhãn khó tìm hơn nhiều. Không phải tất cả các bài viết này đều có thể được phổ biến rộng rãi sau đó: ví dụ, tác phẩm proto-SVM hầu hết được xuất bản bằng tiếng Nga. Do đó, điều này có thể ước tính quá mức một nhà khoa học trung bình biết về phân loại năm 1969.

Phân tích phân biệt đối xử

Trong một bài viết năm 1936 trong Biên niên sử của người da trắng , Fisher đã mô tả một quy trình tìm kiếm một hàm tuyến tính phân biệt giữa ba loài hoa iris, trên cơ sở kích thước cánh hoa và cánh hoa của chúng. Bài báo đó đề cập rằng Fisher đã áp dụng một kỹ thuật tương tự để dự đoán giới tính của các vị thần (xương hàm) được khai quật ở Ai Cập, hợp tác với E. S Martin và Karl Pearson ( jstor ), cũng như trong một dự án đo lường sọ riêng biệt với một cô Mildred Barnard (mà tôi không thể theo dõi).

Hồi quy logistic

Chức năng logistic đã được biết đến từ thế kỷ 19, nhưng chủ yếu là một mô hình cho các quá trình bão hòa, chẳng hạn như tăng dân số hoặc phản ứng sinh hóa. Tim liên kết đến bài viết của JS Cramer ở ​​trên, đây là một lịch sử tốt đẹp của những ngày đầu. Tuy nhiên, đến năm 1969, Cox đã xuất bản phiên bản đầu tiên của Phân tích dữ liệu nhị phân . Tôi không thể tìm thấy bản gốc, nhưng một phiên bản sau chứa toàn bộ chương về sử dụng hồi quy logistic để thực hiện phân loại. Ví dụ:

$y=0,1$$x'$$y$$y$

$k$

$k$$k$

Mạng lưới thần kinh

Rosenblatt đã xuất bản một báo cáo kỹ thuật mô tả perceptron vào năm 1957 và tiếp theo nó với một cuốn sách , Nguyên tắc thần kinh học năm 1962. Các phiên bản backpropagation liên tục đã xuất hiện từ đầu những năm 1960, bao gồm cả tác phẩm của Kelley , Bryson và Bryson & Ho (sửa đổi trong 1975, nhưng bản gốc là từ năm 1969. Tuy nhiên, nó đã không được áp dụng cho các mạng thần kinh cho đến một lát sau, và các phương pháp đào tạo các mạng rất sâu gần đây hơn nhiều. Bài báo học thuật về học sâu này có nhiều thông tin hơn.

Phương pháp thống kê

Tôi nghi ngờ sử dụng Quy tắc phân loại của Bayes đã được phát hiện và khám phá lại nhiều lần - đó là một hậu quả khá tự nhiên của chính quy tắc này. Lý thuyết phát hiện tín hiệu đã phát triển một khung định lượng để quyết định xem đầu vào đã cho là "tín hiệu" hay nhiễu. Một số trong số đó đã ra khỏi nghiên cứu radar sau Thế chiến II, nhưng nó đã được điều chỉnh nhanh chóng cho các thí nghiệm tri giác (ví dụ, bởi Green và Swets ). Tôi không biết ai đã phát hiện ra rằng giả định độc lập giữa các yếu tố dự đoán hoạt động tốt, nhưng công việc từ đầu những năm 1970 dường như đã khai thác ý tưởng này, như được tóm tắt trong bài viết này . Ngẫu nhiên, bài báo đó cũng chỉ ra rằng Naive Bayes đã từng được gọi là "Bay ngốc"!

Hỗ trợ máy Vector

Vào năm 1962, Vapnik và Chervonenkis đã mô tả "Thuật toán chân dung tổng quát" ( quét khủng khiếp, xin lỗi ), trông giống như một trường hợp đặc biệt của máy vectơ hỗ trợ (hoặc thực tế là một SVM một lớp). Chervonenkis đã viết một bài báo có tựa đề "Lịch sử ban đầu của các máy vectơ hỗ trợ" mô tả điều này và công việc tiếp theo của họ chi tiết hơn. Thủ thuật hạt nhân (hạt nhân là sản phẩm bên trong) được mô tả bởi Aizerman, Braverman và Rozonoer vào năm 1964. svms.org có thêm một chút về lịch sử của các máy vectơ hỗ trợ tại đây .

TUYÊN BỐ TỪ CHỐI : Câu trả lời này chưa đầy đủ, nhưng tôi không có thời gian để đưa ra câu trả lời ngay bây giờ. Tôi hy vọng sẽ làm việc với nó vào cuối tuần này.

Câu hỏi:
các phương pháp tiên tiến để giải quyết các vấn đề chung về dự đoán từ dữ liệu vào khoảng năm 1969 là gì?

Lưu ý: điều này sẽ không lặp lại câu trả lời xuất sắc của 'Matt Krause'.

"Nhà nước của nghệ thuật" có nghĩa là "tốt nhất và hiện đại nhất" nhưng không nhất thiết phải giảm xuống để thực hành như một tiêu chuẩn công nghiệp. Ngược lại, luật Bằng sáng chế Hoa Kỳ tìm kiếm "không rõ ràng" như được định nghĩa bởi "kỹ năng thông thường trong nghệ thuật". "Trạng thái của nghệ thuật" năm 1969 có thể được đưa vào bằng sáng chế trong thập kỷ tới.

Rất có khả năng các phương pháp "tốt nhất và sáng nhất" năm 1969 đã được sử dụng hoặc đánh giá để sử dụng trong ECHELON (1) (2) . Nó cũng sẽ hiển thị trong đánh giá về siêu cường khác, có khả năng toán học của thời đại, Liên Xô. (3) Tôi phải mất vài năm để chế tạo một vệ tinh, và vì vậy người ta cũng hy vọng rằng công nghệ hay nội dung cho ~ 5 năm tiếp theo của truyền thông, từ xa, hoặc các vệ tinh do thám để hiển thị trạng thái của nghệ thuật của năm 1969. Một ví dụ là vệ tinh thời tiết Meteor-2 bắt đầu vào năm 1967 và với thiết kế sơ bộ hoàn thành vào năm 1971. (4) Kỹ thuật tải trọng quang phổ và đo lường bằng phép đo được thông báo bởi khả năng xử lý dữ liệu trong ngày và bằng cách xử lý dữ liệu "gần tương lai" được hình dung về thời gian. Việc xử lý loại dữ liệu này là nơi để tìm kiếm các thực tiễn tốt nhất của thời kỳ.

Một sự bổ sung của "Tạp chí lý thuyết và ứng dụng tối ưu hóa" đã hoạt động được vài năm và có thể truy cập được nội dung của nó. (5) Xem xét đánh giá này (6) các công cụ ước tính tối ưu và đánh giá này cho các công cụ ước tính đệ quy. (7)

Dự án SETI, bắt đầu từ những năm 1970, có khả năng sử dụng công nghệ và kỹ thuật ngân sách thấp hơn, cũ hơn để phù hợp với công nghệ thời đó. Việc khám phá các kỹ thuật SETI ban đầu cũng có thể nói lên những gì được coi là dẫn đầu vào khoảng năm 1969. Một ứng cử viên có khả năng là tiền thân của " vali SETI ". "Vali SETI" đã sử dụng DSP để xây dựng các máy thu tự động tương thích trong các kênh băng tần hẹp ~ 130k. Những người SETI đặc biệt mong muốn thực hiện phân tích phổ. Cách tiếp cận lần đầu tiên được sử dụng ngoại tuyến để xử lý dữ liệu Aricebo. Sau đó, nó đã được kết nối với kính thiên văn vô tuyến Aricebo vào năm 1978 để lấy dữ liệu trực tiếp và kết quả đã được công bố cùng năm . Suitecase-SETI thực tế đã được hoàn thành vào năm 1982. Tại đây (link) là một sơ đồ khối hiển thị quá trình.

Cách tiếp cận là sử dụng các biến đổi Fourier dài dòng (~ 64k mẫu) để tìm kiếm các phân đoạn băng thông bao gồm xử lý chirp và bù thời gian thực cho dịch chuyển Doppler. Cách tiếp cận là "không mới" và các tài liệu tham khảo đã được cung cấp bao gồm: Xem, ví dụ,

A. G. W. Cameron, Ed., 
In- terstellar Communication 
(Benjamin, New York,1963); 

I. S. Shklovskii and C. Sagan, 
In-telligent Life in the Universe 
(Holden-Day, San Francisco, 1966); 

C. Sagan, Ed., 
Communication with Extraterrestrial Intelligence 
(MIT Press, Cambridge, Mass., 1973); 
P. Morrison, J.

B. M. Oliver and J. Billingham, 
"Project Cyclops: A Design Study of a System for Detecting Extraterrestrial Intelligent Life," 
NASA Contract. Rep. CR114445 (1973). 

Các công cụ được sử dụng để dự đoán trạng thái tiếp theo được đưa ra trạng thái trước đó phổ biến tại thời điểm đó bao gồm:

• Bộ lọc Kalman (và phái sinh) (Weiner, Bucy, phi tuyến ...)
• Phương pháp chuỗi thời gian (và đạo hàm)
• Các phương thức miền tần số (Fourier) bao gồm lọc và khuếch đại

Các "từ khóa" phổ biến (hoặc buzz-words) bao gồm "bổ trợ, biến thể, độ dốc, tối ưu, thứ tự thứ hai và liên hợp".

Tiền đề của bộ lọc Kalman là sự pha trộn tối ưu dữ liệu trong thế giới thực với mô hình phân tích và dự đoán. Chúng được sử dụng để làm những thứ như tên lửa bắn trúng mục tiêu đang di chuyển.