Sự nghiêm khắc dẫn đến cái nhìn sâu sắc

Trên MathOverflow, Timothy Gowers đã hỏi một câu hỏi có tiêu đề " Chứng minh rằng sự nghiêm khắc là quan trọng ". Hầu hết các cuộc thảo luận về các trường hợp cho thấy tầm quan trọng của bằng chứng, điều mà mọi người trên CSTheory có lẽ không cần phải bị thuyết phục. Theo kinh nghiệm của tôi, bằng chứng cần phải khắt khe hơn trong khoa học máy tính lý thuyết so với nhiều phần của toán học liên tục, bởi vì trực giác của chúng tôi thường bị sai đối với các cấu trúc rời rạc và bởi vì nỗ lực tạo ra các triển khai khuyến khích các lập luận chi tiết hơn. Một nhà toán học có thể hài lòng với một bằng chứng tồn tại, nhưng một nhà khoa học máy tính lý thuyết thường sẽ cố gắng tìm một bằng chứng mang tính xây dựng. Bổ đề địa phương Lovász là một ví dụ hay [1].

Do đó tôi muốn biết

Có những ví dụ cụ thể trong khoa học máy tính lý thuyết trong đó một bằng chứng nghiêm ngặt về một tuyên bố được cho là đúng đã dẫn đến cái nhìn sâu sắc mới về bản chất của vấn đề tiềm ẩn?

Một ví dụ gần đây không trực tiếp từ các thuật toán và lý thuyết phức tạp là tổng hợp lý thuyết bằng chứng , dẫn xuất tự động của các thuật toán chính xác và hiệu quả từ các điều kiện trước và sau [2].

• [1] Robin A. Moser và Gábor Tardos, Bằng chứng xây dựng của Tướng Lovász Địa phương , JACM 57 , điều 11, 2010 http://doi.acm.org/10.1145/1667053.1667060
• [2] Saurabh Srivastava, Sumit Gulwani, và Jeffrey S. Foster, Từ xác minh chương trình để tổng hợp chương trình , ACM SIGPLAN thông báo 45 , 313-326, 2010. http://doi.acm.org/10.1145/1707801.1706337

Biên tập:Loại câu trả lời tôi có trong đầu giống như câu trả lời của Scott và matus. Như Kaveh đã đề xuất, đây là một bộ ba điều mà mọi người muốn chứng minh (nhưng không nhất thiết là bất ngờ bởi các lý lẽ "vật lý", "rửa tay" hoặc "trực quan"), một bằng chứng và hậu quả cho "vấn đề tiềm ẩn" mà tiếp theo là bằng chứng mà không lường trước được (có lẽ việc tạo ra một bằng chứng yêu cầu những ý tưởng mới bất ngờ, hoặc tự nhiên dẫn đến một thuật toán, hoặc thay đổi cách chúng ta nghĩ về khu vực). Các kỹ thuật được phát triển trong khi phát triển bằng chứng là các khối xây dựng của khoa học máy tính lý thuyết, vì vậy để giữ lại giá trị của câu hỏi hơi chủ quan này, sẽ đáng tập trung vào kinh nghiệm cá nhân, như Scott cung cấp, hoặc một lập luận được hỗ trợ bởi các tài liệu tham khảo, như matus đã làm. Hơn nữa, tôi m đang cố gắng tránh tranh luận về việc một cái gì đó đủ điều kiện hay không; Thật không may, bản chất của câu hỏi có thể là vấn đề nội tại.

Chúng tôi đã có một câu hỏi về kết quả "đáng ngạc nhiên" về độ phức tạp: Kết quả đáng ngạc nhiên về độ phức tạp (Không phải trong Danh sách blog phức tạp) vì vậy lý tưởng tôi đang tìm kiếm câu trả lời tập trung vào giá trị của bằng chứng nghiêm ngặt , không nhất thiết là quy mô của bước đột phá.

András, như bạn có thể biết, có rất nhiều ví dụ về những gì bạn đang nói về điều đó gần như không thể biết bắt đầu từ đâu! Tuy nhiên, tôi nghĩ rằng câu hỏi này thực sự có thể là một câu hỏi hay, nếu mọi người đưa ra ví dụ từ kinh nghiệm của chính họ trong đó bằng chứng của một phỏng đoán được tin tưởng rộng rãi ở vùng ngoại ô của họ dẫn đến những hiểu biết mới.

Khi tôi còn là sinh viên chưa tốt nghiệp, vấn đề TCS thực sự đầu tiên tôi đã giải quyết là: thuật toán lượng tử nhanh nhất để đánh giá OR của ANDn các biến số Boolean mỗi biến là gì? Tôi và mọi người khác đã nói rất rõ ràng rằng điều tốt nhất bạn có thể làm là áp dụng thuật toán Grover theo cách đệ quy, cả cho OR và cho AND. Điều này đã cho một giới hạn O (√n log (n)). (Trên thực tế bạn có thể loại bỏ yếu tố nhật ký, nhưng bây giờ hãy bỏ qua điều đó.)

Tuy nhiên, với sự thất vọng to lớn của tôi, tôi không thể chứng minh bất kỳ ràng buộc nào thấp hơn tốt hơn tầm thường Ω (n ^1/4 ). "Đi vật lý" và "câu trả lời" không bao giờ trông hấp dẫn hơn! :-CƯỜI MỞ MIỆNG

Nhưng sau đó, một vài tháng sau đó, Andris Ambainis đã đưa ra phương pháp đối nghịch lượng tử của mình , với ứng dụng chính lúc đầu là (n) giới hạn thấp hơn cho OR-of-AND. Để chứng minh kết quả này, Andris tưởng tượng việc cung cấp cho thuật toán lượng tử một sự chồng chất của các đầu vào khác nhau; Sau đó, ông đã nghiên cứu làm thế nào sự vướng víu giữa các đầu vào và thuật toán tăng lên với mỗi truy vấn mà thuật toán thực hiện. Ông đã chỉ ra cách tiếp cận này cho phép bạn phức tạp truy vấn lượng tử giới hạn thấp hơn ngay cả đối với các vấn đề "không đối xứng", không đối xứng, bằng cách chỉ sử dụng các thuộc tính tổ hợp rất chung của hàm f mà thuật toán lượng tử đang cố gắng tính toán.

Khác xa với việc xác nhận rằng độ phức tạp của truy vấn lượng tử của một vấn đề gây phiền nhiễu là điều mà mọi người mong đợi, những kỹ thuật này hóa ra là một trong những tiến bộ lớn nhất trong lý thuyết điện toán lượng tử kể từ thuật toán của Shor và Grover. Chúng đã được sử dụng để chứng minh hàng chục giới hạn lượng tử khác, và thậm chí còn được sử dụng lại để có được giới hạn cổ điển mới .

Tất nhiên, đây là "chỉ một ngày nữa trong thế giới tuyệt vời của toán học và TCS." Ngay cả khi tất cả mọi người "đã biết" X là đúng, việc chứng minh X rất thường xuyên yêu cầu phát minh ra các kỹ thuật mới sau đó được áp dụng vượt xa X, và đặc biệt đối với các vấn đề mà câu trả lời đúng ít rõ ràng hơn là một tiên nghiệm .

Sự lặp lại song song là một ví dụ hay từ khu vực của tôi:

Một lời giải thích ngắn gọn về sự lặp lại song song. Giả sử bạn có một hệ thống chứng minh hai Prover cho một ngôn ngữ : Với đầu vào , được biết đến với tất cả mọi người, một người xác minh gửi câu hỏi để Prover 1, và câu hỏi để Prover 2. provers trả lời với câu trả lời và , tương ứng, mà không giao tiếp. Này thực hiện xác minh một số kiểm tra về và (tùy thuộc vào ) và quyết định liệu có nên chấp nhận hoặc từ chối. Nếu , tồn tại một chiến lược provers mà trình xác minh luôn chấp nhận. Nếu$L$$x$$q_1$$q_2$$a_1$$a_2$$a_1$$a_2$$q_1,q_2$$x\in L$$x\not\in L$, đối với bất kỳ chiến lược provers nào, trình xác minh chấp nhận với xác suất nhiều nhất ("xác suất lỗi").$s$

Bây giờ giả sử chúng ta muốn một xác suất lỗi nhỏ hơn. Có thể gần bằng và chúng tôi muốn . Một cách tiếp cận tự nhiên sẽ là sự lặp lại song song : hãy để người xác minh gửi câu hỏi độc lập cho mỗi câu tục ngữ, và , nhận k câu trả lời từ các và và thực hiện kiểm tra trên các câu trả lời.$s$$1$$s = 10^{-15}$$k$$q_1^{(1)},\ldots,q_1^{(k)}$$q_2^{(1)},\ldots,q_2^{(k)}$$a_1^{(1)},\ldots,a_1^{(k)}$$a_1^{(1)},\ldots,a_1^{(k)}$$k$

Lịch sử. Lúc đầu, "rõ ràng" rằng xác suất lỗi phải giảm như , giống như việc người xác minh sẽ thực hiện kiểm tra tuần tự. Truyền thuyết nói rằng nó đã được trao cho một sinh viên để chứng minh, trước khi nhận ra rằng tuyên bố "hiển nhiên" chỉ đơn giản là sai. Dưới đây là một giải thích về một ví dụ: http://www.cs.washington.edu/education/cifts/cse533/05au/na-game.pdf . Phải mất một thời gian (và một số kết quả yếu hơn), trước khi Ran Raz cuối cùng đã xác nhận rằng xác suất lỗi thực sự giảm theo cấp số nhân, nhưng có một hành vi hơi phức tạp: đó là , nơi bảng chữ cái$s^{k}$$k$$s^{\Omega(k/\log|\Sigma|)}$$\Sigma$là tập hợp các câu trả lời có thể có trong hệ thống ban đầu. Bằng chứng đã sử dụng các ý tưởng lý thuyết thông tin, và được cho là lấy cảm hứng từ một ý tưởng về Razborov trong sự phức tạp trong giao tiếp. Một phần lộn xộn của bằng chứng ban đầu của Ran sau đó đã được Thomas Holenstein đơn giản hóa đẹp mắt, dẫn đến một trong những bằng chứng yêu thích của tôi.

Hiểu biết sâu sắc cho vấn đề và hậu quả nhiều hơn. Đầu tiên là những điều ngay lập tức: hiểu rõ hơn về hành vi định lượng của sự lặp lại song song và vai trò của bảng chữ cái , hiểu rõ hơn khi các provers có thể sử dụng các câu hỏi song song để gian lận, hiểu rõ hơn về tầm quan trọng của tính độc lập trong sự lặp lại song song giữa các cặp câu hỏi (sau này được Feige và Kilian chính thức hóa).$\Sigma$$k$

Sau đó, có các phần mở rộng có thể trở thành có thể: Anup Rao đã có thể điều chỉnh phân tích để cho thấy rằng khi hệ thống bằng chứng ban đầu là {\ em chiếu trò chơi}, tức là câu trả lời của người hoạt ngôn đầu tiên xác định nhiều nhất một câu trả lời chấp nhận được câu tục ngữ thứ hai, không có sự phụ thuộc vào bảng chữ cái, và hằng số trong số mũ có thể được cải thiện. Điều này rất quan trọng vì hầu hết độ cứng của kết quả xấp xỉ đều dựa trên các trò chơi chiếu và các trò chơi độc đáo là một trường hợp đặc biệt của trò chơi chiếu. Ngoài ra còn có những cải tiến về số lượng trong các trò chơi trên các bản mở rộng (của Ricky Rosen và Ran Raz), v.v.

Sau đó, có những hậu quả sâu rộng. Chỉ là một vài ví dụ: Một bổ đề lý thuyết thông tin từ bài báo của Raz đã được sử dụng trong nhiều bối cảnh khác (trong mật mã học, tương đương với việc lấy mẫu và tìm kiếm, v.v.). Kỹ thuật "lấy mẫu tương quan" mà Holenstein đã sử dụng đã được áp dụng trong nhiều công việc khác (về độ phức tạp trong giao tiếp, trong PCP, v.v.).

Một ví dụ điển hình khác về sự nghiêm ngặt (và các kỹ thuật mới) là cần thiết để chứng minh các tuyên bố được cho là đúng: phân tích trơn tru. Hai trường hợp tại điểm:

• Thuật toán đơn giản
• Thuật toán k-mean

Đối với cả hai phương pháp, điều "nổi tiếng" là chúng hoạt động tốt trong thực tế và lần đầu tiên, người ta biết rằng phải mất thời gian theo cấp số nhân trong trường hợp xấu nhất. Phân tích trơn tru có thể được xem là đã "giải thích" hành vi thực nghiệm tốt trong cả hai trường hợp. Trong lần thứ hai, trong khi người ta biết rằng độ phức tạp trong trường hợp xấu nhất của -means là , không biết có giới hạn nào theo cấp số nhân trong , và bây giờ chúng ta đã biết Điều đó đúng, ngay cả trong máy bay!$k$$O(n^{c \cdot kd})$$n$

Tôi nghĩ rằng ví dụ sau đây đã sinh ra rất nhiều nghiên cứu có kết quả của loại bạn đang tìm kiếm, ít nhất là nếu tôi làm theo tinh thần của ví dụ LLL của bạn.

Robert E. Schapire. Sức mạnh của khả năng học hỏi yếu. Học máy, 5 (2): 197-227, 1990.

Bài viết này đã giải quyết câu hỏi: học PAC mạnh và yếu tương đương? Tôi không thể nói cho bạn chắc chắn liệu những người trong vòng tròn đó (Schapire, Valiant, Kearns, Avrim Blum, ..) cảm thấy mạnh mẽ theo cách này hay cách khác (ví dụ nếu đây đã là một ví dụ về những gì bạn tìm kiếm), mặc dù tôi có một số nghi ngờ, và bạn có thể tự hình thành bằng cách nhìn vào các giấy tờ xung quanh sau đó. Tóm lại (và khoảng / có lẽ), một vấn đề là PAC có thể học được (bởi một lớp giả thuyết, để phân phối) nếu, đối với bất kỳ , đều tồn tại thuật toán ('hiệu quả') có thể tạo ra với xác suất ít nhất một giả thuyết có lỗi nhiều nhất là . Nếu bạn có thể đáp ứng nhưng không phải là$\epsilon>0, \delta>0$$1-\delta$$\epsilon$$\epsilon$$\delta$, sau đó miễn là không tầm thường ('tầm thường' phụ thuộc vào một số chi tiết, vì tôi không còn ý nghĩa của 'hiệu quả'), các thử nghiệm lặp đi lặp lại sẽ tăng cường độ tin cậy . Nhưng nếu thay vào đó, bạn chỉ có thể đạt được một số lợi thế so với việc đoán ngẫu nhiên (áp dụng điều kiện 'tầm thường' tương tự), bằng cách nào đó bạn có thể khéo léo tăng kết quả này để đạt được lỗi tốt tùy ý không?$\delta$$\delta$$\gamma$

Dù sao, mọi thứ trở nên rất thú vị sau bài báo của Schapire. Giải pháp của ông đã tạo ra đa số đa số trên các giả thuyết trong lớp ban đầu. Sau đó đến:

Freav Freund. Tăng cường một thuật toán học tập yếu theo đa số. Thông tin và tính toán, 121 (2): 256--285, 1995.

Bài viết này đã có một 'lời trách móc' về kết quả của Schapire, nhưng bây giờ giả thuyết được xây dựng chỉ sử dụng một đa số duy nhất. Dọc theo những dòng này, cả hai sau đó đã tạo ra một lời trách móc khác, được gọi là AdaBoost:

Yoav Freund và Robert E. Schapire. Một khái quát lý thuyết quyết định của học tập trực tuyến và một ứng dụng để thúc đẩy. Tạp chí Khoa học Máy tính và Hệ thống, 55 (1): 119-139, 1997.

Câu hỏi học tập yếu / mạnh bắt đầu như một mối quan tâm chủ yếu về mặt lý thuyết, nhưng chuỗi 'reproofs' này đã dẫn đến một thuật toán đẹp, một trong những kết quả có ảnh hưởng nhất trong học máy. Tôi có thể tắt tất cả các loại tiếp tuyến ở đây nhưng sẽ kiềm chế bản thân. Trong bối cảnh của TCS, những kết quả này mang lại rất nhiều sự sống trong bối cảnh (1) thuật toán trọng số nhân và (2) kết quả thiết lập lõi cứng. Về (1), tôi chỉ muốn làm rõ rằng AdaBoost có thể được coi là một ví dụ của trọng số nhân / công việc winnow của Warmuth / Littlestone (Freund là một sinh viên của Warmuth), nhưng có rất nhiều hiểu biết mới trong việc tăng cường các kết quả. Về (2), tôi

Để chính xác về lịch sử, tôi cũng nên nói rằng ngày trên các trích dẫn của tôi có thể không phải là điều mà một số người mong đợi, vì đối với một vài trong số này có các phiên bản hội nghị trước đó.

Trở lại bản chất của câu hỏi của bạn. Giá trị quan trọng của 'sự nghiêm ngặt' ở đây là trong việc cung cấp lớp giả thuyết mà người ta học được (đa số trọng số so với lớp giả thuyết ban đầu) và các thuật toán hiệu quả để tìm ra chúng.

Ví dụ này nằm dọc theo câu trả lời của Dana và Scott.

Rõ ràng là cách tốt nhất để tính toán PARITY của bit với mạch có chiều sâu không giới hạn là chiến lược đệ quy sau. Khi độ sâu là 2, bạn không thể làm gì tốt hơn là viết ra CNF (hoặc DNF) của tất cả điều khoản. Khi lớn hơn , hãy chia tập hợp các biến đầu vào thành các phần , đoán tính chẵn lẻ của từng bộ phận (lấy OR của fan-in ) và đối với những dự đoán cộng với chẵn lẻ , giải quyết đệ quy vấn đề trên từng bộ phận (lấy AND của fan-in ) với độ sâu$n$$d$$d$$2^{n-1}$$d$$2$$n^{1/(d-1)}$$2^{n^{1/(d-1)}}$$1$$n^{1/(d-1)}$$d-1$mạch. Nếu bạn luân phiên ở mỗi cấp đệ quy giữa thực hiện OR là AND và thực hiện AND của OR (lấy phần bù), bạn kết thúc với một mạch có độ sâu và kích thước tính toán PARITY.$2^{n^{1/(d-1)}}$$2^{n^{1/(d-1)}}$$d$$2^{O(n^{1/(d-1)})}$

Năm 1985, Hastad chứng minh rằng "rõ ràng là tốt nhất" depth- mạch là lên tối ưu để hằng trong số mũ. Để làm điều này, ông đã chứng minh Bổ đề chuyển đổi vốn là một công cụ rất có giá trị trong việc chứng minh các giới hạn thấp hơn cho các mạch, thuật toán song song và hệ thống chứng minh. Đây là một trong số ít trường hợp chúng tôi biết rằng một thuật toán tự nhiên cụ thể là tối ưu và nó đã dẫn đến sự hiểu biết rất chi tiết về sức mạnh của .A C $d$$AC^0$

Rasborov và giấy Rudich của "Natural Giấy tờ chứng minh" Mời một bằng chứng nghiêm ngặt của (a chính thức hóa) báo cáo kết quả đau đớn rõ ràng "Đó là thực sự khó khăn để chứng minh rằng NP P ≠."

Ý tưởng rằng một số vấn đề thuật toán đòi hỏi số bước theo cấp số nhân, hoặc tìm kiếm vượt trội trên tất cả các khả năng, đã được nêu ra từ những năm 50 và có lẽ trước đó. (Tất nhiên, ý tưởng ngây thơ cạnh tranh rằng máy tính có thể làm mọi thứ cũng rất phổ biến.) Bước đột phá lớn của Cook và Levin là đưa ý tưởng này vào cơ sở nghiêm ngặt. Điều này, tất nhiên, đã thay đổi mọi thứ.

Cập nhật: Tôi mới nhận ra rằng câu trả lời của tôi giống như câu trả lời hay của Turkistany đề cập đến tiêu đề của câu hỏi "sự nghiêm khắc dẫn đến cái nhìn sâu sắc" nhưng có lẽ không phải là từ ngữ cụ thể về "bằng chứng nghiêm ngặt cho một định lý".

Alan Turing chính thức hóa khái niệm thuật toán (tính toán hiệu quả) bằng máy Turing. Ông đã sử dụng chủ nghĩa hình thức mới này để chứng minh rằng vấn đề Dừng là không thể giải quyết được (tức là vấn đề Ngừng không thể được giải quyết bằng bất kỳ thuật toán nào). Điều này dẫn đến một chương trình nghiên cứu dài đã chứng minh sự bất khả thi của vấn đề thứ 10 của Hilbert. Matiyasevich vào năm 1970 đã chứng minh rằng không có thuật toán nào có thể quyết định liệu một phương trình Diophantine nguyên có giải pháp nguyên hay không.