Từ chối dựa trên Entropy của mũi tên lạc hậu của Shalizi Bayesian về nghịch lý thời gian?


31

Trong bài báo này , nhà nghiên cứu tài năng Cosma Shalizi lập luận rằng để chấp nhận hoàn toàn một quan điểm Bayes chủ quan, người ta cũng phải chấp nhận một kết quả phi vật lý rằng mũi tên thời gian (được đưa ra bởi dòng chảy entropy) thực sự phải đi ngược lại . Đây chủ yếu là một nỗ lực để tranh luận chống lại quan điểm entropy / chủ quan hoàn toàn chủ quan tối đa được đưa ra và phổ biến bởi ET Jaynes .

LessWrong , nhiều người đóng góp rất quan tâm đến lý thuyết xác suất Bayes và cả cách tiếp cận chủ quan của Bayes làm cơ sở cho các lý thuyết quyết định chính thức và là bước đệm cho AI mạnh mẽ Eliezer Yudkowsky là một người đóng góp phổ biến ở đó và gần đây tôi đã đọc bài đăng này khi tôi đọc bài này đã xem qua bình luận này (một số bình luận tốt khác đến ngay sau khi nó xuất hiện trên trang của bài viết gốc).

Bất cứ ai cũng có thể nhận xét về tính hợp lệ của phản bác của Yudkowsky đối với Shalizi. Tóm lại, lập luận của Yudkowsky là cơ chế vật lý mà một tác nhân lý luận cập nhật niềm tin của nó đòi hỏi phải có công việc và do đó có một chi phí nhiệt động mà Shalizi đang quét dưới tấm thảm. Trong một bình luận khác, Yudkowsky bảo vệ điều này, nói rằng:

"Nếu bạn đưa ra viễn cảnh của một người quan sát hoàn hảo toàn diện logic bên ngoài hệ thống, khái niệm" entropy "là khá vô nghĩa, cũng như" xác suất "- bạn không bao giờ phải sử dụng nhiệt động học thống kê để mô hình hóa bất cứ điều gì, bạn chỉ cần sử dụng chính xác xác định phương trình sóng."

Bất kỳ xác suất hoặc cơ học thống kê có thể nhận xét về điều này? Tôi không quan tâm nhiều đến những tranh luận từ chính quyền liên quan đến tình trạng của Shalizi hay Yudkowsky, nhưng tôi thực sự muốn xem một bản tóm tắt về những cách mà ba điểm của Yudkowsky đưa ra chỉ trích về bài viết của Shalizi.

Để tuân thủ các nguyên tắc Câu hỏi thường gặp và biến câu hỏi này thành một câu hỏi có thể trả lời cụ thể, xin lưu ý rằng tôi đang yêu cầu một câu trả lời cụ thể, cụ thể hóa, đưa ra lập luận ba bước của Yudkowsky và cho biết trong ba bài viết của Shalizi, bác bỏ các giả định và / hoặc phái sinh, hoặc, mặt khác, chỉ ra nơi trong bài viết của Shalizi, các lập luận của Yudkowsky được đề cập.

Tôi thường nghe bài báo của Shalizi được quảng cáo là bằng chứng sắt thép rằng chủ nghĩa Bayes chủ quan toàn diện không thể được bảo vệ ... nhưng sau khi đọc bài báo của Shalizi một vài lần, nó giống như một cuộc tranh luận về đồ chơi đối với tôi không bao giờ có thể áp dụng cho một người quan sát tương tác với bất cứ điều gì đang được quan sát (tức là tất cả các vật lý thực tế). Nhưng Shalizi là một nhà nghiên cứu tuyệt vời, vì vậy tôi sẽ hoan nghênh ý kiến ​​thứ hai bởi vì rất có thể tôi không hiểu những phần quan trọng của cuộc tranh luận này.


10
Shalizi thích khiêu khích ... lập luận của anh ta về cơ bản giống như lập luận của người sáng tạo rằng tiến hóa vi phạm định luật nhiệt động lực học thứ hai bởi vì các sinh vật "sau này" phức tạp hơn, theo cách có tổ chức, so với các sinh vật "trước đó", nhưng luật thứ hai nói rằng entropy không tăng. Tuy nhiên, 1) không có gì trong luật thứ hai ngăn chặn sự giảm entropy cục bộ và 2) đối số ngụ ý không ai có thể học bất cứ điều gì về bất cứ điều gì, tại sao (tại sao việc học thông qua cập nhật Bayes lại khác với bất kỳ quá trình học tập nào khác?)
jbowman

4
Tôi sẽ không làm việc với một cuộc tranh luận giữa Shalizi và Yudkowsky; cũng không phải là một cơ quan có thẩm quyền. (Tuy nhiên, Shalizi viết tốt.) Dù sao đi nữa, bạn không nghĩ rằng vật lý. Đây là một địa điểm tốt hơn cho câu hỏi này?
Emre

1
Bạn đã đọc nhiều bài viết trình tự của Yudkowsky chưa? Tôi nghĩ anh ấy cũng viết khá tốt. Cả hai nhân vật này đều có lập trường gây tranh cãi, nhưng Shalizi dường như thực sự đưa nó ra cho chủ nghĩa Bayes chủ quan. Lý do tôi hỏi ở đây là vì nó liên kết sâu sắc với bài báo thống kê lý thuyết thuần túy hơn mà Shalizi đã viết với Andrew Gelman, cũng bị đánh đố với các vấn đề triết học (mặc dù Gelman là một chuyên gia hoàn toàn khi thực hành). ( Link )
ely

1
Tôi đã cố gắng đặt điều này xuống các phương trình, nhưng dường như tôi chưa thể làm được. Tôi nghĩ vấn đề lớn nhất của Shazili là giả định bí mật của anh ta về Phần 1, cụ thể là, bạn chỉ có thể cập nhật giai đoạn (ngẫu nhiên) điểm bằng Quy tắc Bayes. Như Yudkowsky chỉ ra, điều này bỏ qua thực tế là khi bạn đo lại và cập nhật phân phối ban đầu của mình, bạn phải bổ sung đóng góp của mình cho hệ thống ...X
Néstor

... và điều này xuất hiện dưới nhiều hình thức: cố gắng kiểm soát hệ thống của bạn (là duy nhất mỗi lần, khiến vấn đề có thể về cơ bản là ngẫu nhiên, trong trường hợp khái niệm entropy sẽ không có ý nghĩa ... có lẽ chúng ta nên nói về tỷ lệ entropy?). Tôi đã cố gắng thuyết phục bản thân rằng đóng góp này có thể được mô hình hóa như một phép biến đổi tuyến tính của vectơ điểm pha : điều này sẽ giải thích rằng bất đẳng thức mà Shazili sử dụng là không hợp lệ, vì entropy kết quả sẽ có thêm một thuật ngữ ( logarit của yếu tố quyết định của phép biến đổi tuyến tính). X
Néstor

Câu trả lời:


16

Tóm lại: 1: 0 cho Yudkowsky.

Cosma Shalizi xem xét phân phối xác suất chịu một số phép đo. Anh ta cập nhật các xác suất phù hợp (ở đây không quan trọng nếu đó là suy luận Bayens hay bất cứ điều gì khác).

Không có gì đáng ngạc nhiên, entropy của phân phối xác suất giảm.

Tuy nhiên, anh ta đưa ra một kết luận sai rằng nó nói điều gì đó về mũi tên thời gian:

Những giả định này đảo ngược mũi tên của thời gian, tức là chúng làm cho entropy không tăng.

Như đã chỉ ra trong các ý kiến, điều quan trọng đối với nhiệt động lực học, là entropy của một hệ thống kín . Đó là, theo định luật nhiệt động thứ hai , entropy của một hệ kín không thể giảm. Nó không nói gì về entropy của một hệ thống con (hoặc một hệ thống mở); nếu không bạn không thể sử dụng tủ lạnh của bạn.

Và một khi chúng ta đo sth (tức là tương tác và thu thập thông tin) thì đó không còn là một hệ thống khép kín nữa. Hoặc là chúng ta không thể sử dụng luật thứ hai, hoặc - chúng ta cần xem xét một hệ thống khép kín được tạo thành từ hệ thống đo lường và người quan sát (tức là chính chúng ta).

Đặc biệt, khi chúng ta đo trạng thái chính xác của một hạt (trong khi trước khi chúng ta biết phân phối của nó), thực sự chúng ta hạ thấp entropy của nó. Tuy nhiên, để lưu trữ thông tin, chúng ta cần tăng entropy ít nhất là cùng một lượng (thường có chi phí rất lớn).

Vì vậy, Eliezer Yudkowsky đã đưa ra một quan điểm tốt:

1) Các phép đo sử dụng công việc (hoặc ít nhất là xóa để chuẩn bị cho lần đo tiếp theo sử dụng công việc).

Trên thực tế, nhận xét về công việc không phải là quan trọng nhất ở đây. Mặc dù nhiệt động lực học liên quan đến entropy (hoặc giao dịch) liên quan đến năng lượng, bạn có thể đi xung quanh (nghĩa là chúng ta không cần phải dùng đến nguyên tắc của Landauer , trong đó Shalizi nghi ngờ ). Để thu thập một số thông tin mới, bạn cần xóa các thông tin trước đó.

Để phù hợp với cơ học cổ điển (và cả lượng tử), bạn không thể tạo một hàm tùy ý ánh xạ mọi thứ tới tất cả các số không (không có tác dụng phụ). Bạn có thể tạo một hàm ánh xạ bộ nhớ của bạn về tất cả các số 0 , nhưng đồng thời bỏ thông tin vào một nơi nào đó, điều này làm tăng hiệu quả của entropy của môi trường.

(Những điều trên bắt nguồn từ động lực học Hamilton - tức là bảo toàn không gian pha trong trường hợp cổ điển và tính không thống nhất của sự tiến hóa trong trường hợp lượng tử.)

PS: Một mẹo cho ngày hôm nay - "giảm entropy":

  • H= =1
  • H= =0

1
phiên bản tl; dr này có đúng không: "Giấy của Shalizi chỉ là một sự phục hồi chuyên biệt của con quỷ Maxwell"?
Artem Kaznatcheev

@ArtemKaznatcheev Về cơ bản là có. Nhưng nhiều hơn trong hương vị đóng cửa vs hệ thống mở. Nhưng đối với những người không thích đọc thì có dòng đầu tiên;).
Piotr Migdal

Tôi thích câu trả lời này, nhưng tôi đang gặp khó khăn trong việc hòa giải với một cuộc thảo luận về chủ đề khác. Nhìn vào liên kết này và tìm chủ đề / câu trả lời bắt đầu bởi người dùng "thực dụng". Nếu bạn thêm một hoặc hai đoạn giải quyết đối số đó (hoặc giải thích lý do tại sao đối số đó hợp lệ / không đồng ý với câu trả lời của bạn ở trên), tôi sẽ vui lòng chấp nhận.
ely

@EMS Vâng, "Bạn có thể bình luận một cuộc thảo luận?" không phải là phù hợp nhất cho SE (và nói chung, có nhiều đối số). Hơn nữa, trên thực tế tôi đã biện minh cho việc phê bình bài báo của Shalizi. Bao gồm cả phê bình của một bài phê bình về một bài phê bình của một bài báo đang yêu cầu quá nhiều. Bạn có thể cụ thể hơn, tức là điểm chính xác? Tuy nhiên: "Khi chúng tôi thực hiện cơ học thống kê, chúng tôi thường không quan tâm đến entropy của hệ thống cộng với người quan sát" - sai (hệ thống mở so với đóng), "sự tiến hóa hệ thống sẽ không đơn nhất" - đúng, nhưng ngay cả về mặt kinh điển bạn cũng không thể giảm tổng entropy.
Piotr Migdal

@EMS Nguyên tắc tẩy sâu hơn stat. cơ - như tôi đã nói, nếu nó không thỏa mãn thì cả hai đều bác bỏ cơ học lượng tử và cổ điển. Và một lần nữa: bạn không thể áp dụng các quy tắc cho các hệ thống khép kín cho các hệ thống mở - vì vậy hầu hết các lập luận của nhà thực dụng đều không khoa học (nghĩa là nên tin hay không tin) hoặc bỏ qua vật lý.
Piotr Migdal

4

Lỗ hổng của Shalizi là rất cơ bản và xuất phát từ giả định I, rằng sự tiến hóa thời gian là không thể đảo ngược (đảo ngược).

Sự tiến hóa thời gian của các quốc gia ĐỘC LẬP là có thể đảo ngược. Sự phát triển theo thời gian của một phân phối trên TẤT CẢ KHÔNG GIAN PHA chắc chắn là không thể đảo ngược, trừ khi hệ thống ở trạng thái cân bằng. Bài viết xử lý sự tiến hóa theo thời gian của các bản phân phối trên tất cả các không gian pha, không phải của các trạng thái riêng lẻ, và do đó, giả định về tính không khả dụng là hoàn toàn phi vật lý. Trong trường hợp cân bằng, kết quả là tầm thường.

Trên thực tế, mũi tên của thời gian xuất phát từ thực tế này, rằng sự tiến hóa phân phối thời gian không thể đảo ngược (lý do độ dốc chạy xuống và khí lan ra). Sự không thể đảo ngược được biết là xuất hiện từ 'điều khoản va chạm'

Nếu bạn tính đến điều này, lập luận của anh ta sẽ sụp đổ. Entropy thông tin = entropy nhiệt động, vẫn còn, cho đến bây giờ. : D


1
Bởi vì ở cấp độ cơ bản, QM mang tính quyết định - phương trình Schrodinger mô tả chính xác cách thức một hệ thống phát triển theo thời gian và không có gì không chắc chắn về điều đó - và nó là tuyến tính , dường như sự đảo ngược trong quá trình tiến hóa của các trạng thái riêng lẻ sẽ ngay lập tức có thể đảo ngược bất kỳ phân phối của các tiểu bang như vậy. Do đó, tôi muốn thấy sự biện minh toán học của bạn về sự khẳng định của bạn ngược lại, bởi vì nó sẽ cho thấy rõ hơn những gì bạn đang chỉ ngầm giả định về các phương trình động học.
whuber

Đối với một phân phối cân bằng, mọi thứ là tầm thường, tiến hóa thời gian là đảo ngược. Đối với một hệ thống tiêu tan, trong đó thể tích không gian pha không đổi, nhiều trạng thái của phân phối ban đầu có thể được ánh xạ tới một trạng thái duy nhất của phân phối cuối cùng hoặc ngược lại (không còn có thể đảo ngược). Điều này là rõ ràng trong trường hợp, ví dụ, mở rộng miễn phí một loại khí lý tưởng. Chuyển động của từng hạt riêng biệt rõ ràng có thể đảo ngược, nhưng bản thân sự giãn nở thì không, vì nó liên quan đến sự thay đổi về thể tích không gian pha. Khí không bao giờ 'mở rộng'. Nếu bạn vẫn không vui, tôi có thể giải toán cho bạn.
Ethan

Vì bạn đang buộc tội Shalizi đã sai về điều này, nên cung cấp một số loại hỗ trợ toán học khách quan sẽ là một ý tưởng tốt. Nhưng hãy cẩn thận đừng đi quá xa trọng tâm của trang web này, đó là về phân tích dữ liệu, không phải vật lý! Tuy nhiên, ví dụ mở rộng miễn phí dường như không có ý nghĩa đối với tôi, bởi vì trong một vũ trụ nhỏ gọn (giả thiết) dường như không có thứ gì như vậy: khí mở rộng ra một nơi khác.
whuber

Ngay đôi khi tôi quên mất stackexchange. Có lẽ tôi sẽ nhận được một cái gì đó bắt đầu từ đó. Nhưng đối với chất khí, sự thay đổi entropy là TdS = dU + pdV nhưng dU bằng 0 thì chúng ta đáng tin cậy nên dS = pdV / T. Theo định luật khí lý tưởng dS = nRdV / V, do đó, việc chuyển từ v1 sang v2 sẽ thay đổi entropy theo ln (v2 / v1). Về cơ bản tất cả các quá trình vĩ mô tự phát (ví dụ: tái sản xuất) là không thể đảo ngược. Nhưng có lẽ nhận được điều này từ các nguyên tắc cơ bản không phải là chuyện nhỏ (Boltzmann đã dành cả cuộc đời cho nó)
Ethan

3

Các giấy liên kết giả định rõ ràng rằng

Toán tử tiến hóa T là không thể đảo ngược.

Nhưng nếu bạn sử dụng QM theo cách thông thường, thì giả định này không giữ được. Giả sử bạn có trạng thái X1 có thể tiến hóa thành X2 hoặc X3 với xác suất bằng nhau. Bạn sẽ nói rằng trạng thái X1 phát triển thành tập có trọng số [1/2 X2 + 1/2 X3]. Shalizi chứng minh rằng bộ này không có nhiều entropy hơn X1 đã làm.

Nhưng chúng tôi, với tư cách là người quan sát hoặc là một phần của hệ thống đó, chỉ có thể nhìn vào một trong các nhánh, X2 hoặc X3. Chọn một trong hai nhánh mà chúng ta có thể xem xét sẽ thêm một chút entropy mới và lựa chọn này không thể đảo ngược. Đây là nơi tăng entropy với thời gian đến từ. Những gì Shalizi đã làm, là sử dụng toán học trong đó tất cả entropy bắt nguồn từ sự phân nhánh lượng tử, sau đó quên rằng sự phân nhánh lượng tử xảy ra.


2
Bài viết (như luật thứ hai) liên quan đến các hệ thống khép kín. Cơ học lượng tử hoàn toàn có thể đảo ngược trên một hệ thống kín (tức là tất cả các nhà khai thác là đơn nhất). Hoạt động không thể đảo ngược duy nhất trong cơ học lượng tử là đo lường; nếu bạn đo một hệ thống kín thì nó không còn đóng từ góc độ nhiệt động lực học. Nếu người quan sát của bạn ở trong hệ thống và đo lường một hệ thống phụ, thì người quan sát + hệ thống phụ sẽ cùng nhau phát triển một cách phi thực tế, và do đó hoạt động là không thể đảo ngược (thủ thuật này được gọi một cách không chính thức là "Nhà thờ của không gian Hilbert lớn hơn"). Do đó, lập luận của bạn từ "QM" là sai.
Artem Kaznatcheev

1
Điều này chỉ khi bạn tin rằng giải thích Copenhagen mặc dù (hoặc những người khác tách 'phép đo' khỏi các quy trình đơn nhất). Nhiều thế giới cho rằng phép đo chỉ là quy luật đơn nhất thông thường và do đó hoàn toàn có thể đảo ngược; nó chỉ là một tạo tác của trạng thái ban đầu của vũ trụ mà chắc chắn không thể thấy sự đảo ngược của nó (tôi có thể không giải thích rõ lắm, tôi không phải là nhà vật lý). Ở mức độ nào, tôi không tin rằng câu trả lời này nên bị hạ thấp do sự chỉ trích này.
ely

1
@EMS Không quan trọng bạn sử dụng cách giải thích nào, QM của một hệ thống khép kín có thể đảo ngược. Nhưng trong bối cảnh lớn hơn của câu hỏi ban đầu, các chi tiết của người trả lời sai về QM là không liên quan: Shalizi đã giải quyết điểm này trong phần II.A theo nghĩa chung hơn; ngay cả một hình thức chính xác của câu trả lời này cũng không vượt quá chính Shalizi đã chỉ ra.
Artem Kaznatcheev

1
Như đã đề cập trong một chủ đề khác thảo luận về vấn đề này, câu trả lời này dường như chỉ là điểm yếu của câu trả lời khác được đưa ra: nếu bạn khăng khăng yêu cầu hệ thống khép kín, thì bạn phải tìm nguồn entropy của mình (tức là "hệ thống đóng" của Shalizi phải bao gồm người có một chút entropy vì 'tình cờ tiến xuống một nhánh (không xác định) của hai nhánh'. Đó là, có vẻ như câu trả lời này cũng nói rằng bài báo của Shalizi chỉ là sự phục hồi của Quỷ Maxwell. Một lần nữa, tôi có thể hiểu lầm nó do thiếu đào tạo vật lý chính thức.
ely
Khi sử dụng trang web của chúng tôi, bạn xác nhận rằng bạn đã đọc và hiểu Chính sách cookieChính sách bảo mật của chúng tôi.
Licensed under cc by-sa 3.0 with attribution required.