Taleb và Thiên nga đen

Cuốn sách "The Black Swan" của Taleb là một cuốn sách bán chạy nhất của New York Times khi nó được phát hành vài năm trước. Cuốn sách hiện đang ở phiên bản thứ hai của nó. Sau khi gặp gỡ các nhà thống kê tại một hội nghị thống kê hàng năm (JSM), Taleb đã giảm bớt sự chỉ trích về số liệu thống kê. Nhưng điểm nổi bật của cuốn sách là số liệu thống kê không hữu ích lắm vì nó dựa vào phân phối bình thường và các sự kiện rất hiếm: "Thiên nga đen" không có phân phối bình thường.

Bạn có nghĩ rằng đây là lời chỉ trích hợp lệ? Có phải Taleb thiếu một số khía cạnh quan trọng của mô hình thống kê? Các sự kiện hiếm có thể được dự đoán ít nhất theo nghĩa là xác suất xảy ra có thể được ước tính?

Tôi đọc Black Swan vài năm trước. Ý tưởng Thiên nga đen là tốt và cuộc tấn công vào ngụy biện ngớ ngẩn (nhìn mọi thứ như thể chúng là trò chơi súc sắc, với xác suất có thể biết được) là tốt nhưng số liệu thống kê bị xuyên tạc, với vấn đề trung tâm là tuyên bố sai lầm rằng tất cả các số liệu thống kê đều sụp đổ nếu các biến thường không được phân phối. Tôi đã đủ khó chịu bởi khía cạnh này để viết Taleb bức thư dưới đây:

Kính gửi Tiến sĩ Taleb

Gần đây tôi đã đọc "Thiên nga đen". Giống như bạn, tôi là một fan hâm mộ của Karl Popper, và tôi thấy mình đồng ý với nhiều điều có trong đó. Tôi nghĩ rằng sự phơi bày của bạn về ngụy biện lố bịch về cơ bản là âm thanh, và thu hút sự chú ý đến một vấn đề thực tế và phổ biến. Tuy nhiên, tôi nghĩ rằng phần lớn Phần III cho phép tranh luận tổng thể của bạn không tốt, thậm chí đến mức có thể làm mất uy tín của phần còn lại của cuốn sách. Đây là một sự xấu hổ, vì tôi nghĩ rằng những tranh luận liên quan đến Thiên nga đen và "những ẩn số chưa biết" đứng trên giá trị của chúng mà không dựa vào một số lỗi trong Phần III.

Vấn đề chính tôi muốn chỉ ra - và tìm kiếm phản hồi của bạn, đặc biệt nếu tôi có vấn đề hiểu sai - là sự trình bày sai của bạn về lĩnh vực thống kê được áp dụng. Theo đánh giá của tôi, các chương 14, 15 và 16 phụ thuộc phần lớn vào lập luận của người rơm, thống kê sai và thống kê kinh tế lượng. Lĩnh vực kinh tế lượng mà bạn mô tả không phải là lĩnh vực mà tôi đã được dạy khi tôi nghiên cứu về thống kê ứng dụng, kinh tế lượng và lý thuyết rủi ro tính toán (tại Đại học Quốc gia Úc, nhưng sử dụng các văn bản có vẻ khá chuẩn). Các vấn đề mà bạn nêu ra (chẳng hạn như các hạn chế của phân phối Gaussian) là rất tốt và thực sự được hiểu và dạy, ngay cả ở cấp đại học.

Ví dụ: bạn đi đến một số độ dài để chỉ ra cách phân phối thu nhập không tuân theo phân phối bình thường và trình bày đây là một lập luận chống lại thực tiễn thống kê nói chung. Không có nhà thống kê có thẩm quyền nào sẽ tuyên bố rằng nó làm như vậy, và cách đối phó với vấn đề này được thiết lập tốt. Chỉ sử dụng các kỹ thuật từ cấp độ "kinh tế lượng năm đầu tiên" cơ bản nhất, ví dụ, biến đổi biến bằng cách lấy logarit của nó sẽ làm cho các ví dụ số của bạn trông kém thuyết phục hơn nhiều. Một phép biến đổi như vậy trong thực tế sẽ làm mất hiệu lực phần lớn những gì bạn nói, bởi vì sau đó phương sai của biến ban đầu không tăng khi giá trị trung bình của nó tăng.

Tôi chắc chắn rằng có một số nhà kinh tế lượng không đủ năng lực thực hiện hồi quy OLS, v.v ... với một biến trả lời chưa được xử lý theo cách bạn nói, nhưng điều đó chỉ khiến họ không đủ năng lực và sử dụng các kỹ thuật được thiết lập tốt là không phù hợp. Họ chắc chắn đã thất bại ngay cả trong các khóa học đại học, họ dành nhiều thời gian để tìm kiếm các cách mô hình hóa các biến thích hợp hơn như thu nhập, phản ánh phân phối quan sát thực tế (không phải Gaussian).

Nhóm mô hình tuyến tính tổng quát là một tập hợp các kỹ thuật được phát triển một phần để khắc phục các vấn đề bạn nêu ra. Nhiều nhóm phân phối theo cấp số nhân (ví dụ phân phối Gamma, Exponential và Poisson) có tính đồng nhất và có phương sai tăng khi trung tâm phân phối tăng, giải quyết vấn đề bạn chỉ ra khi sử dụng phân phối Gaussian. Nếu điều này vẫn còn quá hạn chế, có thể loại bỏ hoàn toàn "hình dạng" đã tồn tại trước đó và chỉ cần chỉ định mối quan hệ giữa giá trị trung bình của phân phối và phương sai của nó (ví dụ: cho phép phương sai tăng tỷ lệ với bình phương trung bình), sử dụng phương pháp ước lượng "gần đúng".

Tất nhiên, bạn có thể lập luận rằng hình thức mô hình hóa này vẫn còn quá đơn giản và một cái bẫy trí tuệ khiến chúng ta nghĩ rằng tương lai sẽ giống như quá khứ. Bạn có thể đúng, và tôi nghĩ rằng sức mạnh của cuốn sách của bạn là làm cho những người như tôi xem xét điều này. Nhưng bạn cần những lập luận khác nhau cho những lập luận mà bạn sử dụng trong chương 14-16. Trọng số lớn mà bạn đặt vào thực tế là phương sai của phân phối Gaussian là không đổi bất kể giá trị trung bình của nó (gây ra vấn đề với khả năng mở rộng), chẳng hạn, là không hợp lệ. Vì vậy, sự nhấn mạnh của bạn về thực tế là các bản phân phối trong đời thực có xu hướng mang tính chất đồng nhất hơn là các đường cong hình chuông.

Về cơ bản, bạn đã thực hiện một cách đơn giản hóa quá mức các cách tiếp cận cơ bản nhất để thống kê (mô hình hóa các biến thô chưa có phân phối Gaussian) và cho thấy, rất dài, (chính xác) những thiếu sót của cách tiếp cận quá đơn giản đó. Sau đó, bạn sử dụng điều này để tạo khoảng cách để làm mất uy tín của toàn bộ lĩnh vực. Đây là một sai sót nghiêm trọng trong logic, hoặc một kỹ thuật tuyên truyền. Thật không may vì nó làm mất đi lập luận tổng thể của bạn, phần lớn trong số đó (như tôi đã nói) tôi thấy hợp lệ và có sức thuyết phục.

Tôi sẽ quan tâm để nghe những gì bạn nói trong phản ứng. Tôi nghi ngờ tôi là người đầu tiên nêu ra vấn đề này.

Trân trọng

PE

Tôi đã không đọc cuốn sách này, nhưng như đã nêu những lời chỉ trích có vẻ khá vô lý với tôi. Nếu các sự kiện cực kỳ quan trọng, thì thống kê có các công cụ thích hợp trong hộp công cụ, chẳng hạn như lý thuyết giá trị cực trị, và một nhà thống kê giỏi sẽ biết cách sử dụng chúng (hoặc ít nhất là tìm ra cách sử dụng chúng và sẽ tham gia đầy đủ vào mục đích của phân tích để xem xét). Những lời chỉ trích dường như là "số liệu thống kê là xấu bởi vì có những nhà thống kê tồi chỉ biết về phân phối bình thường".

Nói rằng "sức đẩy của cuốn sách là số liệu thống kê không hữu ích lắm" là không chính xác, tôi nghĩ vậy. Đọc xong cuốn sách, điều anh ta nói là những thứ như tài chính định lượng hoặc bất kỳ loại giao dịch chứng khoán nào giả định phân phối bình thường đều thiếu sót về cơ bản (thực ra, trong cuốn sách, anh ta gọi những người tuyên bố sử dụng các mô hình này để đưa ra dự đoán , "charlatans"). Theo Taleb, trong khi phân phối bình thường làm rất tốt việc mô hình hóa các giá trị của vật thể / vật chất (ví dụ: chiều cao, cân nặng, tuổi thọ, v.v.), các hệ thống như thị trường thường bị chi phối bởi cảm xúc của con người và do đó, dễ bị sự thay đổi lớn mà phân phối bình thường không thể dự đoán chính xác.

Tôi không hiểu rõ về thống kê và cho đến khi đọc câu trả lời ở đây, tôi chưa bao giờ nghe về những thứ như lý thuyết giá trị cực đoan. Bất kể, Thiên nga đen và Fooled By Randomness dường như có những tiền đề tương tự nhau, đó là "phân phối bình thường không phải lúc nào cũng ổn". Tôi không nhớ anh ta nói xấu toàn bộ lĩnh vực thống kê.

Tôi đã đọc "Thiên nga đen", tôi rất thích nó và tôi là một nhà thống kê. Tôi hoàn toàn không thấy "sự chỉ trích về số liệu thống kê". Từng điểm:

1. Taleb đã không phát minh ra khái niệm về thiên nga đen. Nó đã là một ví dụ được ưa chuộng trong tư tưởng triết học trong một thời gian dài!
2. Taleb không quá chỉ trích "thống kê", vì một số ứng dụng (xấu) nhất định của nó.
3. Cuốn sách là một cuốn sách bán chạy nhất. Nó không hướng đến các nhà thống kê, mà là cho công chúng nói chung. Nó đã làm rất tốt trong việc dạy rằng công chúng về những điều mà các nhà thống kê biết rất rõ, nhưng nhiều độc giả khác (đa số!) Thì không. Vì vậy, chúng ta có thể học được rất nhiều từ cuốn sách đó về cách "bán" số liệu thống kê.
4. Quan trọng nhất (đối với tôi), Taleb bao gồm rất nhiều tài liệu tham khảo về triết học hoài nghi Hy Lạp cổ đại. Không ai khác đã đề cập đến điểm đó ở đây, nhưng tôi nghĩ rằng bao gồm là điểm bán hàng thực sự của cuốn sách!
5. Cuốn sách là một tác phẩm văn học, không phải là một tác phẩm kỹ thuật. Nếu bạn muốn chỉ trích Taleb về công việc kỹ thuật của anh ấy, hãy truy cập trang chủ của anh ấy và tải xuống một số tài liệu kỹ thuật của anh ấy.

Đối với những người không thích câu trả lời này hoặc không thích cuốn sách này, có thể xem qua các lập luận kỹ thuật của Taleb trong https://fernandonogueiracosta.files.wordpress.com/2014/07/taleb-nassim-silent-risk. pdf "Rủi ro thầm lặng", đó là kỹ thuật.

Tôi chưa đọc Thiên nga đen, nhưng nếu những lời chỉ trích về thống kê của anh ấy thực sự đơn giản như bạn nói, thì thật là nực cười. Rõ ràng một số thống kê dựa trên phân phối Bình thường, nhưng phần lớn thì không.

Sự kiện hiếm có thể được mô hình hóa? Tất nhiên họ có thể. Câu hỏi thực sự là làm thế nào họ có thể được mô hình hóa. Và câu hỏi đó sẽ có câu trả lời khác nhau trong các lĩnh vực khác nhau, dựa trên mức độ chúng ta biết về các sự kiện hiếm gặp và tiền đề của chúng.

Trong Tạp chí NY Times ngày nay có một bài viết thú vị của Nate Silver về cách dự báo thời tiết đã được cải thiện trong thập kỷ qua hoặc lâu hơn. Điều này bao gồm mô hình tốt hơn về các sự kiện hiếm như bão.

Là cuốn sách đáng đọc?

Tôi cũng chưa đọc cuốn sách này, nhưng không có cách nào mà quan điểm của anh ta có thể đơn giản như việc nói rằng có những bản phân phối có đuôi béo hơn bản phân phối bình thường. Đây sẽ là một nhận xét cho các câu trả lời khác, nhưng tôi chưa tích lũy đủ các giải thưởng trên trang web này.

Từ Wikipedia:

"Ông nói rằng các số liệu thống kê về cơ bản không đầy đủ như một lĩnh vực vì nó không thể dự đoán nguy cơ của các sự kiện hiếm gặp ..."

Câu hỏi này cũng khá giống với câu hỏi của cộng đồng về Tứ giác thứ tư là gì?

Tôi thực sự khuyên bạn nên xem xét lại cuốn sách này của Dennis Lindley. Nó chứa một số lập luận tàn khốc chống lại sự phơi bày ý tưởng nghèo nàn và kiêu ngạo trong cuốn sách:

http: // onlinel Library.wiley.com/doi/10.1111/j.1740-9713.2008.00281.x/abab

Thiên nga đen là một ví dụ khác mà việc trở thành "Người bán chạy nhất" không đảm bảo nội dung chất lượng cao.

Tôi không nghĩ Taleb thực sự sẽ nói rằng các kỹ thuật thống kê dựa trên phân phối Gaussian là không hữu ích. Quan điểm của ông trong cuốn sách là chúng rất hữu ích cho nhiều (nhưng không phải tất cả) các quá trình và mô hình hóa vật lý hoặc sinh học. Anh ta đưa ra một số điểm tốt và một số điểm xấu (Thiên nga đen và Liên kết là khởi đầu của "mọi thứ đều là luật sức mạnh!" Vẫn còn ám ảnh chúng ta ngày nay), nhưng điều quan trọng cần nhớ là cuốn sách là một bộ sưu tập văn học và triết học bài luận có ý nghĩa cho người giáo dân.

Điều đó nói rằng tôi nghĩ Taleb thích làm nặng thêm mọi người. Bạn có thể thấy điều này trong trận chiến với Myron Scholes. Trong trường hợp này, nó có thể hữu ích như giáo dục thống kê ở cấp độ đại học, và đôi khi ở cấp độ sau đại học, loại bỏ qua giả định của các phân phối Gaussian. Tôi tưởng tượng trong những năm của mình trong lĩnh vực tài chính, ông đã bắt gặp một số lượng lớn người thuê với kiến ​​thức tuyệt vời về Black-Scholes và các kỹ thuật khác nhưng họ không xem xét các giả định cơ bản như phân phối. Tôi nghi ngờ Taleb đã chọc vào cơ sở giáo dục vì không giáo dục đúng cách.

Những người bạn chưa đọc cuốn sách đang rời khỏi cơ sở. Anh ta tạo ra sự khác biệt LỚN giữa khả năng mở rộng và không thể quét được. Đối với các vấn đề không thể quét được, các số liệu thống kê truyền thống sẽ phục vụ đủ tốt. Ông không phê phán điều gì. Thiên nga đen có nguồn gốc từ khả năng mở rộng và khó dự đoán được đưa ra dữ liệu thực nghiệm trong quá khứ. Cuốn sách nói về cách những sự kiện này có thể có tác động to lớn và thường chỉ được giải thích sau thực tế. Nhận thức luận là tuyệt vời.

Không đọc cuốn sách, tôi cảm thấy tiếng chuông Gaussian thất bại bởi vì chúng chưa bao giờ đưa ra một định nghĩa rõ ràng về "mật độ xác suất"; bên cạnh đó, họ không bao giờ đưa ra một tập hợp đầy đủ các điểm của đường cong Lorenz bao gồm cùng lúc tổng số biến phân tán và tổng số quần thể nhận biết trước đó. Nếu "mật độ" được sử dụng, cần phải giải thích về biến nào; ví dụ nếu bạn nói về kilôgam trên lít thì nó đề cập đến mật độ trọng lượng liên quan đến thể tích. Bước đó không được đưa ra bởi lý thuyết Gaussian trong sách giáo khoa. Không có gì ngạc nhiên khi những người trẻ tuổi không hiểu số liệu thống kê đúng.