Tại sao các mô hình Machine Learning được gọi là hộp đen?

Tôi đã đọc bài đăng trên blog này có tiêu đề: Thế giới tài chính muốn mở hộp đen của AI , nơi tác giả liên tục gọi các mô hình ML là "hộp đen".

Một thuật ngữ tương tự đã được sử dụng ở một số nơi khi đề cập đến các mô hình ML. Tại sao nó như vậy?

Nó không giống như các kỹ sư ML không biết những gì diễn ra bên trong mạng lưới thần kinh. Mỗi lớp được chọn bởi kỹ sư ML biết nên sử dụng chức năng kích hoạt nào, loại lớp đó làm gì, lỗi được lan truyền trở lại, v.v.

Điều hộp đen không liên quan gì đến trình độ chuyên môn của khán giả (miễn là khán giả là con người), nhưng với khả năng giải thích của chức năng được mô hình hóa bằng thuật toán học máy.

Trong hồi quy logistic, có một mối quan hệ rất đơn giản giữa đầu vào và đầu ra. Đôi khi bạn có thể hiểu tại sao một mẫu nhất định được phân loại không chính xác (ví dụ: vì giá trị của thành phần nhất định của vectơ đầu vào quá thấp).

Điều tương tự cũng áp dụng cho các cây quyết định: bạn có thể tuân theo logic được áp dụng bởi cây và hiểu tại sao một phần tử nhất định được gán cho lớp này hay lớp kia.

Tuy nhiên, mạng lưới thần kinh sâu là ví dụ mô hình của thuật toán hộp đen. Không ai, thậm chí không phải là chuyên gia nhất trên thế giới nắm bắt chức năng thực sự được mô hình hóa bằng cách đào tạo một mạng lưới thần kinh. Một cái nhìn sâu sắc về điều này có thể được cung cấp bởi các ví dụ đối nghịch : một số thay đổi nhỏ (và không thể nhận thấy của con người) trong một mẫu đào tạo có thể khiến mạng nghĩ rằng nó thuộc về một nhãn hoàn toàn khác. Có một số kỹ thuật để tạo ra các ví dụ đối nghịch, và một số kỹ thuật để cải thiện sự mạnh mẽ chống lại chúng. Nhưng do không ai thực sự biết tất cả các thuộc tính có liên quan của chức năng được mô hình hóa bởi mạng, nên luôn có thể tìm ra một cách mới lạ để tạo ra chúng.

Con người cũng là hộp đen và chúng ta cũng hợp lý với các ví dụ bất lợi .

Mặc dù tôi đồng ý về câu trả lời của ncasas ở hầu hết các điểm (+1), tôi xin được khác nhau về một số:

• Cây quyết định cũng có thể được sử dụng làm mô hình hộp đen. Trên thực tế, tôi muốn nói trong hầu hết các trường hợp, chúng được sử dụng làm mô hình hộp đen. Nếu bạn có 10.000 tính năng và một cây có độ sâu 50, bạn không thể mong đợi một cách hợp lý một con người sẽ hiểu nó.
• Mạng lưới thần kinh có thể được hiểu. Có nhiều kỹ thuật phân tích (xem chương 2.5 của luận án thạc sĩ của tôi cho một số mục đích nhằm cải thiện mô hình). Đặc biệt là phân tích tắc (Hình 2.10), Trực quan hóa bộ lọc (Hình 2.11). Ngoài ra tại sao tôi nên tin tưởng bạn? giấy ( ghi chú của tôi ).

Giải thích dự đoán về mô hình hộp đen bằng phân tích tắc ẩn lạ mắt (từ "Tại sao tôi nên tin tưởng bạn?"):

Tôi muốn chỉ ra The Mythos of Model Interpretability . Nó hình thành một số ý tưởng về khả năng diễn giải một cách súc tích.

Câu hỏi của bạn

Tại sao các mô hình Machine Learning được gọi là hộp đen?

Cách mọi người sử dụng nó : Bởi vì họ không mô hình hóa vấn đề theo cách cho phép con người nói trực tiếp những gì xảy ra cho bất kỳ đầu vào nào.

Suy nghĩ cá nhân

Tôi không nghĩ khái niệm "mô hình hộp đen" này có ý nghĩa nhiều. Ví dụ, nghĩ về dự báo thời tiết. Bạn không thể mong đợi bất kỳ con người nào nói thời tiết nào sẽ được dự đoán nếu anh ta chỉ được cung cấp dữ liệu. Tuy nhiên, hầu hết mọi người sẽ không nói rằng mô hình thời tiết vật lý là mô hình hộp đen. Vậy đâu là sự khác biệt? Có phải chỉ có một mô hình được tạo ra bằng dữ liệu và mô hình kia được tạo ra bằng cách sử dụng những hiểu biết sâu sắc về vật lý?

Khi mọi người nói về các mô hình hộp đen, họ thường nói nó như thể đó là một điều xấu. Nhưng con người là mô hình hộp đen, quá. Sự khác biệt quan trọng mà tôi thấy ở đây là lớp lỗi mà con người mắc phải dễ dự đoán hơn đối với con người. Do đó, đây là một vấn đề đào tạo (ví dụ đối nghịch về phía NN) và vấn đề giáo dục (dạy cho con người cách thức làm việc của NN).

Cách sử dụng thuật ngữ 'mô hình hộp đen' : Cách tiếp cận có ý nghĩa hơn đối với tôi là gọi vấn đề là "vấn đề hộp đen", tương tự như những gì người dùng144410 (+1) viết. Do đó, bất kỳ mô hình nào chỉ xử lý sự cố dưới dạng hộp đen - do đó, một cái gì đó bạn có thể đưa đầu vào vào và lấy đầu ra - là mô hình hộp đen. Các mô hình có cái nhìn sâu sắc (không chỉ giả định!) Về vấn đề không phải là mô hình hộp đen. Phần sâu sắc là khó khăn. Mọi mô hình đều đưa ra các hạn chế đối với chức năng có thể mà nó có thể mô hình hóa (vâng, tôi biết về vấn đề xấp xỉ phổ quát. Miễn là bạn sử dụng NN có kích thước cố định mà nó không áp dụng). Tôi sẽ nói một cái gì đó là một cái nhìn sâu sắc về vấn đề nếu bạn biết điều gì đó về mối quan hệ của đầu vào và đầu ra mà không chọc vào vấn đề (mà không cần nhìn vào dữ liệu).

Điều gì sau đây:

• Mạng nơ-ron có thể không phải là hộp đen (whitebox?)
• Hồi quy logistic có thể là một mô hình hộp đen.
• Đó là nhiều hơn về vấn đề và hiểu biết của bạn về nó, ít hơn về mô hình.

Nó đi xuống để mô hình giải thích và giải thích. Với đầu ra của một mô hình đơn giản hơn, có thể xác định chính xác cách mỗi đầu vào đóng góp cho đầu ra mô hình, nhưng điều đó trở nên khó khăn hơn khi các mô hình trở nên phức tạp hơn. Ví dụ với hồi quy, bạn có thể trỏ đến các hệ số, với cây quyết định bạn có thể xác định các phần tách. Và với thông tin này, bạn có thể rút ra các quy tắc để giải thích hành vi mô hình.

Tuy nhiên, khi số lượng tham số mô hình tăng lên, ngày càng khó giải thích chính xác sự kết hợp đầu vào nào dẫn đến đầu ra mô hình cuối cùng, hoặc rút ra các quy tắc từ hành vi của mô hình. Nói trong ngành tài chính khi COO xuất hiện và hỏi 'vậy, tại sao thuật toán giao dịch tần số cao của bạn phá vỡ nền kinh tế', anh ta không muốn nghe cách nó được xây dựng, tại sao nó lại khiến anh ta phá sản. Có thể nói cách thức mô hình được xây dựng, nhưng có thể không giải thích được sự kết hợp các yếu tố nào mà mô hình nhận được làm đầu vào dẫn đến đầu ra và đó là lý do tại sao mọi người đang nói về hộp đen.

Các mô hình hộp đen đề cập đến bất kỳ mô hình toán học nào có phương trình được chọn là chung và linh hoạt nhất có thể mà không cần dựa vào bất kỳ định luật vật lý / khoa học nào.

Các mô hình hộp màu xám là các mô hình toán học trong đó một phần của các phương trình (hàm toán học) xuất phát từ các định luật vật lý đã biết nhưng phần còn lại được giả sử là hàm tổng quát để bù cho phần không giải thích được.

Các mô hình hộp trắng là các mô hình toán học được xây dựng hoàn toàn dựa trên các định luật vật lý và sự hiểu biết về hệ thống, ví dụ như các định luật chuyển động cơ học (mô hình máy bay ..v.v)

Xem: https://en.wikipedia.org/wiki/Mathologists_model#A_priori_inatures

Một hộp đen, như bạn có thể biết, đề cập đến một chức năng nơi bạn biết chữ ký của đầu vào và đầu ra, nhưng không thể biết nó xác định đầu ra từ đầu vào như thế nào.

Việc sử dụng thuật ngữ này được sử dụng không chính xác trong trường hợp này. Có thể vượt quá khả năng hoặc khả năng hiểu và hiểu các mô hình ML của nhà văn / tác giả, nhưng điều đó không có nghĩa là nó vượt quá khả năng hoặc khả năng của người khác. Các kỹ sư tạo ra mỗi mô hình ML biết chính xác cách thức hoạt động của nó và có thể kéo cây quyết định theo ý muốn và đi bộ. Chỉ vì ai đó có thể quá lười biếng hoặc có thể mất một lúc để làm như vậy không có nghĩa là thông tin không có sẵn để tiêu thụ.

Mô hình ML không phải là hộp đen, chúng là những hộp rõ ràng thực sự lớn.

Các kỹ sư ML không biết những gì diễn ra bên trong mạng lưới thần kinh

Xin lỗi để mâu thuẫn với bạn, nhưng đó là sự thật. Họ biết các mạng lưới thần kinh học như thế nào, nhưng họ không biết bất kỳ mạng lưới thần kinh nào đã học. Logic học được bởi các mạng thần kinh nổi tiếng là không thể hiểu được.

Quan điểm của việc sử dụng máy học thường là tìm hiểu các quy tắc mà một lập trình viên hoặc chuyên gia tên miền không nghĩ tới. Điều này vốn đã khó để tìm ra.

Nó tương tự như một chương trình máy tính thông thường được viết bằng một tên biến chữ cái, không có nhận xét, không có cấu trúc rõ ràng, sử dụng toán học tối nghĩa và tất cả bởi một người đã chết. Bạn có thể bước qua nó trong trình gỡ lỗi, nhưng vẫn chưa rõ cách thức hoạt động của nó.

Hiếm khi, ai đó gặp khó khăn để tìm hiểu những gì một mạng lưới thần kinh làm. Ví dụ, thuật toán xung đột tối thiểu được phát hiện bằng cách phân tích một mạng lưới thần kinh được đào tạo về vấn đề N-quges . Nhưng đó là rất nhiều công việc.

Trong bài đăng trên blog được trích dẫn trong câu hỏi, cuộc thảo luận là về việc các chuyên gia phát triển mô hình học máy trong tài chính không thể giải thích cho khách hàng của họ (các nhà tài chính không được đào tạo về học máy) làm thế nào mô hình đưa ra quyết định. .

Điều này đưa ra một sự phân biệt giữa các mô hình đó là hộp đen vì thông tin đó là thật sự bí mật (ví dụ như các hệ số được mã hóa trong một FPGA bằng chứng tamper) và các mô hình được mở (theo nghĩa là các hệ số được biết) nhưng không hiểu một khán giả cụ thể .

Loại "hộp đen" sau này có vấn đề vì khách hàng muốn tự trấn an rằng mô hình bạn đã xây dựng có "tính hợp lệ". Với các loại mô hình khác như Hồi quy logistic, việc xem xét các hệ số tương đối dễ dàng và kiểm tra xem chúng có các dấu cộng hoặc trừ dự kiến ​​hay không - ngay cả một MBA không biết toán học cũng có thể hiểu điều đó.

Machine Learning có thể được coi là hộp đen, các giải pháp cho vấn đề XOR sử dụng mạng thần kinh có thể được mô hình hóa nhưng khi số lượng đầu vào tăng lên, thì độ phức tạp và kích thước cũng vậy. Nếu quá phức tạp để hiểu và giải thích, thì đó là một hộp đen, cho dù chúng ta có thể tính toán kết quả hay không

Chúng tôi chỉ có thể cảm nhận chúng tối đa 3 chiều nhưng điều này là đủ vì chúng tôi có thể ngoại suy kích thước này lên tới các kích thước cao hơn bằng cách sử dụng mô hình 3d làm điểm tham chiếu. Chúng ta có thể tưởng tượng mức tối thiểu cục bộ, cũng như các phần của bộ dữ liệu được học một phần.

Tôi đã có ý tưởng trong một thời gian và vì vậy tôi đã tạo ra hình ảnh động của mạng lưới thần kinh tại nơi làm việc và cải thiện sự hiểu biết của tôi về mạng lưới thần kinh. Tôi đã tạo ra hình ảnh động với 1 và 2 lớp ẩn (thứ 3 chủ yếu được thực hiện) và cách chúng tìm hiểu dữ liệu.

Hoạt hình chậm và hoạt hình trên cùng bên phải hiển thị các lớp phía trên rất đáng xem, bạn có thể tăng tốc độ hoạt hình trên Youtube nếu bạn thích, có thể thấy những thay đổi đáng kể trên hoạt hình trên cùng bên phải với Blue and Red Mesh ở 3:20 Orange và Lưới đỏ lúc 6 phút và lưới Xanh lam, Cam và Đỏ lúc 8:20. Các hướng thay đổi trọng lượng rõ ràng là trong hình động bên trái phía dưới

https://www.youtube.com/watch?v=UhQJbFDtcoc

Tôi nghĩ rằng khái niệm hộp đen được sử dụng theo cách này bắt nguồn từ thử nghiệm hộp đen trong Đảm bảo chất lượng phần mềm và phần cứng. Đó là khi bạn chọn không / hoặc thậm chí không thể nhìn vào và thấy hoạt động bên trong của những gì bạn đang thử nghiệm. Nó có thể là vì một lý do mà nó sẽ là

1. không thực tế hoặc không thể nhìn trộm vào nó (nó ở trong một môi trường kín và chúng ta chỉ đơn giản là không thể nhìn vào nó) - Nhưng nó cũng có thể là

2. bởi vì có một cơ hội lớn hơn để viết các bài kiểm tra crappy nếu người ta có thể nhìn thấy bên trong. Nguy cơ lớn hơn (có hoặc không có ý định) "bài kiểm tra viết được thiết kế để vượt qua".

Viết bài kiểm tra để phù hợp với điều đang được thử nghiệm, làm giảm cơ hội thực sự tìm thấy bất cứ điều gì.

Sẽ là hoàn toàn có thể để một kỹ sư tín hiệu lành nghề có thể nhìn vào hoạt động bên trong của mạng thần kinh và kiểm tra các tính năng nào đang được chọn trong một chuỗi đào tạo cụ thể.

Các phương pháp hộp đen rất khó để giải thích cho "người không quen". Bất kỳ ai trong lĩnh vực tài chính hoặc các lĩnh vực khác đều có thể nắm bắt những điều cơ bản của hồi quy hoặc thậm chí là cây quyết định. Bắt đầu nói về hyperplanes máy vectơ hỗ trợ và chức năng sigmoid mạng thần kinh và bạn sẽ mất hầu hết khán giả