Tôi nên làm gì khi mạng lưới thần kinh của tôi không khái quát tốt?

Tôi đang đào tạo một mạng lưới thần kinh và tổn thất đào tạo giảm, nhưng mất xác thực thì không, hoặc nó giảm ít hơn nhiều so với những gì tôi mong đợi, dựa trên các tài liệu tham khảo hoặc thí nghiệm có kiến ​​trúc và dữ liệu rất giống nhau. Làm thế nào tôi có thể sửa lỗi này?

Đối với câu hỏi

Tôi nên làm gì khi mạng lưới thần kinh của tôi không học?

Câu hỏi này được truyền cảm hứng, câu hỏi được cố tình để lại chung chung để các câu hỏi khác về cách giảm lỗi tổng quát hóa của mạng nơ-ron xuống mức đã được chứng minh là có thể đạt được , có thể được đóng lại dưới dạng trùng lặp của câu hỏi này.

Xem thêm chủ đề chuyên dụng trên Meta:

Có một câu hỏi chung chung mà chúng ta có thể chuyển hướng các câu hỏi thuộc loại "tại sao mạng lưới thần kinh của tôi không khái quát tốt?"

Trước hết, hãy đề cập đến "mạng lưới thần kinh của tôi không khái quát tốt" nghĩa là gì và sự khác biệt khi nói "mạng lưới thần kinh của tôi không hoạt động tốt" .

Khi đào tạo Mạng thần kinh, bạn liên tục đánh giá nó trên một tập hợp dữ liệu được dán nhãn gọi là tập huấn luyện . Nếu mô hình của bạn không hoạt động đúng và dường như không học được từ tập huấn luyện, bạn chưa có vấn đề khái quát hóa, thay vào đó, vui lòng tham khảo bài đăng này . Tuy nhiên, nếu mô hình của bạn là đạt được một kết quả làm việc trên tập huấn luyện, nhưng không thể thực hiện tốt trên trước dữ liệu vô hình (ví dụ như xác nhận / bộ kiểm tra), sau đó bạn làm có một vấn đề tổng quát.

Tại sao mô hình của bạn không khái quát đúng?

Phần quan trọng nhất là hiểu lý do tại sao mạng của bạn không khái quát tốt. Mô hình cao khả năng Machine Learning có khả năng ghi nhớ tập huấn luyện, có thể dẫn đến overfitting .

Quá mức là trạng thái mà một người ước tính đã bắt đầu tìm hiểu tập huấn luyện tốt đến mức nó đã bắt đầu mô hình hóa tiếng ồn trong các mẫu đào tạo (bên cạnh tất cả các mối quan hệ hữu ích).

Ví dụ, trong hình ảnh bên dưới, chúng ta có thể thấy đường màu xanh có biểu hiện quá mức rõ ràng.

Nhưng tại sao điều này là xấu?

Khi cố gắng đánh giá mô hình của chúng tôi trên dữ liệu mới, chưa từng thấy trước đây (ví dụ: xác thực / bộ kiểm tra), hiệu suất của mô hình sẽ kém hơn nhiều so với những gì chúng tôi mong đợi.

Làm thế nào để ngăn ngừa quá mức?

Trong phần đầu của bài đăng, tôi đã ngụ ý rằng sự phức tạp của mô hình của bạn là điều thực sự gây ra tình trạng thừa, vì nó cho phép mô hình trích xuất các mối quan hệ không cần thiết từ tập huấn luyện, ánh xạ tiếng ồn vốn có của nó. Cách dễ nhất để giảm quá mức là về cơ bản giới hạn khả năng của mô hình của bạn. Những kỹ thuật này được gọi là kỹ thuật chính quy .

• Thông số hình phạt định mức . Chúng thêm một thuật ngữ bổ sung cho chức năng cập nhật trọng lượng của từng mô hình, phụ thuộc vào định mức của các tham số. Mục đích của thuật ngữ này là để chống lại cập nhật thực tế (tức là giới hạn số lượng mỗi trọng lượng có thể được cập nhật). Điều này làm cho các mô hình mạnh mẽ hơn để vượt trội hơn và tiếng ồn. Ví dụ về các chính quy như vậy là các chính quy L1 và L2 , có thể tìm thấy trên các bộ hồi quy Lasso , Ridge và Elastic Net .
  Vì mỗi lớp (được kết nối đầy đủ) trong một mạng thần kinh hoạt động giống như một hồi quy tuyến tính đơn giản, chúng được sử dụng trong Mạng nơ-ron. Việc sử dụng phổ biến nhất là thường xuyên hóa từng lớp riêng lẻ.
  máy ảnh thực hiện .

• Dừng sớm . Kỹ thuật này cố gắng ngăn chặn giai đoạn đào tạo của người ước tính sớm, tại thời điểm mà nó đã học cách trích xuất tất cả các mối quan hệ có ý nghĩa từ dữ liệu, trước khi bắt đầu mô hình hóa tiếng ồn của nó. Này được thực hiện bằng cách theo dõi sự rụng xác nhận (hoặc một số liệu xác nhận lựa chọn của bạn) và chấm dứt giai đoạn đào tạo khi số liệu này dừng cải thiện . Bằng cách này, chúng tôi cung cấp cho người ước tính đủ thời gian để tìm hiểu thông tin hữu ích nhưng không đủ để học từ tiếng ồn.
  máy ảnh thực hiện .

• Mạng lưới thần kinh cụ thể hóa. Một số ví dụ:
  • Bỏ học . Bỏ học là một kỹ thuật thú vị hoạt động tốt đáng ngạc nhiên. Bỏ học được áp dụng giữa hai lớp liên tiếp trong một mạng. Ở mỗi lần lặp, một tỷ lệ phần trăm xác định của các kết nối (được chọn ngẫu nhiên), kết nối hai lớp sẽ bị loại bỏ . Điều này gây ra lớp tiếp theo dựa trên tất cả các kết nối của nó với lớp trước.
    thực hiện máy ảnh
  • Học chuyển . Điều này đặc biệt được sử dụng trong Deep Learning. Điều này được thực hiện bằng cách khởi tạo các trọng số của mạng của bạn với các trọng số của mạng khác có cùng kiến ​​trúc được đào tạo trước trên một tập dữ liệu chung lớn.
  • Những thứ khác có thể hạn chế quá mức trong Mạng lưới thần kinh sâu là: Chuẩn hóa hàng loạt , có thể hoạt động như một bộ điều chỉnh và trong một số trường hợp (ví dụ mô-đun khởi động) hoạt động cũng như bỏ học; các lô có kích thước tương đối nhỏ trong SGD, cũng có thể ngăn ngừa quá mức; thêm tiếng ồn ngẫu nhiên nhỏ vào trọng lượng trong các lớp ẩn.

Một cách khác để ngăn chặn quá mức, bên cạnh việc giới hạn khả năng của mô hình, là bằng cách cải thiện chất lượng dữ liệu của bạn. Sự lựa chọn rõ ràng nhất sẽ là loại bỏ nhiễu / nhiễu , tuy nhiên trong thực tế tính hữu dụng của chúng bị hạn chế. Một cách phổ biến hơn (đặc biệt là trong các tác vụ liên quan đến hình ảnh) là tăng dữ liệu . Ở đây, chúng tôi cố gắng chuyển đổi ngẫu nhiên các ví dụ đào tạo để trong khi chúng có vẻ khác với mô hình, chúng truyền tải cùng một thông tin ngữ nghĩa (ví dụ lật trái phải trên hình ảnh).
Tổng quan về tăng dữ liệu

Gợi ý thực tế:

• Cho đến nay, kỹ thuật chính quy hóa hiệu quả nhất là bỏ học , nghĩa là nó nên là lần đầu tiên bạn nên sử dụng. Tuy nhiên, bạn không cần (và có lẽ không nên) bỏ học ở mọi nơi! Các lớp dễ bị quá mức nhất là các lớp được kết nối đầy đủ (FC), vì chúng chứa nhiều tham số nhất. Bỏ học nên được áp dụng cho các lớp này (tác động đến các kết nối của chúng đến lớp tiếp theo).
• Chuẩn hóa hàng loạt , bên cạnh việc có hiệu ứng chính quy hóa hỗ trợ mô hình của bạn theo một số cách khác (ví dụ: tăng tốc độ hội tụ, cho phép sử dụng tỷ lệ học tập cao hơn). Nó cũng nên được sử dụng trong các lớp FC.
• Như đã đề cập trước đây, cũng có thể có lợi khi dừng mô hình của bạn sớm hơn trong giai đoạn đào tạo so với lịch trình. Vấn đề với việc dừng sớm là không có gì đảm bảo rằng, tại bất kỳ thời điểm nào, mô hình sẽ không bắt đầu cải thiện trở lại. Một cách tiếp cận thực tế hơn là dừng sớm là lưu trữ các trọng số của mô hình đạt được hiệu suất tốt nhất trên bộ xác nhận hợp lệ. Tuy nhiên, hãy thận trọng vì đây không phải là ước tính không thiên vị về hiệu suất của mô hình của bạn (chỉ tốt hơn so với tập huấn luyện). Bạn cũng có thể overfit trên bộ xác nhận. Thêm về điều đó sau.
  thực hiện máy ảnh
• Trong một số ứng dụng (ví dụ: các tác vụ liên quan đến hình ảnh), rất nên theo kiến ​​trúc đã được thiết lập (ví dụ VGG, ResNet, Inception), mà bạn có thể tìm thấy trọng lượng ImageNet. Bản chất chung của bộ dữ liệu này, cho phép các tính năng lần lượt đủ chung để được sử dụng cho bất kỳ tác vụ liên quan đến hình ảnh nào. Bên cạnh đó là mạnh mẽ để quá mức điều này sẽ làm giảm đáng kể thời gian đào tạo.
  Một cách sử dụng khác của khái niệm tương tự là như sau: nếu nhiệm vụ của bạn không có nhiều dữ liệu, nhưng bạn có thể tìm thấy một nhiệm vụ tương tự khác, bạn có thể sử dụng học chuyển để giảm quá mức. Trước tiên, đào tạo mạng của bạn cho tác vụ có bộ dữ liệu lớn hơn và sau đó cố gắng tinh chỉnhmô hình cho một trong những bạn muốn ban đầu. Việc đào tạo ban đầu, trong hầu hết các trường hợp, sẽ làm cho mô hình của bạn mạnh mẽ hơn để vượt quá.
• Tăng dữ liệu . Mặc dù nó luôn giúp có một bộ dữ liệu lớn hơn, các kỹ thuật tăng dữ liệu có những thiếu sót. Cụ thể hơn, bạn phải cẩn thận không tăng quá mạnh , vì điều này có thể làm hỏng nội dung ngữ nghĩa của dữ liệu. Ví dụ: trong tăng cường hình ảnh nếu bạn dịch / dịch chuyển / chia tỷ lệ hoặc điều chỉnh độ sáng / độ tương phản của hình ảnh quá nhiều, bạn sẽ mất nhiều thông tin chứa trong đó. Hơn nữa, các kế hoạch tăng cường cần được thực hiện cho từng nhiệm vụ theo kiểu đặc biệt (ví dụ: trong nhận dạng chữ số viết tay, các chữ số thường được căn chỉnh và không nên xoay quá nhiều; chúng cũng không nên được lật theo bất kỳ hướng nào, vì chúng không theo chiều ngang / chiều dọc. Đối với hình ảnh y tế cũng vậy.
  $0$

Có rất nhiều bằng chứng thực nghiệm cho thấy mạng lưới thần kinh đủ sâu có thể ghi nhớ các nhãn ngẫu nhiên trên các bộ dữ liệu khổng lồ (Chiyuan Zhang, Samy Bengio, Moritz Hardt, Benjamin Recht, Oriol Vinyals, "Hiểu sâu về học tập đòi hỏi phải suy nghĩ lại về khái quát hóa"). Do đó, về nguyên tắc bằng cách có được một NN đủ lớn, chúng ta luôn có thể giảm sai số đào tạo xuống các giá trị cực kỳ nhỏ, bị giới hạn trong thực tế bởi độ chính xác bằng số, cho dù nhiệm vụ có vô nghĩa đến mức nào.

Mọi thứ khá khác nhau đối với lỗi tổng quát hóa . Chúng tôi không thể chắc chắn rằng đối với mỗi vấn đề học tập, tồn tại một mô hình NN có thể học được có thể tạo ra lỗi tổng quát hóa thấp như mong muốn. Vì lý do này, bước đầu tiên là

1. Đặt kỳ vọng của bạn một cách chính xác

Tìm một tài liệu tham khảo có uy tín cho bạn biết rằng có một kiến ​​trúc có thể gặp phải lỗi tổng quát hóa mà bạn đang tìm kiếm, trên tập dữ liệu của bạn hoặc trên một tài liệu tương tự nhất mà bạn có thể tìm thấy tài liệu tham khảo. Ví dụ, nhìn vào đây

Các mạng lưới thần kinh tích chập hiện đại là gì?

để tìm hiệu suất hiện tại (tại thời điểm trả lời) SOTA (State Of The Art) cho các CNN trên các nhiệm vụ khác nhau. Bạn nên thử tái tạo các kết quả như vậy trên các tập dữ liệu tham chiếu này, trước khi bạn tập luyện trên tập dữ liệu của riêng mình, như một bài kiểm tra rằng tất cả cơ sở hạ tầng của bạn đã được đặt đúng chỗ.

2. Hãy chắc chắn rằng quy trình đào tạo của bạn là hoàn hảo

Tất cả các kiểm tra được mô tả trong các câu trả lời cho câu hỏi

Tôi nên làm gì khi mạng lưới thần kinh của tôi không học?

để đảm bảo rằng quy trình đào tạo của bạn ổn, là điều kiện tiên quyết để giảm thành công lỗi tổng quát hóa (nếu NN của bạn không học, nó không thể học cách khái quát hóa). Những kiểm tra này bao gồm, trong số những thứ khác:

• kiểm tra đơn vị
• kiểm tra tập dữ liệu (xem xét một vài mẫu đầu vào / nhãn ngẫu nhiên cho cả tập huấn luyện và tập kiểm tra và kiểm tra xem các nhãn có đúng không, kiểm tra độ rộng và kích thước của hình ảnh đầu vào; xáo trộn các mẫu trong tập huấn / kiểm tra và xem nó có ảnh hưởng không kết quả, v.v.)
• xét nghiệm ngẫu nhiên
• chuẩn hóa các phiên bản tiền xử lý và gói của bạn
• giữ một cuốn nhật ký thí nghiệm số

3. Cố gắng để có được siêu năng lực

Sự hội tụ siêu cấp: Đào tạo rất nhanh các mạng lưới thần kinh bằng cách sử dụng tốc độ học tập lớn của Leslie N. Smith và Nicholay Topin cho thấy trong một số trường hợp, sự kết hợp giữa tốc độ học tập lớn với phương pháp học tập theo chu kỳ của Leslie N. Smith hoạt động như một người bình thường , tăng tốc độ hội tụ theo một trật tự cường độ và giảm nhu cầu chính quy hóa rộng rãi. Vì vậy, đây là một điều tốt để thử trước

4. Đặt mức độ chính quy của bạn thành MAXXX

Chính quy hóa thường làm tăng thời gian đào tạo (xấu), tăng lỗi đào tạo và giảm lỗi tổng quát hóa (tốt), nhưng quá nhiều chính quy có thể thực sự làm tăng cả hai lỗi (thiếu). Vì lý do này và vì thời gian đào tạo tăng lên, nên thường xuyên giới thiệu các kỹ thuật chính quy hóa khác nhau cùng một lúc, sau khi bạn quản lý thành công để phù hợp với tập huấn luyện. Lưu ý rằng chính nó không nhất thiết ngụ ý lỗi tổng quát hóa của bạn sẽ nhỏ hơn: mô hình phải có công suất đủ lớn để đạt được các đặc tính tổng quát hóa tốt. Điều này thường có nghĩa là bạn cần một mạng lưới đủ sâu, trước khi bạn có thể thấy những lợi ích của việc chính quy hóa.

Các phương pháp chính quy lâu đời nhất có lẽ là dừng sớm và giảm cân. Một số người khác:

• $m=16$
• sử dụng SGD thay vì tối ưu hóa thích ứng: điều này đã được @shimao trình bày, do đó tôi chỉ đề cập đến nó vì mục đích hoàn chỉnh
• sử dụng bỏ học: nếu bạn sử dụng LSTM, chỉ sử dụng bỏ học tiêu chuẩn cho các đơn vị đầu vào và đầu ra của lớp LSTM. Đối với các đơn vị định kỳ (cổng) sử dụng bỏ học định kỳ, như lần đầu tiên được hiển thị bởi Yarin Gal trong Ph.D. luận án . Tuy nhiên, nếu bạn sử dụng CNN, việc bỏ học được sử dụng ít thường xuyên hơn bây giờ. Thay vào đó, bạn có xu hướng
• ... sử dụng chuẩn hóa hàng loạt: các kiến ​​trúc CNN gần đây nhất bỏ qua eschew để ủng hộ chuẩn hóa hàng loạt. Đây có thể chỉ là một mốt nhất thời, hoặc có thể là do thực tế là dường như bỏ học và bình thường hóa hàng loạt không chơi tốt với nhau (Xiang Li, Shuo Chen, Xiaolin Hu, Jian Yang, Hiểu về sự bất hòa giữa Dropout và Batch bình thường hóa bởi phương sai Thay đổi ). Vì định mức hàng loạt có hiệu quả hơn so với bỏ học khi bạn có bộ dữ liệu khổng lồ, đây có thể là một lý do khiến việc bỏ học không được ưa chuộng đối với các kiến ​​trúc CNN. Nếu bạn sử dụng chuẩn hóa hàng loạt, hãy xác minh rằng phân phối trọng số và độ lệch cho mỗi lớp trông xấp xỉ tiêu chuẩn bình thường. Đối với RNN, việc thực hiện định mức lô rất phức tạp: bình thường hóa trọng lượng (Tim Salimans, Diederik P. Kingma,Bình thường hóa trọng lượng: Một thông số hóa đơn giản để tăng tốc đào tạo mạng lưới thần kinh sâu ) là một sự thay thế khả thi.
• sử dụng dữ liệu tăng cường: nó cũng có tác dụng thường xuyên.

5. Tìm kiếm siêu tham số / kiến ​​trúc

Nếu không có gì khác giúp bạn, bạn sẽ phải kiểm tra nhiều cài đặt siêu tham số khác nhau (Tối ưu hóa Bayes có thể giúp ở đây) hoặc nhiều thay đổi kiến ​​trúc khác nhau (ví dụ: có thể trong kiến ​​trúc GAN của bạn và đối với tập dữ liệu bạn đang làm việc, chỉ tiêu theo lô chỉ hoạt động trong máy phát điện, nhưng khi thêm vào bộ phân biệt đối xử quá nó làm cho mọi thứ tồi tệ hơn). Hãy chắc chắn để theo dõi kết quả của các thí nghiệm dài và nhàm chán này trong một nhật ký được sắp xếp tốt.

PS cho một GAN không có ý nghĩa gì khi nói về lỗi tổng quát hóa: ví dụ trên chỉ có ý nghĩa như một dấu hiệu cho thấy vẫn còn rất nhiều thuật giả kim trong Deep Learning và đôi khi bạn sẽ làm việc tốt, đôi khi không 'hoặc ngược lại, một cái gì đó hoạt động tốt nhiều lần, đột nhiên thèm muốn bạn lấy một bộ dữ liệu mới.

Một danh sách các kỹ thuật chính quy thường được sử dụng mà tôi đã thấy trong tài liệu là:

1. Sử dụng chuẩn hóa hàng loạt, đó là một công cụ thường xuyên hiệu quả đáng ngạc nhiên đến mức tôi hiếm khi thấy bỏ học được sử dụng nữa, vì đơn giản là không cần thiết.
2. Một lượng nhỏ giảm cân.
3. Một số kỹ thuật chính quy hóa gần đây bao gồm Shake-Shake ("Shake-Shake normalization" của Xavier Gastaldi) và Cutout ("Cải thiện chính quy hóa mạng lưới thần kinh chuyển đổi với cắt bỏ" của Terrance DeVries và Graham W. Taylor). Đặc biệt, việc dễ dàng thực hiện Cutout khiến nó trở nên rất hấp dẫn. Tôi tin rằng những công việc này tốt hơn so với bỏ học - nhưng tôi không chắc chắn.
4. Nếu có thể, thích các kiến ​​trúc tích chập hoàn toàn cho các kiến ​​trúc với các lớp được kết nối đầy đủ. So sánh VGG-16, có 100 triệu tham số trong một lớp được kết nối đầy đủ, với Resnet-152, có số lượng lớp gấp 10 lần và vẫn còn ít tham số hơn.
5. Thích SGD hơn các tối ưu hóa khác như Rmsprop và Adam. Nó đã được hiển thị để khái quát tốt hơn. ("Cải thiện hiệu suất khái quát hóa bằng cách chuyển từ Adam sang SGD" của Nitish Shirish Keskar và Richard Socher)

Tôi cảm thấy như Djib2011, đưa ra những quan điểm tuyệt vời về các phương thức tự động, nhưng chúng không thực sự giải quyết được vấn đề cơ bản về việc làm thế nào để chúng ta biết liệu phương pháp được sử dụng để giảm quá mức đã làm công việc của nó. Vì vậy, như một chú thích quan trọng cho câu trả lời của DeltaIV, tôi muốn đưa nó vào dựa trên nghiên cứu gần đây trong 2 năm qua. Quá mức cho các mạng thần kinh không chỉ là về mô hình ghi nhớ quá mức, mà còn về các mô hình không có khả năng học những điều mới hoặc đối phó với sự bất thường.

Phát hiện quá mức trong mô hình hộp đen: Khả năng diễn giải của một mô hình được gắn trực tiếp với mức độ bạn có thể nói về khả năng khái quát của mô hình. Do đó, nhiều âm mưu có thể hiểu được là các phương pháp phát hiện quá mức và có thể cho bạn biết bất kỳ phương pháp nào được đề xuất ở trên đang hoạt động tốt như thế nào. Các ô có thể giải thích trực tiếp phát hiện ra nó đặc biệt nếu bạn so sánh các ô xác nhận và các kết quả kiểm tra. Chương 5 và 6 của cuốn sách chưa xuất bản này nói về những tiến bộ gần đây trong việc phát hiện trường quá mức: Mô hình hóa có thể giải thích được

Dựa trên cuốn sách này, tôi muốn đề cập đến ba phương pháp khác để phát hiện và loại bỏ quá mức, điều này có thể rõ ràng đối với một số người, nhưng cá nhân tôi thấy rằng mọi người quên những điều này quá thường xuyên. Vì vậy, tôi muốn nhấn mạnh chúng nếu không phải là một ý nghĩ:

1. Phát hiện lựa chọn tính năng : Số lượng tham số càng ít và ít tính năng mô hình của bạn càng tốt. Vì vậy, nếu bạn chỉ bao gồm một trong số 100 triệu người quan trọng (có thể có 75 triệu thay thế), bạn sẽ có một mô hình khái quát tốt hơn. Vấn đề là nhiều mạng thần kinh không hoàn hảo trong việc lựa chọn tính năng, đặc biệt là khi số 2 có mặt. Bootstrap hoặc Boosting về cơ bản không thể sửa cả hai (chỉ có một phiên bản gọi là bootstrap hoang dã). Nói một cách đơn giản hơn, nếu bạn cung cấp cho bạn dữ liệu rác mạng thần kinh thì nó sẽ cung cấp cho bạn rác. (Chuẩn hóa L2 được đề cập ở trên là rất tốt để giúp với điều này)

2. Phát hiện và đối phó với sự bất thường: Càng ít "ngoại lệ" thì mô hình càng khái quát. Theo "ngoại lệ", chúng tôi không có nghĩa là chỉ là ngoại lệ trong dữ liệu. Các ngoại lệ trong dữ liệu (như loại bạn thấy với biểu đồ hình hộp) là một định nghĩa quá hẹp đối với các mạng thần kinh. Bạn cũng cần xem xét các ngoại lệ trong lỗi trong một mô hình, được gọi là ảnh hưởng, cũng như các bất thường khác. Vì vậy, việc phát hiện sự bất thường trước khi bạn chạy mạng là điều quan trọng. Một mạng lưới thần kinh có thể mạnh mẽ chống lại một loại dị thường, nhưng mạnh mẽ không chống lại tất cả các loại khác. Các phương thức Ví dụ truy cập, phương pháp phê bình và phương pháp ví dụ đối thủ và sơ đồ ảnh hưởng rất tốt trong việc giúp bạn khám phá các ngoại lệ, sau đó tìm ra cách đưa chúng vào. (Tức là thay đổi tham số hoặc thậm chí xóa một số dữ liệu)

3. Lấy mẫu phân tầng, Lấy mẫu quá mức và Lấy mẫu dựa trên các cân nhắc về thống kê hoặc đạo đức : Tôi ước tôi là một chuyên gia về dưới và quá mức, nhưng tôi không biết nhưng tôi biết về lấy mẫu phân tầng. Phân cụm các yếu tố quan trọng như (chủng tộc, giới tính, giới tính) và sau đó thực hiện lấy mẫu phân tầng theo cụm là rất quan trọng để không quá phù hợp khi người ta xem xét dữ liệu lớn. Khi thực hiện phát hiện hình ảnh, lấy mẫu phân tầng kết hợp với phân cụm là bắt buộc về mặt pháp lý trong một số lĩnh vực để tránh phân biệt chủng tộc. Cuốn sách được liên kết ở trên nói ngắn gọn về một phương pháp để làm điều này.

PS Tôi có nên bao gồm nhiều liên kết hơn?