Làm nhiều lớp đối tượng tăng hoặc giảm độ chính xác của phát hiện đối tượng

Giả sử bạn có bộ dữ liệu phát hiện đối tượng (ví dụ: MS COCO hoặc Pascal VOC) với hình ảnh N trong đó các lớp đối tượng k đã được dán nhãn. Bạn huấn luyện một mạng lưới thần kinh (ví dụ: Faster-RCNN hoặc YOLO) và đo lường độ chính xác (ví dụ: IOU@0.5).

Bây giờ bạn giới thiệu x các lớp đối tượng bổ sung và thêm các nhãn tương ứng vào tập dữ liệu ban đầu của bạn, cung cấp cho bạn một tập dữ liệu với hình ảnh N trong đó các lớp đối tượng k + x đã được labeld.

Độ chính xác của mạng được đào tạo sẽ tăng hay giảm?

Để cụ thể hơn, chúng tôi có một bộ dữ liệu ký hiệu giao thông với khoảng 20 lớp đối tượng. Bây giờ chúng tôi đang suy nghĩ về việc thêm các lớp ký hiệu lưu lượng truy cập bổ sung (gắn nhãn các lớp mới, mà không thêm hình ảnh mới hoặc thay đổi kiến ​​trúc mạng của chúng tôi) và chúng tôi tự hỏi liệu điều này sẽ làm tăng hiệu suất giảm.

Một mặt tôi nghĩ rằng nhiều lớp đối tượng sẽ làm cho sự phân biệt giữa các lớp khó hơn. Ngoài ra, một mạng lưới thần kinh chỉ có thể chứa một lượng thông tin hạn chế, có nghĩa là nếu số lượng lớp trở nên rất lớn thì có thể không đủ trọng lượng để đối phó với tất cả các lớp.

Mặt khác, nhiều lớp đối tượng hơn có nghĩa là nhiều nhãn hơn có thể giúp mạng lưới thần kinh. Ngoài ra, chuyển hiệu ứng học tập giữa các lớp có thể làm tăng độ chính xác của mạng.

Theo tôi nên có một số điểm ngọt ngào cho mỗi kiến ​​trúc mạng nhưng tôi không thể tìm thấy bất kỳ tài liệu, nghiên cứu hoặc thí nghiệm nào về chủ đề này.

Hành vi phân loại cụ thể sẽ phụ thuộc vào hình thức mô hình cụ thể theo phương pháp phân loại. Đáp ứng chính xác của một mô hình cho các lớp đối tượng bổ sung có thể được suy ra bằng toán học trong các trường hợp cụ thể, mặc dù điều này có thể phức tạp. Vì bạn chưa đưa ra chi tiết về một phương thức cụ thể, tôi sẽ giả định rằng bạn quan tâm nhiều hơn đến phản ứng chung của các mô hình phân loại để thêm hoặc xóa các lớp đối tượng. Để trả lời điều này, tôi sẽ cung cấp một lời giải thích trực quan về những gì bạn nên mong đợi trong một mô hình hợp lý của loại tình huống này. Trong phạm vi mà mô hình khởi hành từ kết quả trực quan này, trong điều kiện rộng, tôi coi đó là một thiếu sót. Do đó, tôi coi các phản ứng sau đây là một desideratum cho một hệ thống dự đoán đối tượng.

---

Dự đoán trong một mô hình với các lớp đối tượng tùy ý: Để giúp phân tích vấn đề này, giả sử bạn có$N$ hình ảnh của các biển báo đường phố (hoặc bất cứ thứ gì khác) mà mỗi cái là một $m$các loại. Không mất tính tổng quát, hãy để$\theta_1, ..., \theta_N \in \mathscr{M} \equiv \{ 1, 2, ..., m \}$là loại thực sự của các đối tượng mà bạn đang cố gắng phân loại, với$\mathscr{M}$là các loại đối tượng thực sự. Giả sử bạn áp đặt một hệ thống phát hiện phân loại từng hình ảnh thành các loại trong tập hữu hạn$\mathscr{S} \subset \mathbb{N}$, nơi chúng tôi lưu ý rằng $\mathscr{S}$ có thể bao gồm các nhãn trong $\mathscr{M}$, nhưng nó cũng có thể bao gồm các giá trị không có trong bộ này (nghĩa là có thể hệ thống phát hiện của bạn có thể đang cố gắng tìm các loại đối tượng không có ở đó).

Một hệ thống phát hiện loại này xem xét dữ liệu hình ảnh từ mỗi hình ảnh và sử dụng dữ liệu này để phân loại từng hình ảnh thành một loại ước tính, dựa trên các loại cho phép trong mô hình. Nói chung, điều này có thể được mô tả bởi các thành phần sau:

$$\begin{matrix} \text{Data} & & & & & \text{Model Types} & & & & & \text{Estimates} \\ x_1, ..., x_N & & & & & \mathscr{S} & & & & & \hat{\theta}_1, ..., \hat{\theta}_N \in \mathscr{S} \end{matrix}$$

Xác suất phân loại hình ảnh chính xác $i$ cho một mô hình với các loại $\mathscr{S}$ Là:

$$p_i(\mathscr{S}) \equiv \mathbb{P}(\hat{\theta}_i = \theta_i | \mathbf{x}, \mathscr{S}) = \sum_{s \in \mathscr{M} \ \cap \ \mathscr{S}} \mathbb{P}(\hat{\theta}_i = s | \mathbf{x}, \mathscr{S}) \mathbb{I}(\theta_i = s ).$$

Các yếu tố của tổng kết sau phải tuân theo ràng buộc xác suất:

$$\sum_{s \in \mathscr{M} \ \cap \ \mathscr{S}} \mathbb{P}(\hat{\theta}_i = s | \mathbf{x}, \mathscr{S}) = 1.$$

Bây giờ, rõ ràng nếu $\theta_i \notin\mathscr{S}$ sau đó chúng tôi có $p_i(\mathscr{S}) = 0$, vì loại đối tượng thực sự không được bao gồm trong mô hình. Do đó, nếu có các yếu tố của$\mathscr{M}$ không có trong $\mathscr{S}$, điều này sẽ dẫn đến việc không thể xác định chính xác các loại phần tử bị thiếu này. Mặt khác, nếu chúng ta loại trừ một yếu tố khỏi tập hợp$\mathscr{S}$sau đó, ceteris paribus , điều này sẽ tăng xác suất dự đoán của các loại đối tượng còn lại, vì xác suất dự đoán phải tổng hợp thành một. Do đó, việc loại trừ một loại đối tượng sẽ có xu hướng nâng cao xác suất dự đoán cho các loại đối tượng khác, điều này làm tăng xác suất dự đoán chính xác cho các loại đối tượng thực sự nằm trong$\mathscr{S}$.

Phân tích chi tiết hơn sẽ cần thiết lập kết nối giữa dữ liệu $\mathbf{x}$và các dự đoán đối tượng. Chúng tôi sẽ không đi vào chi tiết về chủ đề đó ở đây, vì mô hình cụ thể là không xác định. Tuy nhiên, chúng ta có thể coi nó như một đặc tính chung của các mô hình dự đoán rằng chúng sẽ có xu hướng khó khăn hơn trong việc phân biệt các loại đối tượng trông giống nhau và sẽ có xu hướng ít khác biệt hơn so với các loại đối tượng trông giống nhau . Do đó, loại trừ một loại đối tượng khỏi tập hợp$\mathscr{S}$ sẽ có xu hướng tăng xác suất dự đoán các loại đối tượng khác trong tập hợp này trông giống với đối tượng bị loại trừ này, trong trường hợp dữ liệu có lợi cho một trong các loại này.

---

Giải trình trên được thiết kế để đưa ra một số hướng dẫn chung, nhấn mạnh ràng buộc xác suất trong dự đoán và cách điều này tác động đến xác suất dự đoán chính xác. Điều này dẫn đến các nguyên tắc chung sau đây của mô hình phân loại được xây dựng hợp lý. Ceteris paribus , sau đây nên giữ (ít nhất là khoảng):

• Nếu một loại đối tượng thực sự bị loại khỏi mô hình phân loại, điều này sẽ làm giảm xác suất dự đoán đúng của loại đối tượng đó về 0, nhưng nó sẽ có xu hướng tăng xác suất dự đoán đúng cho các loại đối tượng khác (đặc biệt là các loại đối tượng trông như thế này loại trừ);

• Nếu một loại đối tượng thực sự được thêm vào mô hình phân loại, điều này sẽ cho phép mô hình có xác suất dự đoán chính xác của loại đối tượng đó, nhưng nó sẽ có xu hướng giảm xác suất dự đoán đúng cho các loại đối tượng khác (đặc biệt là đối tượng loại trông giống như loại được thêm vào);

• Nếu một loại đối tượng sai được loại trừ khỏi mô hình phân loại, điều này sẽ có xu hướng tăng xác suất dự đoán đúng cho tất cả các loại đối tượng thực (đặc biệt là các loại đối tượng trông giống như loại bị loại trừ này); và

• Nếu một loại đối tượng sai được thêm vào mô hình phân loại, điều này sẽ có xu hướng giảm xác suất dự đoán đúng cho tất cả các loại đối tượng thực (đặc biệt là các loại đối tượng trông giống như loại được thêm vào).

Những nguyên tắc chung này có thể có một số ngoại lệ bệnh lý trong các mô hình cụ thể, trong trường hợp có đa cộng tuyến phức tạp giữa các hình ảnh. Tuy nhiên, họ nên giữ các quy tắc chung sẽ xuất hiện trong các mô hình hoạt động tốt trong các điều kiện rộng.

Dưới đây là một phân tích lý thuyết chi tiết về chủ đề này. https://arxiv.org/pdf/1506.01567.pdf .

Tôi nghĩ rằng điều đó phụ thuộc vào vấn đề cụ thể và mô hình. Các đề xuất toán học của câu trả lời ở trên chỉ có thể được nói về các mô hình thống kê chung. Trong một dữ liệu hình ảnh, chúng tôi đang xem xét các kích thước rất cao và toán học ở cấp độ đó (tính phi tuyến tính cực cao của các mô hình sâu cũng được thêm vào) sẽ rất phức tạp. Điều chúng ta có thể nghĩ theo trực giác (sử dụng cách tiếp cận hàm phân biệt đối xử), là càng nhiều lớp (Cho biến thể giữa các lớp là đủ), mô hình tốt hơn sẽ có thể vẽ hàm phân biệt giữa các lớp. Vì vậy, nếu chức năng phân biệt chi tiết hơn, khả năng khái quát hóa của mô hình sẽ lớn hơn khi dự đoán một hình ảnh / ví dụ không nhìn thấy.

Hãy nghĩ về nó như là chia tay giữa các cụm dữ liệu trong một chiều rất cao. Nếu bạn có thể tách rời các cụm chính xác hơn, nhiều khả năng bạn sẽ phân loại một ví dụ / hình ảnh chưa thấy đến.

BTW, có thông báo cho chúng tôi về thử nghiệm và có tăng hay không. TIA.