Tôi đang đào tạo một mạng lưới thần kinh tích chập để phân loại hình ảnh trong điều kiện sương mù (3 lớp). Tuy nhiên, với mỗi khoảng 150.000 hình ảnh, tôi cũng có sẵn bốn biến số khí tượng có thể giúp dự đoán các lớp của hình ảnh. Tôi đã tự hỏi làm thế nào tôi có thể thêm các biến khí tượng (ví dụ nhiệt độ, tốc độ gió) vào cấu trúc CNN hiện có để nó có thể giúp phân loại.
Một cách mà tôi có thể nghĩ đến là tạo ra một mạng lưới thần kinh tiếp theo (nhỏ) khác với CNN và sau đó nối các đầu ra của các lớp CNN và các lớp ẩn của mạng lưới thần kinh không hình ảnh với nhau ở lớp dày đặc.
Cách thứ hai tôi có thể nghĩ đến là chỉ cần liên hệ các tính năng này với lớp dày đặc. Tuy nhiên, trong trường hợp này, các biến không phải hình ảnh sẽ (tôi nghĩ) chỉ có thể đưa ra dự đoán tuyến tính.
Có cách nào khác (tốt hơn) mà các tính năng không phải hình ảnh có thể được đưa vào mô hình không? Và phương pháp nào nên được xem xét khi xem xét lượng dữ liệu tôi có?
Một câu hỏi khác mà tôi có là liệu tôi có nên giải phóng các lớp chập trong khi luyện tập với các tính năng không có hình ảnh này không? Các lớp của Resnet-18 (được khởi tạo là được đào tạo trước trên ImageNet) đã được tinh chỉnh bằng cách sử dụng các hình ảnh. Tôi đoán là tôi nên giữ chúng ở trạng thái đóng băng và chỉ giải phóng lớp dày đặc vì chỉ ở đây các tính năng không phải hình ảnh mới tiếp xúc với các tính năng hình ảnh (không sớm hơn trong CNN). Nếu tôi sai về điều này, xin vui lòng nói như vậy!