Nhiều mô hình học sâu tìm hiểu các tính năng của riêng họ từ dữ liệu đầu vào thô trong quá trình đào tạo (ví dụ: Mạng thần kinh chuyển đổi 2D cho hình ảnh). Vì vậy, trong nhiều trường hợp, bạn thậm chí không phải lo lắng về việc chuyển các biến rõ ràng cho mô hình của mình. Trong một số trường hợp khác, bạn vẫn cần các tính năng, nhưng chỉ các tính năng cốt lõi (ví dụ: các từ trong NLP). Các tính năng này được biểu diễn dưới dạng vectơ trong một không gian nhúng có thể thu được sự tương đồng (ví dụ: 'tổng thống' gần với 'Obama'). Không gian nhúng hoặc xuất phát từ đào tạo trước không được giám sát (word2vec, găng tay) hoặc được khởi tạo ngẫu nhiên, và các vectơ được điều chỉnh trong quá trình đào tạo thông qua backpropagation. Kiến trúc của mạng chịu trách nhiệm tìm hiểu các kết hợp tính năng, như sự khác biệt giữa 'không tệ, khá tốt' và 'không tốt,
Đoạn 'Kết hợp tính năng' của Phần 3 của Goldberg, Y. (2015). Một mồi trên các mô hình mạng thần kinh để xử lý ngôn ngữ tự nhiên. Tạp chí nghiên cứu trí tuệ nhân tạo, 57, 345-420. giải thích rất rõ điều này (tôi thực sự khuyên bạn nên đọc toàn bộ Phần 3, thật tuyệt vời):
Các tính năng kết hợp rất quan trọng trong các mô hình tuyến tính vì chúng giới thiệu nhiều kích thước hơn cho đầu vào, biến nó thành một không gian nơi các điểm dữ liệu gần hơn để có thể phân tách tuyến tính. Mặt khác, không gian của các kết hợp có thể rất lớn và nhà thiết kế tính năng phải dành nhiều thời gian để đưa ra một bộ kết hợp tính năng hiệu quả. Một trong những lời hứa của các mô hình mạng nơ ron phi tuyến tính là người ta chỉ cần xác định các tính năng cốt lõi. Tính phi tuyến tính của bộ phân loại, như được định nghĩa bởi cấu trúc mạng, dự kiến sẽ đảm nhiệm việc tìm kiếm các kết hợp tính năng chỉ định, giảm bớt sự cần thiết của kỹ thuật kết hợp tính năng.