Làm thế nào để mã hóa một lớp với 24.000 danh mục?

Tôi hiện đang làm việc trên một mô hình hồi quy logistic cho bộ gen. Một trong những trường đầu vào tôi muốn đưa vào dưới dạng đồng biến là genes. Có khoảng 24.000 gen được biết đến. Có nhiều tính năng với mức độ biến đổi này trong sinh học tính toán và cần hàng trăm ngàn mẫu.

• Nếu tôi là LabelEncoder()những gen 24K
• và sau đó OneHotEncoder()họ ...

Là 24.000 cột sẽ làm cho thời gian đào tạo máy ảnh của tôi không hợp lý cho CPU i7 lõi ​​tứ 2,2 GHz?

Nếu vậy, có một cách tiếp cận khác để mã hóa mà tôi có thể thực hiện với điều này?

Tôi có nên bằng cách nào đó cố gắng dành một lớp mô hình của tôi cho tính năng này?

Điều này có nghĩa là tôi cần các nút đầu vào 24K?

Có, sử dụng mã hóa một nóng trên các tính năng 24k yêu cầu các nút đầu vào 24k. Tuy nhiên, đây không phải là một vấn đề đối với Keras (hoặc bất kỳ thư viện học sâu nào khác). Xử lý ngôn ngữ tự nhiên thường sử dụng mã hóa một lần nóng cho các từ có kích thước từ vựng trong cùng một sân bóng.

Nếu bạn đang sử dụng mô hình "sâu", một trong các lớp ẩn của bạn sẽ đảm nhiệm việc giảm tính chiều của dữ liệu của bạn. Một bước tiền xử lý riêng thường không cần thiết.

Thời gian đào tạo không nên vô lý.

Thực thể nhúng cho các biến phân loại ( máy nhắn tin gốc ) sẽ là một cách tiếp cận rất phù hợp ở đây. Đọc trên đây , hoặc ở đây . Tôi thực sự đã đặt các đoạn mã từ đây và ở đó và thực hiện chạy hoàn chỉnh, xem git repo này. Điều này dễ dàng xử lý các biến phân loại hồng y rất cao bằng cách sử dụng các mạng thần kinh. Tôi sẽ không liệt kê ưu và nhược điểm của OHE, bạn chỉ Google nó, nhưng một trong những nhược điểm chính của nó là đặc biệt. khi có một biến phân loại hồng y rất cao thì nó sẽ tăng mạnh không gian tính năng của bạn một cách không cần thiết, theo tôi không phải là lý tưởng. Và quan trọng hơn là OHE, theo hiểu biết của tôi, không tính đến mối quan hệ ngữ nghĩa giữa các danh mục nếu tồn tại một mối quan hệ như vậy! Tuy nhiên, Entity Nhúng là một khái niệm cho Word Nhúng trong NLP, các trọng số đang được học để mã hóa các danh mục có thể có khả năng nắm bắt các mối quan hệ nội bộ.

Nói chung, số lượng gen đó nên được giảm xuống thành tập hợp các tính năng có ý nghĩa nhỏ hơn nhiều. Sau đó, bộ tính năng giảm có thể được sử dụng trong mô hình. Ví dụ, Phân tích thành phần chính (PCA) là một trong những kỹ thuật khử phổ biến nhất và đã được sử dụng cho dữ liệu biểu hiện gen .

" Học máy để tích hợp dữ liệu trong sinh học và y học: Nguyên tắc, thực hành và cơ hội" của Zitnika et al. bao gồm một loạt các kỹ thuật kỹ thuật tính năng cho gen.