Tôi có thiết lập sau đây cho dự án nghiên cứu Tài chính / Máy học tại trường đại học của mình: Tôi đang áp dụng Mạng thần kinh (Sâu) (MLP) với cấu trúc sau trong Keras / Theano để phân biệt các cổ phiếu vượt trội (nhãn 1) với các cổ phiếu hoạt động kém ( nhãn 0). Ở nơi đầu tiên tôi chỉ sử dụng bội số định giá thực tế và lịch sử. Bởi vì nó là dữ liệu chứng khoán, người ta có thể mong đợi có dữ liệu rất ồn ào. Hơn nữa, độ chính xác của mẫu trên 52% ổn định có thể được coi là tốt trong lĩnh vực này.
Cấu trúc của mạng:
- Lớp dày đặc với 30 tính năng làm đầu vào
- Kích hoạt lại
- Lớp chuẩn hóa hàng loạt (Không có điều đó, mạng hoàn toàn không hội tụ)
- Lớp bỏ học tùy chọn
- Ngu độn
- Relu
- Lô hàng
- Rơi ra ngoài
- .... Các lớp khác, với cùng cấu trúc
- Lớp dày đặc với kích hoạt Sigmoid
Trình tối ưu hóa: RMSprop
Mất chức năng: Nhị phân chéo Entropy
Điều duy nhất tôi làm để xử lý trước là thay đổi kích thước các tính năng thành phạm vi [0,1].
Bây giờ tôi đang gặp phải một vấn đề quá mức / thiếu cân bằng điển hình, mà tôi thường sẽ giải quyết với việc bỏ chuẩn hóa hạt nhân Dropout hoặc / và L1 và L2. Nhưng trong trường hợp này, cả hai quá trình chuẩn hóa Dropout và L1 và L2 đều có tác động xấu đến hiệu suất, như bạn có thể thấy trong các biểu đồ sau.
Thiết lập cơ bản của tôi là: NN 5 lớp (bao gồm lớp đầu vào và đầu ra), 60 Neuron mỗi lớp, Tỷ lệ học tập 0,02, không L1 / L2 và không bỏ học, 100 Epochs, Chuẩn hóa hàng loạt, Kích thước hàng loạt 1000. Mọi thứ đều được đào tạo 76000 mẫu đầu vào (các lớp gần như cân bằng 45% / 55%) và được áp dụng cho cùng một lượng mẫu thử. Đối với các biểu đồ tôi chỉ thay đổi một tham số tại một thời điểm. "Perf-Diff" có nghĩa là chênh lệch hiệu suất cổ phiếu trung bình của các cổ phiếu được phân loại là 1 và cổ phiếu được phân loại là 0, về cơ bản là số liệu cốt lõi ở cuối. (Cao hơn thì tốt hơn)
Trong trường hợp l1, về cơ bản, mạng sẽ phân loại mỗi mẫu thành một lớp. Sự tăng đột biến đang xảy ra do mạng đang thực hiện lại nhưng phân loại 25 mẫu chính xác một cách ngẫu nhiên. Vì vậy, sự tăng đột biến này không nên được hiểu là một kết quả tốt, mà là một ngoại lệ.
Các tham số khác có tác động sau:
Bạn có bất cứ ý tưởng làm thế nào tôi có thể cải thiện kết quả của tôi? Có một lỗi rõ ràng tôi đang làm hoặc có một câu trả lời dễ dàng cho kết quả chính quy? Bạn có đề nghị thực hiện bất kỳ loại lựa chọn tính năng nào trước khi đào tạo (ví dụ PCA) không?
Chỉnh sửa : Thông số khác:
