Một cách để huấn luyện Hồi quy logistic là sử dụng phương pháp giảm độ dốc ngẫu nhiên, mà scikit-learn cung cấp giao diện.
Những gì tôi muốn làm là lấy một scikit-học của SGDClassifier và có nó ghi bàn giống như một Logistic Regression đây . Tuy nhiên, tôi phải thiếu một số cải tiến về máy học, vì điểm của tôi không tương đương.
Đây là mã hiện tại của tôi. Tôi còn thiếu gì trên SGDClassifier mà nó sẽ tạo ra kết quả tương tự như hồi quy logistic?
from sklearn import datasets
from sklearn.linear_model import LogisticRegression
from sklearn.linear_model import SGDClassifier
import numpy as np
import pandas as pd
from sklearn.cross_validation import KFold
from sklearn.metrics import accuracy_score
# Note that the iris dataset is available in sklearn by default.
# This data is also conveniently preprocessed.
iris = datasets.load_iris()
X = iris["data"]
Y = iris["target"]
numFolds = 10
kf = KFold(len(X), numFolds, shuffle=True)
# These are "Class objects". For each Class, find the AUC through
# 10 fold cross validation.
Models = [LogisticRegression, SGDClassifier]
params = [{}, {"loss": "log", "penalty": "l2"}]
for param, Model in zip(params, Models):
total = 0
for train_indices, test_indices in kf:
train_X = X[train_indices, :]; train_Y = Y[train_indices]
test_X = X[test_indices, :]; test_Y = Y[test_indices]
reg = Model(**param)
reg.fit(train_X, train_Y)
predictions = reg.predict(test_X)
total += accuracy_score(test_Y, predictions)
accuracy = total / numFolds
print "Accuracy score of {0}: {1}".format(Model.__name__, accuracy)
Đầu ra của tôi:
Accuracy score of LogisticRegression: 0.946666666667
Accuracy score of SGDClassifier: 0.76
3
Một câu hỏi và một quan sát: độ chính xác của SGD ổn định như thế nào trên các lần chạy lặp lại? hai thuật toán không tương đương và sẽ không nhất thiết tạo ra độ chính xác như nhau cho cùng một dữ liệu. Thực tế, bạn có thể thử thay đổi kỷ nguyên và hoặc tỷ lệ học tập cho SGD. Ngoài ra, bạn có thể thử bình thường hóa các tính năng cho SGD.
—
image_doctor
Vì vậy, tôi đã không kiểm tra SGD trên các lần chạy lặp lại vì ở trên sử dụng xác nhận chéo 10 lần; Đối với tôi điều này là đủ.
—
hlin117
Bạn có thể giải thích cho tôi tại sao các thuật toán này không tương đương? Nếu tôi nhìn vào SGDClassifier ở đây, nó đề cập đến "Mất 'log" mang lại hồi quy logistic, một phân loại xác suất. " Tôi tin rằng có một lỗ hổng trong máy học kiến thức của tôi.
—
hlin117
Nếu không có một nghiên cứu chi tiết về việc triển khai, tôi không nghĩ mình có thể cụ thể về lý do tại sao chúng không tương đương, nhưng một manh mối tốt là chúng không tương đương là kết quả cho mỗi phương pháp khác nhau đáng kể. Tôi đoán là nó phải làm với các thuộc tính hội tụ của các phương thức ước lượng được sử dụng trong mỗi phương thức.
—
image_doctor
Các thuật toán này là khác nhau bởi vì hồi quy logistic sử dụng giảm dần độ dốc trong đó như độ dốc dốc ngẫu nhiên sử dụng độ dốc dốc ngẫu nhiên. Sự hội tụ của cái trước sẽ hiệu quả hơn và sẽ mang lại kết quả tốt hơn. Tuy nhiên, khi kích thước của tập dữ liệu tăng lên, SGDC nên tiếp cận độ chính xác của hồi quy logistic. Các tham số cho GD có nghĩa là những thứ khác với các tham số cho SGD, vì vậy bạn nên thử điều chỉnh chúng một chút. Tôi sẽ đề nghị chơi với (giảm) tốc độ học tập của SGD một chút để cố gắng hội tụ tốt hơn vì nó có thể bị phá vỡ xung quanh một chút.
—
AN6U5