Các kỹ thuật học máy để ước tính tuổi của người dùng dựa trên các trang Facebook mà họ thích

Tôi có một cơ sở dữ liệu từ ứng dụng Facebook của mình và tôi đang cố gắng sử dụng máy học để ước tính tuổi của người dùng dựa trên những trang Facebook họ thích.

Có ba đặc điểm quan trọng của cơ sở dữ liệu của tôi:

• phân phối độ tuổi trong tập huấn luyện của tôi (tổng cộng 12 nghìn người dùng) bị lệch về phía người dùng trẻ (ví dụ: tôi có 1157 người dùng ở độ tuổi 27 và 23 người dùng ở độ tuổi 65);

• nhiều trang web có không quá 5 lượt thích (tôi đã lọc ra các trang FB có ít hơn 5 lượt thích).

• có nhiều tính năng hơn mẫu.

Vì vậy, câu hỏi của tôi là: bạn muốn đề xuất chiến lược gì để chuẩn bị dữ liệu để phân tích sâu hơn? Tôi có nên thực hiện một số loại giảm kích thước? Phương pháp ML nào sẽ thích hợp nhất để sử dụng trong trường hợp này?

Tôi chủ yếu sử dụng Python, vì vậy gợi ý dành riêng cho Python sẽ được đánh giá rất cao.

Một điều để bắt đầu với sẽ là k-NN. Ý tưởng ở đây là bạn có một ma trận người dùng / vật phẩm và đối với một số người dùng bạn có tuổi được báo cáo. Độ tuổi của một người trong ma trận mục người dùng có thể được xác định rõ bằng một số thứ như tuổi trung bình hoặc trung bình của một số hàng xóm gần nhất trong không gian vật phẩm.

Vì vậy, bạn có mỗi người dùng được biểu thị dưới dạng một vectơ trong không gian vật phẩm, tìm k hàng xóm gần nhất và gán vectơ trong câu hỏi một số chỉ số tóm tắt về độ tuổi hàng xóm gần nhất. Bạn có thể chọn k trên một khoảng cách cắt hoặc thực tế hơn bằng cách lặp đi lặp lại độ tuổi cho một chuyến tàu và chọn k giảm thiểu lỗi trong bài tập đó.

Nếu thứ nguyên là một vấn đề, bạn có thể dễ dàng thực hiện giảm trong thiết lập này bằng cách phân tách giá trị đơn lẻ chọn các vectơ m thu được nhiều phương sai nhất trong nhóm.

Trong mọi trường hợp vì mỗi tính năng là nhị phân, có vẻ như độ tương tự cosine sẽ là số liệu khoảng cách của bạn.

Tôi cần suy nghĩ thêm một chút về các cách tiếp cận khác (hồi quy, rf, v.v.) với trọng tâm hẹp của không gian tính năng của bạn (tất cả các biến thể của cùng một hành động, theo ý tôi) Tôi nghĩ cách tiếp cận người dùng / vật phẩm có thể là tốt nhất.

Một lưu ý cần thận trọng, nếu độ tuổi bạn đi tàu được tự báo cáo, bạn có thể cần phải sửa một số trong số chúng. Mọi người trên facebook có xu hướng báo cáo độ tuổi trong thập kỷ họ được sinh ra. Vẽ một biểu đồ về ngày sinh (bắt nguồn từ lứa tuổi) và xem bạn có tăng đột biến ở các thập kỷ như thập niên 70, 80, 90 không.

Gần đây tôi đã thực hiện một dự án tương tự trong Python (dự đoán ý kiến ​​sử dụng dữ liệu như FB) và đã có kết quả tốt với quy trình cơ bản sau:

1. Đọc trong tập huấn luyện (n = N) bằng cách lặp qua phân tách bằng dấu phẩy như các bản ghi từng dòng và sử dụng bộ đếm để xác định các trang phổ biến nhất
2. Đối với mỗi trang K phổ biến nhất (tôi đã sử dụng khoảng 5000, nhưng bạn có thể chơi xung quanh với các giá trị khác nhau), hãy sử dụng pandas.DataFrame.isin để kiểm tra xem mỗi cá nhân trong tập huấn luyện có thích từng trang không, sau đó tạo một khung dữ liệu N x K kết quả (tôi sẽ gọi nó là xdata_train)
3. Tạo một chuỗi (tôi sẽ gọi nó là ydata_train) chứa tất cả các biến kết quả (theo ý kiến ​​của tôi, trong độ tuổi của bạn) với cùng chỉ mục là xdata_train
4. Thiết lập trình phân loại rừng ngẫu nhiên thông qua scikit-learn để dự đoán ydata_train dựa trên xdata_train
5. Sử dụng thử nghiệm xác thực chéo của scikit-learn để điều chỉnh các tham số và tinh chỉnh độ chính xác (điều chỉnh số lượng trang phổ biến, số lượng cây, kích thước lá tối thiểu, v.v.)
6. Xuất phân loại rừng ngẫu nhiên và danh sách các trang phổ biến nhất với dưa chua (hoặc giữ trong bộ nhớ nếu bạn đang làm mọi thứ cùng một lúc)
7. Tải phần còn lại của dữ liệu của bạn, tải danh sách các trang phổ biến (nếu cần) và lặp lại bước 2 để tạo xdata_new
8. Tải trình phân loại rừng ngẫu nhiên (nếu cần) và sử dụng nó để dự đoán các giá trị cho dữ liệu xdata_new
9. Xuất điểm số dự đoán sang CSV mới hoặc định dạng đầu ra khác mà bạn chọn

Trong trường hợp của bạn, bạn cần trao đổi bộ phân loại cho một bộ hồi quy (vì vậy hãy xem tại đây: http://scikit-learn.org/ sóng / modules / generic / sklearn.ensemble.RandomForestRegressor.html ) nhưng nếu không thì cùng một quy trình Nên làm việc mà không gặp nhiều rắc rối.

Ngoài ra, bạn nên biết về tính năng tuyệt vời nhất của các khu rừng ngẫu nhiên trong Python: song song hóa ngay lập tức! Những người trong chúng ta bắt đầu làm việc này trong R và sau đó chuyển sang luôn luôn ngạc nhiên, đặc biệt là khi bạn làm việc trên một máy có vài chục lõi (xem tại đây: http://blog.yhathq.com/posts/compared- Random-Forest-in-python-and-r.html ).

Cuối cùng, lưu ý rằng đây sẽ là một ứng dụng hoàn hảo để phân tích mạng nếu bạn có dữ liệu về bạn bè cũng như bản thân các cá nhân. Nếu bạn có thể phân tích độ tuổi của bạn bè người dùng, độ tuổi của người dùng gần như chắc chắn sẽ trong vòng một hoặc hai năm giữa những người bạn của họ, đặc biệt nếu người dùng đủ trẻ để xây dựng mạng lưới bạn bè của họ khi còn ở trường học (vì hầu hết sẽ là bạn cùng lớp). Dự đoán đó có khả năng sẽ thổi phồng bất kỳ điều gì bạn sẽ nhận được từ mô hình --- đây là một ví dụ trong sách giáo khoa về một vấn đề trong đó dữ liệu đúng> mô hình phù hợp mọi lúc.

Chúc may mắn!

Một đề nghị khác là kiểm tra hồi quy logistic . Là một phần thưởng bổ sung, các trọng số (hệ số) của mô hình sẽ cho bạn ý tưởng về các trang web phân biệt tuổi tác.

Sklearn cung cấp gói sklearn.linear_model.LogisticRegression được thiết kế để xử lý dữ liệu thưa thớt.

Như đã đề cập trong các ý kiến, trong trường hợp hiện tại, với nhiều biến đầu vào hơn các mẫu, bạn cần thường xuyên hóa mô hình (với sklearn.linear_model.LogisticRegression sử dụng penalty='l1'đối số).

Một số nghiên cứu từ D. Nguyen et al. cố gắng dự đoán tuổi của người dùng twitter dựa trên tweet của họ. Có lẽ bạn thấy chúng hữu ích. Họ sử dụng hồi quy logistic và tuyến tính.

Ngoài các phương pháp fancier, bạn có thể thử công thức Bayes

P (I | p1 ... pn) = P (p1 ... pn | I) P (I) / sum_i (P (p1 ... pn | i) P (i))

P (I | p1 ... pn) là xác suất người dùng thuộc nhóm tuổi I nếu anh ta thích p1, .., pn

P (i) là xác suất người dùng thuộc nhóm tuổi i

P (p1 .. pn | i) là xác suất mà người dùng thích p1, .., pn nếu anh ta thuộc nhóm tuổi i.

• Bạn đã có ước tính cho P (i) từ dữ liệu của mình: đây chỉ là tỷ lệ người dùng trong nhóm tuổi I.

• Để ước tính P (p1 ... pn | i), với mỗi nhóm tuổi tôi ước tính xác suất (tần suất) p_ij giống như một trang j. Để có p_ij khác không cho tất cả j, bạn có thể trộn tần số cho toàn bộ dân số với một trọng lượng nhỏ.

• Sau đó đăng nhập P (p1 ... pn | i) = sum (log p_ij, i = p1, .., pn), tổng trên tất cả các trang mà người dùng mới thích. Công thức này sẽ gần đúng với giả định rằng người dùng thích các trang trong nhóm tuổi của mình một cách độc lập.

• Về mặt lý thuyết, bạn cũng nên thêm nhật ký (1-p_ij) cho tất cả i mà anh ấy không thích, nhưng trong thực tế, bạn sẽ thấy rằng tổng số nhật ký (1-p_ij) sẽ nhỏ một cách không liên quan, vì vậy bạn cũng không cần nhiều bộ nhớ.

Nếu bạn hoặc ai đó đã thử điều này, xin vui lòng bình luận về kết quả.

Đây là một vấn đề rất thú vị.

Tôi đã đối mặt với một cái tương tự bằng cách phân tích những hình ảnh người dùng tải lên mạng xã hội. Tôi đã làm theo cách tiếp cận sau:

• Thay vì liên kết dữ liệu với các độ tuổi (15 yo, 27 yo, ...) những gì tôi đã làm là thiết lập các nhóm tuổi khác nhau: Dưới 18, từ 18 đến 30 và lớn hơn 30 (điều này là do vấn đề cụ thể chúng tôi gặp phải phải đối mặt, nhưng bạn có thể chọn bất kỳ khoảng thời gian nào bạn muốn). Bộ phận này giúp rất nhiều để giải quyết vấn đề.
• Sau đó, tôi đã tạo một cụm phân cấp (chia hoặc tổng hợp). Sau đó, tôi chọn những nhánh mà tôi có người dùng có độ tuổi đã biết (hoặc tuổi nhóm) và sau đó với nhánh đó tôi đã mở rộng cùng độ tuổi với nhóm đó.

Cách tiếp cận này là học bán giám sát và tôi khuyên bạn nên sử dụng trong trường hợp bạn chỉ có một số dữ liệu được dán nhãn.

Xin lưu ý rằng trên mạng xã hội, mọi người thường nói dối về độ tuổi (chỉ để giải trí hoặc đôi khi vì họ muốn tự quay phim trên mạng xã hội).