Tôi đang sử dụng wow vowpal để giải quyết vấn đề tên cướp theo ngữ cảnh . Tôi đang hiển thị quảng cáo cho người dùng và tôi có một chút thông tin về bối cảnh quảng cáo được hiển thị (ví dụ: người dùng là ai, họ đang ở trang nào, v.v.). Đây có vẻ là một vấn đề tên cướp bối cảnh khá cổ điển, như được mô tả bởi John Langford .
Trong tình huống của tôi, có 2 phản hồi chính mà người dùng có thể có đối với quảng cáo: nhấp (có thể nhiều lần) hoặc không nhấp. Tôi có khoảng 1.000 quảng cáo tôi có thể chọn giữa. Vowpal Wợi yêu cầu một biến mục tiêu ở dạng action:cost:probabilitycho mỗi bối cảnh. Trong trường hợp của tôi, actionvà probabilityrất dễ để tìm ra: actionlà quảng cáo tôi đã chọn hiển thị và probabilitylà khả năng chọn quảng cáo đó với chính sách hiện tại của tôi để hiển thị quảng cáo.
Tuy nhiên, tôi gặp khó khăn khi đưa ra một cách hay để lập bản đồ chi trả (số lần nhấp) của mình theo chi phí. Các nhấp chuột rõ ràng là tốt và nhiều nhấp chuột trên cùng một quảng cáo cũng tốt hơn các nhấp chuột trên cùng một quảng cáo. Tuy nhiên, không nhấp vào quảng cáo là trung tính: nó thực sự không tốn bất kỳ chi phí nào ngoài cơ hội bị bỏ lỡ (tôi đang làm việc trong bối cảnh quảng cáo kỳ lạ).
Một số ý tưởng tôi đã có là:
- chi phí = -1 * dấu (số lần nhấp) + 0 * (không được nhấp)
- chi phí = -1 * lần nhấp + 0 * (không nhấp)
- chi phí = -1 * dấu (nhấp) + 0,01 * (không nhấp)
- chi phí = -1 * lần nhấp + 0,01 * (không nhấp)
Trong trường hợp một vectơ hành động của (0, 1, 5, 0)chi phí từ 4 hàm này sẽ là:
(0, -1, -1, 0)(0, -1, -5, 0)(0.01, -1, -1, 0.01)(0.01, -1, -5, 0.01)
Rõ ràng có nhiều cách khác để thể hiện điều đó clicks=goodvà no clicks=bad.nói chung, tôi nên làm thế nào để mô hình hóa chi phí cho các vấn đề tên cướp theo ngữ cảnh trong vowpal wợi? Có thể biểu thị lợi ích dưới dạng chi phí âm hay tôi nên điều chỉnh lại mọi thứ sao cho tất cả các chi phí đều dương? Liệu các hành động tương đối trung lập có chi phí bằng 0 có ổn không, hay tôi nên cho họ một chi phí tích cực nhỏ để đẩy mô hình theo hướng các hành động tích cực?