Tránh phân biệt đối xử xã hội trong xây dựng mô hình

Tôi có những câu hỏi lấy cảm hứng từ vụ bê bối tuyển dụng gần đây của Amazon, nơi họ bị buộc tội phân biệt đối xử với phụ nữ trong quá trình tuyển dụng của họ. Thêm thông tin ở đây :

Các chuyên gia về máy học của Amazon.com Inc đã phát hiện ra một vấn đề lớn: công cụ tuyển dụng mới của họ không thích phụ nữ.
Nhóm đã xây dựng các chương trình máy tính từ năm 2014 để xem xét hồ sơ xin việc của người xin việc với mục đích cơ giới hóa việc tìm kiếm tài năng hàng đầu ...
... Công cụ tuyển dụng thử nghiệm của công ty đã sử dụng trí thông minh nhân tạo để cho điểm số ứng viên từ một đến năm sao ...
... Nhưng vào năm 2015, công ty nhận ra hệ thống mới của mình không xếp hạng các ứng cử viên cho các công việc của nhà phát triển phần mềm và các bài đăng kỹ thuật khác theo cách trung lập về giới.
Đó là bởi vì các mô hình máy tính của Amazon đã được đào tạo cho các ứng viên thú y bằng cách quan sát các mẫu trong sơ yếu lý lịch được gửi cho công ty trong khoảng thời gian 10 năm. Hầu hết đến từ nam giới, một sự phản ánh của sự thống trị của nam giới trong ngành công nghệ. (Đối với một hình ảnh về sự cố giới tính trong công nghệ, xem: tại đây ) Thực tế, hệ thống của Amazon tự dạy rằng các ứng cử viên nam thích hợp hơn. Nó đã phạt các sơ yếu lý lịch bao gồm từ "phụ nữ", như trong "đội trưởng câu lạc bộ cờ vua của phụ nữ." Và nó đã hạ bậc sinh viên tốt nghiệp của hai trường đại học toàn nữ, theo những người quen thuộc với vấn đề này. Họ không chỉ định tên của các trường.
Amazon đã chỉnh sửa các chương trình để làm cho chúng trung lập với các điều khoản cụ thể này. Nhưng điều đó không đảm bảo rằng các máy móc sẽ không nghĩ ra các cách sắp xếp ứng viên khác có thể chứng minh sự phân biệt đối xử, người dân nói.
Công ty Seattle cuối cùng đã giải tán đội vào đầu năm ngoái vì các giám đốc điều hành đã mất hy vọng cho dự án ...
... Thí nghiệm của công ty ... đưa ra một nghiên cứu trường hợp về những hạn chế của học máy.
... Các nhà khoa học máy tính như Nihar Shah, người dạy học máy tại Đại học Carnegie Mellon, nói rằng vẫn còn nhiều việc phải làm.
"Làm thế nào để đảm bảo rằng thuật toán là công bằng, làm thế nào để đảm bảo thuật toán thực sự có thể hiểu và giải thích được - điều đó vẫn còn khá xa vời", ông nói.

NGÔN NGỮ MASCULINE
[Amazon] đã thành lập một nhóm trong trung tâm kỹ thuật tại Edinburgh của Amazon, nơi đã phát triển lên đến hàng chục người. Mục tiêu của họ là phát triển AI có thể nhanh chóng thu thập dữ liệu trên web và phát hiện ra các ứng cử viên đáng tuyển dụng, những người quen thuộc với vấn đề này cho biết.
Nhóm đã tạo ra 500 mô hình máy tính tập trung vào các chức năng và vị trí công việc cụ thể. Họ đã dạy mỗi người nhận ra khoảng 50.000 điều khoản xuất hiện trong hồ sơ của các ứng cử viên trước đây. Các thuật toán được học để gán ít ý nghĩa cho các kỹ năng phổ biến trong các ứng viên CNTT, chẳng hạn như khả năng viết mã máy tính khác nhau ...
Thay vào đó, công nghệ ưa thích các ứng viên tự mô tả bằng cách sử dụng các động từ thường thấy trên sơ yếu lý lịch của các kỹ sư nam, như "thực hiện" và "bị bắt", một người nói.

Giả sử tôi muốn xây dựng một mô hình thống kê để dự đoán một số đầu ra từ dữ liệu cá nhân, như xếp hạng năm sao để giúp tuyển dụng người mới. Hãy nói rằng tôi cũng muốn tránh sự phân biệt giới tính, như một hạn chế về đạo đức. Cho hai hồ sơ hoàn toàn bằng nhau ngoài giới tính, đầu ra của mô hình nên giống nhau.

1. Tôi có nên sử dụng giới tính (hoặc bất kỳ dữ liệu nào tương quan với nó) làm đầu vào và cố gắng sửa hiệu ứng của chúng hoặc tránh sử dụng những dữ liệu này?

2. Làm cách nào để kiểm tra sự vắng mặt của phân biệt đối xử đối với giới?

3. Làm cách nào để sửa mô hình của tôi cho dữ liệu phân biệt đối xử nhưng tôi không muốn vì lý do đạo đức?

Bài viết này cung cấp một cái nhìn tổng quan tuyệt vời về cách điều hướng sự thiên vị giới tính, đặc biệt là trong các mô hình dựa trên ngôn ngữ: Đàn ông là Lập trình viên Máy tính như Phụ nữ là Người nội trợ? Các từ nhúng Debiasing - Bolukbasi et. al. . Một tóm tắt blog tốt đẹp có thể được tìm thấy ở đây:

https://developers.googleblog.com/2018/04/text-embpping-models-contain-bias.html

Bạn sẽ tìm thấy một bản tóm tắt tài nguyên lớn hơn ở đây:

https://developers.google.com/machine-learning/fairness-overview/

Bạn sẽ tìm thấy một loạt các kỹ thuật trong các liên kết ở trên để giảm thiểu sai lệch giới tính. Nói chung, họ rơi vào ba lớp:

1) Dưới / Quá lấy mẫu dữ liệu của bạn. Điều này nhằm mục đích chồng chất sơ yếu lý lịch nữ chất lượng cao và dưới sơ yếu lý lịch nam mẫu.

2) Trừ ra "không gian con giới tính." Nếu mô hình của bạn thiên về giới tính, thì bạn có thể chứng minh nó là như vậy bằng cách sử dụng các bản nhúng sơ yếu lý lịch của bạn để dự đoán trực tiếp giới tính. Sau khi xây dựng một mô hình phụ trợ như vậy (thậm chí chỉ lấy mẫu các thuật ngữ phổ biến thuộc về giới tính và sau đó áp dụng PCA), bạn có thể thực hiện trừ đi kích thước này khỏi mô hình, bình thường hóa sơ yếu lý lịch để trung tính về giới. Đây là kỹ thuật chính được sử dụng trong bài báo của Bolukbasi.

3) Học tập đối nghịch. Trong trường hợp này, bạn cố gắng tạo thêm dữ liệu bằng cách cố gắng tạo thêm các phiên bản sơ yếu lý lịch nữ chất lượng cao không thể phân biệt được với sơ yếu lý lịch thực.

Đây không phải là một câu trả lời cho câu hỏi của bạn mà chỉ là một vài suy nghĩ quá dài để phù hợp với một nhận xét.

Tôi nghĩ một vấn đề chúng ta phải xem xét khi nghĩ về những vấn đề này là mọi mô hình đều phân biệt đối xử và họ sẽ làm như vậy trên cơ sở bất kỳ mối liên hệ nào có trong dữ liệu. Đó được cho là toàn bộ mục đích của một mô hình dự đoán. Ví dụ, đàn ông thực sự có khả năng phạm tội cao hơn phụ nữ, vì vậy hầu như bất kỳ mô hình nào có quyền truy cập vào thông tin này sẽ rút ra một suy luận như vậy.

Nhưng điều đó không có nghĩa là chúng ta nên kết án ai đó một phần dựa trên giới tính, mặc dù một người đàn ông thường có vẻ như đã phạm tội nhiều hơn (những thứ khác như nhau). Thay vào đó, chúng ta nên yêu cầu bằng chứng trực tiếp về tội phạm khi đưa ra quyết định như vậy, và không phải thông tin về sự liên kết đơn thuần. Một ví dụ khác: những người có nhiều khả năng bị bệnh thực sự xứng đáng để trả phí bảo hiểm cao hơn?

Vì vậy, khi nói đến sự phân biệt đối xử, tôi sẽ lập luận rằng vấn đề liên quan nhiều hơn đến việc áp dụng đạo đức , thay vì bản thân các mô hình là không công bằng. Nếu chúng ta lo lắng về việc phân biệt đối xử vĩnh viễn hoặc các kết quả không công bằng khác khi sử dụng một mô hình trong tình huống nhất định, thì có lẽ chúng ta không nên sử dụng một mô hình.

Tôi đã từng làm việc trong một dự án để phát triển các thực tiễn tốt nhất về quản lý phần mềm. Tôi quan sát khoảng năm mươi đội phần mềm trong lĩnh vực này. Mẫu của chúng tôi là khoảng 77, nhưng cuối cùng chúng tôi đã thấy khoảng một trăm đội. Ngoài việc thu thập dữ liệu về những thứ như chứng chỉ, bằng cấp, v.v., chúng tôi cũng thu thập nhiều dữ liệu tâm lý và nhân khẩu học.

Các nhóm phát triển phần mềm có một số hiệu ứng tự chọn rất quan trọng trong đó, trong khi không liên quan gì đến giới tính, có mối tương quan chặt chẽ với giới tính. Ngoài ra, các nhà quản lý có xu hướng tự nhân rộng. Mọi người thuê những người mà họ cảm thấy thoải mái, và họ cảm thấy thoải mái nhất với chính họ. Cũng có bằng chứng cho thấy mọi người đang được đánh giá theo cách thiên về nhận thức. Hãy tưởng tượng rằng, với tư cách là một người quản lý, tôi đánh giá cao sự xuất hiện nhanh chóng khi bắt đầu công việc. Sau đó tôi sẽ đánh giá về điều đó. Một người quản lý khác, người chỉ quan tâm rằng công việc được hoàn thành, có thể đánh giá về một thứ hoàn toàn khác là quan trọng.

Bạn lưu ý rằng đàn ông sử dụng ngôn ngữ khác nhau, nhưng cũng đúng là những người có tính cách khác nhau sử dụng ngôn ngữ theo những cách khác nhau. Có thể có sự khác biệt về cách sử dụng ngôn ngữ dân tộc, xem ví dụ về tranh cãi hiện tại tại các trường đại học Harvard và châu Á.

Bây giờ bạn cho rằng các công ty phần mềm phân biệt đối xử với phụ nữ, nhưng có một hình thức phân biệt giới tính khác đang diễn ra trong ngành phát triển phần mềm mà bạn chưa tính đến. Khi bạn kiểm soát những thứ khách quan như chứng chỉ, bằng cấp, nhiệm kỳ, v.v., phụ nữ trung bình kiếm được nhiều hơn 40% so với người đàn ông trung bình. Có ba nguồn phân biệt đối xử việc làm trên thế giới.

Đầu tiên là người quản lý hoặc chủ sở hữu không muốn thuê ai đó trên cơ sở một số tính năng. Thứ hai là đồng nghiệp không muốn làm việc với những người có tính năng đó. Thứ ba là khách hàng không muốn những người có tính năng. Có vẻ như sự phân biệt tiền lương đang được kích hoạt bởi khách hàng vì sản phẩm công việc là khác nhau, và từ quan điểm của khách hàng, cũng tốt hơn. Tính năng tương tự này khiến các nhà vệ sinh nha khoa nam phải trả lương thấp hơn phụ nữ. Nó cũng được nhìn thấy trong một thiên vị đối với những người sinh ra ở đây, trong tiền lương bóng đá thế giới.

Kiểm soát tốt nhất cho việc này là để hiểu dữ liệu của bạn và các lực lượng xã hội có liên quan. Bất kỳ công ty nào sử dụng dữ liệu riêng của mình sẽ có xu hướng tự sao chép. Đó có thể là một điều rất tốt, nhưng nó cũng có thể làm cho họ mù quáng trước các lực lượng trong công việc. Kiểm soát thứ hai là để hiểu chức năng mục tiêu của bạn. Lợi nhuận có thể là một chức năng tốt, nhưng nó có thể là một chức năng xấu. Có các giá trị trong việc lựa chọn hàm mất mục tiêu. Sau đó, cuối cùng, có vấn đề kiểm tra dữ liệu dựa trên nhân khẩu học để xác định xem có sự phân biệt đối xử đáng tiếc xảy ra hay không.

Cuối cùng, và đây là một vấn đề lớn hơn trong những thứ như AI, nơi bạn không thể có được số liệu thống kê diễn giải tốt, bạn sẽ muốn kiểm soát nghịch lý của Yule. Ví dụ lịch sử kinh điển là phát hiện ra rằng 44% nam giới được chấp nhận vào UC Berkley trong khi chỉ có 35% phụ nữ được nhận vào năm 1973. Đây là một sự khác biệt rất lớn và có ý nghĩa thống kê. Nó cũng đã gây hiểu nhầm.

Điều này rõ ràng là tai tiếng, và vì vậy trường đại học đã quyết định xem xét đó là những chuyên ngành vi phạm. Chà, hóa ra khi bạn kiểm soát chuyên ngành, có một sự thiên vị có ý nghĩa thống kê ủng hộ việc thừa nhận phụ nữ. Trong số tám mươi lăm chuyên ngành, sáu chuyên gia thiên về phụ nữ và bốn chuyên ngành đối với nam giới, phần còn lại không đáng kể. Sự khác biệt là phụ nữ, không cân xứng, áp dụng cho các chuyên ngành cạnh tranh nhất và rất ít giới tính tham gia. Đàn ông có nhiều khả năng áp dụng cho các chuyên ngành ít cạnh tranh hơn.

Thêm vào nghịch lý của Yule tạo ra một lớp sâu hơn để phân biệt đối xử. Hãy tưởng tượng, thay vì kiểm tra giới tính, đã có một bài kiểm tra giới tính theo loại công việc. Bạn có thể có thể vượt qua bài kiểm tra trung tính về giới của toàn công ty nhưng thất bại ở cấp độ nhiệm vụ. Hãy tưởng tượng rằng chỉ có phụ nữ được tuyển dụng cho V & V và chỉ đàn ông cho quản trị hệ thống. Bạn sẽ có vẻ trung tính về giới tính, và bạn sẽ không như vậy.

Một giải pháp tiềm năng cho vấn đề này là chạy các AI cạnh tranh sử dụng các tiêu chí khách quan khác nhau về sự tốt lành của. Mục tiêu là mở rộng mạng lưới, không thu hẹp nó. Điều này cũng có thể giúp tránh một vấn đề khác trong tài liệu quản lý. Trong khi 3% nam giới là xã hội học, con số đó tăng lên đáng kể khi bạn tiến xa hơn và tiến xa hơn trên nấc thang công ty. Bạn không muốn lọc cho xã hội học.

Cuối cùng, bạn có thể không muốn xem xét sử dụng AI cho một số loại vị trí nhất định. Tôi đang săn việc ngay bây giờ. Tôi cũng chắc chắn rằng tôi đang bị lọc ra và tôi chưa tìm ra cách khắc phục nó. Tôi đang ngồi trên một công nghệ mới rất đột phá. Vấn đề là công việc của tôi không khớp với những từ kỳ diệu. Thay vào đó, tôi có bộ từ ma thuật tiếp theo. Ngay bây giờ, tôi xứng đáng là một gia tài cho công ty phải, nhưng trong một trường hợp khi tôi nộp đơn, tôi đã nhận được một sự suy giảm tự động trong vòng chưa đầy một phút. Tôi có một người bạn đã từng là CIO của các cơ quan liên bang. Anh ta đã nộp đơn xin việc mà người quản lý tuyển dụng đang chờ để xem đơn của anh ta được thông qua để anh ta có thể được mời làm việc. Nó không bao giờ đi qua vì các bộ lọc chặn nó.

Điều này đặt ra vấn đề thứ hai của AI. Nếu tôi có thể làm việc từ sơ yếu lý lịch trực tuyến mà Amazon đang tuyển dụng, thì tôi có thể sử dụng từ lý lịch của mình. Thật vậy, tôi đang làm việc trên sơ yếu lý lịch của mình ngay bây giờ để làm cho nó phù hợp với các bộ lọc không phải của con người. Tôi cũng có thể nói từ các e-mail từ các nhà tuyển dụng rằng một số phần trong sơ yếu lý lịch của tôi đang được phóng to và các phần khác bị bỏ qua. Như thể quy trình tuyển dụng và tuyển dụng đã được tiếp quản bởi phần mềm như Prolog. Hạn chế logic đáp ứng? Đúng! Đây là ứng cử viên tối ưu hoặc tập hợp các ứng cử viên. Họ có tối ưu không?

Không có câu trả lời được xây dựng trước cho câu hỏi của bạn, chỉ có vấn đề với kỹ sư xung quanh.

Để xây dựng một mô hình loại này, điều quan trọng trước tiên là phải hiểu một số khía cạnh thống kê cơ bản của phân biệt đối xử và kết quả quá trình. Điều này đòi hỏi sự hiểu biết về các quy trình thống kê đánh giá các đối tượng trên cơ sở các đặc điểm. Cụ thể, nó đòi hỏi phải hiểu mối quan hệ giữa việc sử dụng một đặc tính cho các mục đích ra quyết định (nghĩa là phân biệt đối xử) và đánh giá kết quả của quá trình đối với đặc điểm nói trên. Chúng tôi bắt đầu bằng cách lưu ý những điều sau:

• Phân biệt đối xử (theo đúng nghĩa của nó) xảy ra khi một biến được sử dụng trong quá trình quyết định, không chỉ khi kết quả tương quan với biến đó. Chính thức, chúng tôi phân biệt đối xử với một biến nếu hàm quyết định trong quy trình (nghĩa là xếp hạng trong trường hợp này) là một hàm của biến đó.

• Sự chênh lệch về kết quả liên quan đến một biến cụ thể thường xảy ra ngay cả khi không có sự phân biệt đối xử với biến đó . Điều này xảy ra khi các đặc điểm khác trong hàm quyết định có tương quan với biến loại trừ. Trong trường hợp biến loại trừ là biến nhân khẩu học (ví dụ: giới tính, chủng tộc, tuổi, v.v.), mối tương quan với các đặc điểm khác là phổ biến, do đó, sự khác biệt về kết quả giữa các nhóm nhân khẩu học sẽ được dự kiến.

• Có thể cố gắng giảm chênh lệch về kết quả giữa các nhóm nhân khẩu học thông qua hành động khẳng định, đây là một hình thức phân biệt đối xử. Nếu có sự khác biệt về kết quả quá trình đối với một biến, có thể thu hẹp các chênh lệch đó bằng cách sử dụng biến như một biến quyết định (nghĩa là bằng cách phân biệt đối xử với biến đó) theo cách ủng hộ các nhóm "không đúng mức" (nghĩa là các nhóm có tỷ lệ kết quả tích cực thấp hơn trong quá trình quyết định).

• Bạn không thể có cả hai cách --- hoặc bạn muốn tránh phân biệt đối xử đối với một đặc điểm cụ thể hoặc bạn muốn cân bằng kết quả của quá trình đối với đặc điểm đó. Nếu mục tiêu của bạn là "điều chỉnh" sự chênh lệch về kết quả liên quan đến một đặc điểm cụ thể thì đừng tự lừa dối bản thân về những gì bạn đang làm --- bạn đang tham gia vào sự phân biệt đối xử cho các mục đích hành động khẳng định .

Khi bạn hiểu các khía cạnh cơ bản của quy trình ra quyết định thống kê, bạn sẽ có thể hình thành mục tiêu thực sự của bạn là gì trong trường hợp này. Cụ thể, bạn sẽ cần phải quyết định xem bạn có muốn một quy trình không phân biệt đối xử hay không, có khả năng dẫn đến sự chênh lệch kết quả giữa các nhóm hoặc liệu bạn có muốn một quy trình phân biệt đối xử được thiết kế để mang lại kết quả xử lý như nhau (hoặc một cái gì đó gần với quy trình này). Về mặt đạo đức, vấn đề này bắt chước cuộc tranh luận về việc không phân biệt đối xử so với hành động khẳng định.

Giả sử tôi muốn xây dựng một mô hình thống kê để dự đoán một số đầu ra từ dữ liệu cá nhân, như xếp hạng năm sao để giúp tuyển dụng người mới. Hãy nói rằng tôi cũng muốn tránh sự phân biệt giới tính, như một hạn chế về đạo đức. Cho hai hồ sơ hoàn toàn bằng nhau ngoài giới tính, đầu ra của mô hình nên giống nhau.

Thật dễ dàng để đảm bảo rằng các xếp hạng được đưa ra từ mô hình không bị ảnh hưởng bởi một biến bạn muốn loại trừ (ví dụ: giới tính). Để làm điều này, tất cả những gì bạn cần làm là loại bỏ biến này như một công cụ dự đoán trong mô hình, để nó không được sử dụng trong quyết định xếp hạng. Điều này sẽ đảm bảo rằng hai hồ sơ hoàn toàn bằng nhau, ngoài biến đó, được xử lý như nhau. Tuy nhiên, nó sẽ không nhất thiết đảm bảo rằng mô hình không phân biệt đối xử dựa trên biến khác có tương quan với biến bị loại trừ và nói chung sẽ không dẫn đến kết quả bằng nhau giữa các giới tính. Điều này là do giới tính có tương quan với nhiều đặc điểm khác có thể được sử dụng làm biến dự báo trong mô hình của bạn, vì vậy chúng tôi thường mong đợi kết quả sẽ không đồng đều ngay cả khi không có sự phân biệt đối xử.

Liên quan đến vấn đề này, rất hữu ích khi phân định giữa các đặc điểm là đặc điểm giới tính vốn có (ví dụ: người đứng lên) so với các đặc điểm chỉ tương quan với giới tính (ví dụ: có bằng kỹ sư). Nếu bạn muốn tránh phân biệt đối xử về giới, điều này thường đòi hỏi phải loại bỏ giới tính như một người dự đoán và cũng loại bỏ bất kỳ đặc điểm nào khác mà bạn cho là đặc điểm giới tính vốn có . Ví dụ, nếu đó là trường hợp người xin việc xác định họ đứng lên hay ngồi xuống, thì đó là một đặc điểm không hoàn toàn tương đương với giới tính, nhưng một lựa chọn xác định hiệu quả giới tính, vì vậy bạn có thể loại bỏ đặc điểm đó như một yếu tố dự đoán trong mô hình.

1. Tôi có nên sử dụng giới tính (hoặc bất kỳ dữ liệu nào tương quan với nó) làm đầu vào và cố gắng sửa hiệu ứng của chúng hoặc tránh sử dụng những dữ liệu này?

Đúng cái gì chính xác? Khi bạn nói "sửa hiệu ứng của chúng", tôi sẽ cho rằng bạn có nghĩa là bạn đang xem xét "điều chỉnh" sự chênh lệch trong kết quả gây ra bởi các yếu tố dự đoán có liên quan đến giới tính. Nếu đó là trường hợp và bạn sử dụng giới tính để cố gắng khắc phục sự chênh lệch kết quả thì bạn đang tham gia một cách hiệu quả vào hành động khẳng định --- tức là, bạn đang lập trình mô hình của mình để phân biệt tích cực về giới, nhằm mang lại kết quả gần nhau hơn . Việc bạn có muốn làm điều này hay không phụ thuộc vào mục tiêu đạo đức của bạn trong mô hình (tránh phân biệt đối xử so với đạt được kết quả như nhau).

2. Làm cách nào để kiểm tra sự vắng mặt của phân biệt đối xử đối với giới?

Nếu bạn đang nói về sự phân biệt đối xử thực tế, trái ngược với sự chênh lệch đơn thuần trong kết quả, điều này rất dễ hạn chế và kiểm tra. Tất cả những gì bạn cần làm là xây dựng mô hình của mình theo cách mà nó không sử dụng giới tính (và đặc điểm giới tính vốn có) làm dự đoán. Máy tính không thể đưa ra quyết định dựa trên các đặc điểm mà bạn không nhập vào mô hình của chúng, vì vậy nếu bạn có quyền kiểm soát này, việc kiểm tra sự vắng mặt của phân biệt đối xử là khá đơn giản.

Mọi thứ trở nên khó khăn hơn một chút khi bạn sử dụng các mô hình học máy cố gắng tự mình tìm ra các đặc điểm có liên quan mà không cần đầu vào của bạn. Ngay cả trong trường hợp này, bạn cũng có thể lập trình mô hình của mình để nó loại trừ các yếu tố dự đoán mà bạn chỉ định sẽ bị xóa (ví dụ: giới tính).

3. Làm cách nào để sửa mô hình của tôi cho dữ liệu phân biệt đối xử nhưng tôi không muốn vì lý do đạo đức?

Khi bạn đề cập đến dữ liệu "phân biệt đối xử thống kê", tôi cho rằng bạn chỉ có nghĩa là các đặc điểm có liên quan đến giới tính. Nếu bạn không muốn những đặc điểm khác ở đó thì bạn chỉ cần loại bỏ chúng làm dự đoán trong mô hình. Tuy nhiên, bạn nên nhớ rằng có khả năng nhiều đặc điểm quan trọng sẽ tương quan với giới tính. Bất kỳ đặc tính nhị phân nào cũng sẽ tương quan với giới trong mọi trường hợp khi tỷ lệ nam có đặc điểm đó khác với tỷ lệ nữ có đặc điểm đó. (Tất nhiên, nếu các tỷ lệ này gần nhau, bạn có thể thấy rằng sự khác biệt của chúng không "có ý nghĩa thống kê".) Đối với các biến tổng quát hơn, điều kiện cho tương quan khác không cũng rất yếu. Như vậy

Điều này nhiều nhất sẽ là một câu trả lời một phần (hoặc không có câu trả lời nào cả).

Điều đầu tiên cần lưu ý là tôi hoàn toàn đồng ý với @dsaxton: tất cả các mô hình "phân biệt đối xử" (ít nhất là trong một số định nghĩa về phân biệt đối xử) vì đó là chức năng của chúng. Vấn đề là các mô hình hoạt động dựa trên tổng kết và trung bình và chúng chỉ định mọi thứ dựa trên mức trung bình. Các cá nhân độc thân là duy nhất và có thể hoàn toàn không dự đoán.

Ví dụ: xem xét một mô hình đơn giản dự đoán xếp hạng năm sao được đề cập dựa trên một biến - tuổi . Đối với tất cả những người có cùng độ tuổi (giả sử 30), nó sẽ tạo ra cùng một đầu ra. Tuy nhiên đó là một khái quát. Không phải mọi người ở độ tuổi 30yr sẽ giống nhau. Và nếu mô hình tạo ra các cấp bậc khác nhau cho các độ tuổi khác nhau - thì đó là sự phân biệt đối xử với mọi người đối với độ tuổi của họ. Nói rằng nó cho thứ hạng 3 cho người 50 tuổi và thứ hạng 4 cho người 40 tuổi. Trong thực tế sẽ có nhiều người 50 tuổi giỏi hơn những gì họ làm hơn 40 tuổi. Và họ sẽ bị phân biệt đối xử.

1. Tôi có nên sử dụng giới tính (hoặc bất kỳ dữ liệu nào tương quan với nó) làm đầu vào và cố gắng sửa hiệu ứng của chúng hoặc tránh sử dụng những dữ liệu này?

Nếu bạn muốn người mẫu trả lại kết quả tương tự cho nam và nữ bằng nhau thì bạn không nên đưa giới tính vào mô hình. Bất kỳ dữ liệu liên quan đến giới tính có lẽ nên được bao gồm. Bằng cách loại trừ các đồng biến như vậy, bạn có thể mắc ít nhất 2 loại lỗi: 1) giả sử tất cả nam và nữ được phân bổ đều trên tất cả các hiệp phương sai; 2) nếu một số đồng biến tương quan giới tính có liên quan đến xếp hạng và tương quan với giới tính cùng một lúc - bạn có thể giảm đáng kể hiệu suất của mô hình bằng cách loại trừ chúng.

2. Làm cách nào để kiểm tra sự vắng mặt của phân biệt đối xử đối với giới?

Chạy mô hình trên cùng một dữ liệu hai lần - một lần bằng cách sử dụng "nam" và lần khác sử dụng "nữ". Nếu điều này đến từ một tài liệu văn bản, có thể một số từ có thể được thay thế.

3. Làm cách nào để sửa mô hình của tôi cho dữ liệu phân biệt đối xử nhưng tôi không muốn vì lý do đạo đức?

Phụ thuộc vào những gì bạn muốn làm. Một cách tàn bạo để buộc bình đẳng giữa các giới là chạy mô hình trên ứng viên nam và ứng viên nữ riêng biệt. Và sau đó chọn 50% từ một nhóm và 50% từ một nhóm khác.

Dự đoán của bạn rất có thể sẽ bị ảnh hưởng - vì không chắc là nhóm ứng viên tốt nhất sẽ bao gồm chính xác một nửa nam và một nửa nữ. Nhưng có lẽ bạn sẽ ổn về mặt đạo đức? - một lần nữa điều này phụ thuộc vào đạo đức. Tôi có thể thấy một tuyên bố đạo đức trong đó loại thực hành này sẽ là bất hợp pháp vì nó cũng sẽ phân biệt đối xử dựa trên giới tính nhưng theo một cách khác.

Những gì câu chuyện trên Amazon cho thấy là rất khó để tránh sự thiên vị. Tôi nghi ngờ rằng Amazon đã thuê những người câm cho vấn đề này hoặc họ thiếu kỹ năng hoặc họ không có đủ dữ liệu hoặc họ không có đủ tín dụng AWS để đào tạo một mô hình tốt hơn. Vấn đề là các thuật toán học máy phức tạp rất giỏi trong việc học các mẫu trong dữ liệu, sai lệch giới tính chính xác là kiểu mẫu đó. Có sự thiên vị trong dữ liệu, vì các nhà tuyển dụng (có ý thức hay không), ưa thích các ứng cử viên nam. Tôi không nói ở đây rằng Amazon là một công ty phân biệt ứng cử viên, tôi chắc chắn họ có hàng ngàn chính sách chống phân biệt đối xử và cũng thuê những nhà tuyển dụng khá giỏi. Vấn đề với sự thiên vị và định kiến ​​này là tồn tại cho dù bạn có cố gắng chống lại nó đến mức nào. Có hàng tấn thí nghiệm tâm lý cho thấy mọi người có thể tuyên bố không thiên vị (ví dụ phân biệt chủng tộc), nhưng vẫn thực hiện những hành động thiên vị, thậm chí không nhận ra điều đó. Nhưng trả lời câu hỏi của bạn, để có thuật toán không bị sai lệch, bạn sẽ cần bắt đầu với dữ liệu không có loại sai lệch này. Các thuật toán học máy học cách nhận biết và lặp lại các mẫu mà chúng nhìn thấy trong dữ liệu, vì vậy nếu dữ liệu của bạn ghi lại các quyết định sai lệch, thuật toán có thể sẽ học và khuếch đại các sai lệch đó.

Điều thứ hai là quản lý dữ liệu. Nếu bạn muốn cấm thuật toán của mình học cách đưa ra quyết định thiên vị, bạn nên xóa tất cả thông tin có thể giúp phân biệt giữa các nhóm lợi ích (giới tính ở đây). Điều này không có nghĩa là chỉ xóa thông tin về giới tính, mà còn tất cả các thông tin có thể dẫn đến việc xác định giới tính và điều này có thể là rất nhiều điều. Có những cái rõ ràng như tên và ảnh, nhưng cũng có những cái gián tiếp, ví dụ như nghỉ việc của mẹ, nhưng cũng có giáo dục (nếu ai đó đi học chỉ dành cho nữ?), Hoặc thậm chí lịch sử công việc (nói rằng nhà tuyển dụng trong công ty của bạn không thiên vị , nhưng điều gì sẽ xảy ra nếu mọi nhà tuyển dụng khác trước đó bị thiên vị, vì vậy lịch sử công việc phản ánh tất cả những quyết định thiên vị đó?), v.v. Như bạn có thể thấy,

Đối với câu hỏi 2. và 3., không có câu trả lời dễ dàng và tôi không cảm thấy đủ thẩm quyền để thử trả lời chi tiết. Có hàng tấn tài liệu về cả định kiến ​​và thiên vị trong xã hội, và về thiên kiến ​​thuật toán. Điều này luôn phức tạp và thật không may, không có công thức đơn giản cho việc này. Các công ty, như Google, thuê các chuyên gia có vai trò xác định và ngăn chặn sự thiên vị này trong các thuật toán.

1. Tôi có nên sử dụng giới tính (hoặc bất kỳ dữ liệu nào tương quan với nó) làm đầu vào và cố gắng sửa hiệu ứng của chúng hoặc tránh sử dụng những dữ liệu này?

Có một số hàm ý của câu hỏi này rút ra những điều sau đây, Tôi có muốn trở thành một kỹ sư xã hội; một nhà hoạt động có vai trò thay đổi hiện trạng vì tôi đã quyết định rằng xã hội bị bệnh và cần phải trị liệu?Câu trả lời rõ ràng cho điều này phụ thuộc vào việc thay đổi như vậy có lợi hay hại. Ví dụ: câu trả lời cho "Chúng ta sẽ đạt được gì từ bình đẳng giới cho nhân viên điều dưỡng?" có thể là có ít nhất một y tá nam sẵn sàng để đặt ống thông tiểu ở nam giới sẽ không yêu cầu tới 50% y tá là nam giới. Vì vậy, phương pháp kỹ thuật xã hội kiểm tra các nền văn hóa, bối cảnh và vấn đề khác nhau với xu hướng giới đã biết và đặt ra những lợi ích chức năng cần có từ sự thay đổi nguyên nhân gốc rễ của sự thiên vị đó. Đây là một bước thiết yếu trong quá trình ra quyết định. Bây giờ, câu trả lời cho câu hỏi 1. là một câu trả lời không, nghĩa là, một khi đã quyết định rằng xã hội cần sửa chữa, người ta chỉ cần thêm một ngôi sao, hoặc một phần trong đó (xem bên dưới), cho các ứng viên nữ, nhưng hãy cẩn thận với những gì bạn mong muốn bởi vì đây là hành động khẳng định, bản thân nó vốn là sự phân biệt đối xử. Bất kỳ kết quả AI nào cũng sẽ thay đổi để phản ánh các chỉ tiêu tuyển dụng mới, một khi các kết quả đó được thiết lập như một chuẩn mực chức năng mới.

2. Làm cách nào để kiểm tra sự vắng mặt của phân biệt đối xử đối với giới?

Đủ đơn giản, sau khi xếp hạng được chỉ định, người ta thực hiện phân tích bài hoc để xem phân phối xếp hạng dành cho nam và nữ và so sánh chúng.

3. Làm cách nào để sửa mô hình của tôi cho dữ liệu phân biệt đối xử nhưng tôi không muốn vì lý do đạo đức?

Điều này là không thể tránh khỏi được thực hiện sau khi thực tế, tức là, bài hoc . Suy nghĩ cũng là cần thiết, nhưng loại suy nghĩ cần thiết nhất là một nỗ lực phối hợp để kiểm tra phê phán những giả định của các kỹ sư xã hội là gì. Đó là, giả sử (vì lý do tranh luận, xem bên dưới) nó có thể hợp lý về mặt xã hội để loại bỏ mọi khuynh hướng giới tính, người ta chỉ điều chỉnh xếp hạng nữ để tuân theo phân phối theo kinh nghiệm giống như nam giới. Trong kinh doanh giảng dạy, điều này sẽ được gọi là chấm điểm trên một đường cong. Hơn nữa, chúng ta hãy giả sử rằng có thể không muốn loại bỏ hoàn toàn sai lệch giới tính (có thể quá khó để làm như vậy), sau đó người ta có thể loại bỏ một phần sai lệch, ví dụ: trung bình có trọng số theo cặp của mỗi phụ nữ bản địa xếp hạng và xếp hạng được sửa chữa hoàn toàn của nó, với bất kỳ trọng số nào người ta muốn gán mà được cho là (hoặc được kiểm tra là) ít gây hại nhất và / hoặc có lợi nhất.

Sự chênh lệch giới tính không thể được thay đổi một cách hợp lý bằng cách thuê chính sách một mình vì trong một số lĩnh vực có sự khan hiếm tương đối của các ứng cử viên nữ. Ví dụ, ở Ba Lan, 14,3% sinh viên CNTT là nữ năm 2018 và ở Úc 17% . Sau khi được thuê, việc giữ chân phụ nữ trong các ngành công nghiệp thâm dụng công nghệ là vấn đề (Phụ nữ đóng vai trò kinh doanh trong các ngành thâm dụng công nghệ dành cho các ngành khác với tỷ lệ cao. 53% phụ nữ, so với 31% nam giới.) quan trọng hơn chính sách tuyển dụng một mình. Trước tiên, một người cần xác định một lợi ích hữu hình để có bất kỳ tỷ lệ nữ cụ thể nào ở nơi làm việc, và có một số gợi ý về điều này, ví dụ, vào năm 2016, phụ nữ trong hội đồng quản trị công ty (16%) gần như gấp đôi so với các đồng nghiệp nam (9%) có kinh nghiệm công nghệ chuyên nghiệp trong số 518 công ty Forbes Global 2000. Do đó, sự hiểu biết về công nghệ dường như đóng góp nhiều hơn cho nữ so với giá trị ròng của nam giới. Từ cuộc thảo luận này, rõ ràng là trước khi đưa ra các giả định về giới cụ thể, cần nỗ lực đáng kể để xác định các lợi ích cụ thể toàn cầu hơn của các chính sách cụ thể trong đó chính sách tuyển dụng chỉ là một phần nhỏ, mặc dù quan trọng, và có lẽ không phải là quan trọng nhất điểm khởi đầu. Điều đó sau đó rõ ràng là việc duy trì tuyển dụng vì doanh thu có hại cho đạo đức và có thể là nguyên nhân sâu xa của sự thiên vị giới trong tuyển dụng.

Kinh nghiệm quản lý của tôi đã dạy tôi rằng ngay cả những thay đổi nhỏ trong sản lượng công việc (ví dụ 10-20%) cũng khá hiệu quả trong việc loại bỏ danh sách chờ, nghĩa là, không cần phải tăng ngay 100% sản lượng bằng cách nhân đôi số lượng nhân viên vì hiệu quả của điều đó sẽ rút ngắn danh sách chờ chỉ nhanh hơn một chút so với thay đổi nhỏ hơn, nhưng sau đó sẽ bị gián đoạn vì nhân viên sau đó sẽ đứng xung quanh với hy vọng rằng công việc sẽ đi vào cửa. Đó là, nếu một người quyết định làm kỹ thuật xã hội, có thể có hại khi cố gắng điều chỉnh đầy đủ; Nó không hoạt động theo cách đó. Hãy thử điều đó với một sự điều chỉnh khóa học đột ngột trên một chiếc thuyền buồm, và người ta có thể bắt đầu thực hiện các bài học bơi của một người. Tương đương để điều trị sai lệch giới tính (nếu phù hợp với đơn thuốc), sẽ chỉ thuê phụ nữ. Điều đó sẽ giải quyết vấn đề (và tạo ra những người khác). Vì thế,

Tóm lại, kỹ thuật xã hội hiệu quả đòi hỏi một cách tiếp cận toàn diện đối với các tình huống phức tạp và chỉ xác định rằng có thể có một vấn đề không cho chúng ta biết có một vấn đề, không cho chúng ta biết nguyên nhân gây ra nó, không cho chúng ta biết cách khắc phục và thực sự tất cả những gì nó nói với chúng ta là chúng ta phải đặt mũ suy nghĩ của mình.