Cách tốt nhất để phát hiện hình ảnh khiêu dâm theo chương trình là gì? [đóng cửa]

Akismet thực hiện một công việc tuyệt vời trong việc phát hiện các bình luận spam. Nhưng bình luận không phải là hình thức duy nhất của thư rác ngày nay. Điều gì sẽ xảy ra nếu tôi muốn một thứ gì đó như akismet tự động phát hiện hình ảnh khiêu dâm trên một trang mạng xã hội cho phép người dùng tải lên ảnh, hình đại diện, v.v. của họ?

Đã có một số công cụ tìm kiếm dựa trên hình ảnh cũng như công cụ nhận dạng khuôn mặt có sẵn, vì vậy tôi cho rằng nó không phải là khoa học tên lửa và nó có thể được thực hiện. Tuy nhiên, tôi không có manh mối nào về cách thức hoạt động của công cụ đó và cách tôi nên xử lý nó nếu tôi muốn phát triển nó từ đầu.

Tôi nên bắt đầu như thế nào?

Có dự án mã nguồn mở nào cho việc này đang diễn ra không?

Điều này được viết vào năm 2000, không chắc liệu trình độ phát hiện khiêu dâm có tiến bộ hay không, nhưng tôi nghi ngờ điều đó.

http://www.dansdata.com/pornsweeper.htm

PORNsweeper dường như có một số khả năng để phân biệt ảnh của người với ảnh của những thứ không phải là người, miễn là ảnh có màu sắc. Việc phân biệt ảnh bẩn của người với ảnh sạch sẽ kém thành công hơn.

Với độ nhạy trung bình, mặc định, nếu Bộ phận Nhân sự gửi một bức ảnh về chương mới trong Tài khoản, bạn có khoảng 50% cơ hội nhận được nó. Nếu em gái của bạn gửi cho bạn một bức ảnh của đứa trẻ sáu tháng tuổi, thì khả năng là bạn sẽ bị giam giữ.

Chỉ công bằng khi chỉ ra những lỗi gây cười, chẳng hạn như gọi Mona Lisa là khiêu dâm, nếu chúng đại diện cho hành vi của phần mềm. Nếu các nhà sản xuất thừa nhận rằng trình thu nhận hình ảnh theo thuật toán của họ sẽ làm rơi quả bóng 15% thời gian, thì việc chế giễu nó là điều ngớ ngẩn.

Nhưng PORNsweeper dường như chỉ tuân theo các thông số kỹ thuật đã nêu trong một bộ phận - phát hiện nội dung khiêu dâm thực tế. Việc phát hiện nội dung khiêu dâm được một nửa là tốt, nhưng việc phát hiện những bức ảnh sạch sẽ thì lại tệ. Và tôi sẽ không ngạc nhiên nếu không có bước nhảy vọt nào được thực hiện trong lĩnh vực này trong tương lai gần.

Điều này thực sự dễ dàng một cách hợp lý. Bạn có thể lập trình phát hiện tông màu da - và hình ảnh khiêu dâm có xu hướng có nhiều màu da. Điều này sẽ tạo ra các kết quả dương tính giả nhưng nếu đây là vấn đề, bạn có thể chuyển các hình ảnh được phát hiện qua kiểm duyệt thực tế. Điều này không chỉ làm giảm đáng kể công việc cho người kiểm duyệt mà còn cung cấp cho bạn nhiều nội dung khiêu dâm miễn phí. Đó là đôi bên cùng có lợi.

#!python    
import os, glob
from PIL import Image

def get_skin_ratio(im):
    im = im.crop((int(im.size[0]*0.2), int(im.size[1]*0.2), im.size[0]-int(im.size[0]*0.2), im.size[1]-int(im.size[1]*0.2)))
    skin = sum([count for count, rgb in im.getcolors(im.size[0]*im.size[1]) if rgb[0]>60 and rgb[1]<(rgb[0]*0.85) and rgb[2]<(rgb[0]*0.7) and rgb[1]>(rgb[0]*0.4) and rgb[2]>(rgb[0]*0.2)])
    return float(skin)/float(im.size[0]*im.size[1])

for image_dir in ('porn','clean'):
    for image_file in glob.glob(os.path.join(image_dir,"*.jpg")):
        skin_percent = get_skin_ratio(Image.open(image_file)) * 100
        if skin_percent>30:
            print "PORN {0} has {1:.0f}% skin".format(image_file, skin_percent)
        else:
            print "CLEAN {0} has {1:.0f}% skin".format(image_file, skin_percent)

Mã này đo tông màu da ở trung tâm của hình ảnh. Tôi đã thử nghiệm trên 20 hình ảnh "khiêu dâm" tương đối thuần hóa và 20 hình ảnh hoàn toàn vô tội. Nó gắn cờ 100% hình ảnh "khiêu dâm" và 4/20 hình ảnh sạch sẽ. Đó là một tỷ lệ dương tính giả khá cao nhưng kịch bản nhằm mục đích khá thận trọng và có thể được điều chỉnh thêm. Nó hoạt động trên các tông màu da sáng, tối và châu Á.

Điểm yếu chính của ảnh giả là các vật thể màu nâu như cát và gỗ và tất nhiên nó không biết sự khác biệt giữa da thịt "xấu" và "đẹp" (như ảnh chụp khuôn mặt).

Điểm yếu của âm bản giả sẽ là hình ảnh không có nhiều da thịt lộ ra ngoài (như da trói), da được sơn hoặc có hình xăm, hình ảnh B&W, v.v.

mã nguồn và hình ảnh mẫu

Tôi muốn cho phép người dùng báo cáo về hình ảnh xấu. Việc phát triển nhận dạng hình ảnh có thể tốn quá nhiều nỗ lực và thời gian và sẽ không chính xác bằng mắt người. Sẽ rẻ hơn nhiều nếu thuê ngoài công việc điều độ đó.

Hãy xem: Amazon Mechanical Turk

" Amazon Mechanical Turk (MTurk) là một trong bộ Amazon Web Services, một thị trường cung cấp dịch vụ đám đông cho phép các chương trình máy tính phối hợp sử dụng trí thông minh của con người để thực hiện các nhiệm vụ mà máy tính không thể làm được."

• Mô hình Bag-of-Visual-Words cho phân loại và lọc hình ảnh dành cho người lớn
• Cách tốt nhất để phát hiện hình ảnh khiêu dâm theo chương trình là gì?
• Khảo sát ngắn gọn về phần mềm phát hiện khiêu dâm / xóa nội dung khiêu dâm
• Phát hiện hình ảnh kỹ thuật số khiêu dâm (2011!)

BÙM! Đây là whitepaper có chứa thuật toán.

Có ai biết nơi lấy mã nguồn để triển khai java (hoặc bất kỳ ngôn ngữ nào) không?

Điều đó sẽ làm rung chuyển.

Một thuật toán được gọi là WISE có tỷ lệ chính xác 98% nhưng tỷ lệ dương tính giả là 14%. Vì vậy, những gì bạn làm là bạn để người dùng gắn cờ 2% âm tính giả, lý tưởng là tự động xóa nếu một số người dùng nhất định gắn cờ nó và yêu cầu người kiểm duyệt xem 14% âm tính giả.

Nude.js dựa trên whitepaper của Rigan Ap-apid từ Đại học De ​​La Salle.

Có phần mềm phát hiện xác suất khiêu dâm, nhưng đây không phải là khoa học chính xác, vì máy tính không thể nhận ra đâu là ảnh thực sự trên ảnh (ảnh chỉ là một tập hợp lớn các giá trị trên một lưới không có nghĩa). Bạn có thể chỉ cho máy tính biết thế nào là khiêu dâm và thế nào là không bằng cách đưa ra các ví dụ. Điều này có nhược điểm là nó sẽ chỉ nhận ra những hình ảnh này hoặc tương tự.

Với tính chất lặp đi lặp lại của nội dung khiêu dâm, bạn có cơ hội tốt nếu bạn đào tạo hệ thống với một vài kết quả tích cực sai. Ví dụ: nếu bạn đào tạo hệ thống với những người khỏa thân, nó có thể gắn cờ các bức ảnh về bãi biển có người khỏa thân "gần như" cũng là khiêu dâm.

Một phần mềm tương tự là phần mềm facebook mới ra đời gần đây. Nó chỉ chuyên biệt trên khuôn mặt. Nguyên tắc chính là như nhau.

Về mặt kỹ thuật, bạn sẽ triển khai một số loại máy dò tính năng sử dụng bộ lọc bayes. Bộ phát hiện tính năng có thể tìm kiếm các tính năng như tỷ lệ phần trăm pixel màu da thịt nếu đó là một bộ dò đơn giản hoặc chỉ tính toán độ tương đồng của hình ảnh hiện tại với một tập hợp các hình ảnh khiêu dâm đã lưu.

Tất nhiên, điều này không chỉ giới hạn ở nội dung khiêu dâm, nó thực sự là một trường hợp nhỏ hơn. Tôi nghĩ phổ biến hơn là các hệ thống cố gắng tìm những thứ khác trong hình ảnh ;-)

Câu trả lời thực sự dễ dàng: Khá an toàn khi nói rằng điều đó sẽ không thể xảy ra trong hai thập kỷ tới. Trước đó, chúng tôi có thể sẽ nhận được các công cụ dịch tốt. Lần cuối cùng tôi kiểm tra, các nhân viên AI đã gặp khó khăn trong việc xác định cùng một chiếc xe trên hai bức ảnh được chụp từ một góc hơi thay đổi. Hãy xem họ đã mất bao lâu để có được OCR hoặc nhận dạng giọng nói đủ tốt cùng nhau. Đó là những vấn đề về nhận dạng có thể được hưởng lợi rất nhiều từ các từ điển và vẫn còn lâu mới có giải pháp hoàn toàn đáng tin cậy mặc dù đã có hàng triệu tháng công lao vào chúng.

Điều đó đang được nói rằng bạn có thể chỉ cần thêm một "cuộc tấn công?" liên kết bên cạnh đối thủ do người dùng tạo và có bản mod kiểm tra chéo các khiếu nại đến.

biên tập:

Tôi quên một điều: NẾU bạn định triển khai một số loại bộ lọc, bạn sẽ cần một bộ lọc đáng tin cậy. Nếu giải pháp của bạn đúng 50%, 2000 trong số 4000 người dùng có hình ảnh đẹp sẽ bị chặn. Mong đợi một sự phẫn nộ.

Một sinh viên tốt nghiệp từ Đại học Quốc gia Cheng Kung ở Đài Loan đã thực hiện một nghiên cứu về chủ đề này vào năm 2004. Anh ta đã có thể đạt được tỷ lệ thành công 89,79% trong việc phát hiện các bức ảnh khỏa thân tải xuống từ Internet. Đây là liên kết đến luận án của anh ấy: Nghiên cứu phát hiện hình ảnh người khỏa thân dựa trên màu da
Nó bằng tiếng Trung, do đó bạn có thể cần một người phiên dịch trong trường hợp bạn không đọc được.

câu trả lời ngắn gọn: sử dụng một người kiểm duyệt;)

Câu trả lời dài: Tôi không nghĩ có một dự án vì lý do này, phim khiêu dâm là gì? Chỉ có đôi chân, toàn bộ ảnh khoả thân, vòng một, v.v. Chủ quan của nó.

Thêm một liên kết xúc phạm và lưu trữ md5 (hoặc hàm băm khác) của hình ảnh vi phạm để nó có thể tự động được gắn thẻ trong tương lai.

Thật tuyệt làm sao nếu ai đó có một cơ sở dữ liệu công khai lớn về hình ảnh md5 cùng với các thẻ mô tả đang chạy như một dịch vụ web? Rất nhiều nội dung khiêu dâm không phải là tác phẩm gốc (trong đó người có nó bây giờ có lẽ đã không làm được) và những hình ảnh phổ biến có xu hướng trôi nổi ở nhiều nơi khác nhau, vì vậy điều này thực sự có thể tạo ra sự khác biệt.

Nếu bạn thực sự có thời gian và tiền bạc:

Một cách thực hiện là 1) Viết một thuật toán phát hiện hình ảnh để tìm xem một đối tượng có phải là người hay không. Điều này có thể được thực hiện bằng cách tạo bitmasking một hình ảnh để lấy ra "đường viền" của nó và xem liệu đường viền có phù hợp với đường viền của con người hay không.

2) Dữ liệu khai thác nhiều hình ảnh khiêu dâm và sử dụng các kỹ thuật khai thác dữ liệu như thuật toán C4 hoặc Tối ưu hóa bầy đàn để tìm hiểu cách phát hiện mẫu phù hợp với hình ảnh khiêu dâm.

Điều này sẽ yêu cầu bạn xác định đường nét của một người đàn ông / phụ nữ khỏa thân trên cơ thể người phải trông như thế nào ở định dạng số hóa (điều này có thể đạt được theo cách hoạt động của thuật toán nhận dạng hình ảnh OCR).

Hy vọng bạn vui vẻ! :-)

Đối với tôi, có vẻ như trở ngại chính là xác định một "hình ảnh khiêu dâm". Nếu bạn có thể xác định nó một cách dễ dàng, bạn có thể viết một cái gì đó phù hợp. Nhưng ngay cả con người cũng không thể đồng ý về thế nào là khiêu dâm. Làm thế nào ứng dụng sẽ biết? Kiểm duyệt người dùng có lẽ là đặt cược tốt nhất của bạn.

Tôi đã thấy một ứng dụng lọc web có chức năng lọc hình ảnh khiêu dâm, xin lỗi tôi không nhớ được tên. Nó khá dễ bị dương tính giả tuy nhiên hầu hết thời gian nó hoạt động.

Tôi nghĩ thủ thuật chính là phát hiện "quá nhiều da trên bức tranh :)

Phát hiện hình ảnh khiêu dâm vẫn là một nhiệm vụ AI nhất định, vốn còn rất nhiều lý thuyết.

Khai thác sức mạnh tập thể và trí tuệ con người bằng cách thêm nút / liên kết "Báo cáo spam / lạm dụng". Hoặc thuê một số người điều hành để làm công việc này.

PS Thực sự ngạc nhiên khi nhiều người đặt câu hỏi giả sử phần mềm và thuật toán là toàn năng mà không hề nghĩ liệu những gì họ muốn có thể thực hiện được hay không. Họ có phải là đại diện cho lứa lập trình viên mới không hiểu gì về phần cứng, lập trình cấp thấp và tất cả những thứ "ma thuật đằng sau" đó không?

Tái bút # 2. Tôi cũng nhớ rằng thường xuyên xảy ra một số tình huống khi chính mọi người không thể quyết định xem một bức ảnh là khiêu dâm hay nghệ thuật sẽ bị đưa ra tòa. Ngay cả sau khi tòa ra phán quyết, rất có thể một nửa số người sẽ coi quyết định đó là sai. Tình huống ngu ngốc cuối cùng thuộc loại này là gần đây khi một trang Wikipedia bị cấm ở Vương quốc Anh vì ảnh bìa đĩa CD có một số cảnh khỏa thân.

Tôi có thể nghĩ đến hai lựa chọn (mặc dù cả hai đều không phát hiện khiêu dâm theo chương trình):

1. Chặn tất cả các hình ảnh đã tải lên cho đến khi một trong các quản trị viên của bạn xem chúng. Không có lý do gì khiến việc này mất nhiều thời gian: bạn có thể viết một số phần mềm hiển thị 10 hình ảnh mỗi giây, gần như một bộ phim - ngay cả với tốc độ này, con người cũng dễ dàng phát hiện ra một hình ảnh có khả năng khiêu dâm. Sau đó, bạn tua lại phần mềm này và xem kỹ hơn.
2. Thêm tùy chọn thông thường "gắn cờ hình ảnh này là không phù hợp".

Các BrightCloud dịch vụ web API là hoàn hảo cho việc này. Đó là một API REST để thực hiện các tra cứu trang web như thế này. Nó chứa một DB lọc web rất lớn và rất chính xác và một trong những danh mục, Người lớn, đã xác định được hơn 10 triệu trang web khiêu dâm!

Tôi đã nghe nói về các công cụ sử dụng thuật toán rất đơn giản nhưng khá hiệu quả. Thuật toán đã tính toán lượng pixel tương đối có giá trị màu gần với một số màu "da" được xác định trước. Nếu số tiền đó cao hơn một số giá trị được xác định trước thì hình ảnh được coi là có nội dung khiêu dâm / khiêu dâm. Tất nhiên thuật toán đó sẽ cho kết quả dương tính giả đối với những bức ảnh cận cảnh khuôn mặt và nhiều thứ khác.
Vì bạn đang viết về mạng xã hội sẽ có rất nhiều ảnh "bình thường" với lượng màu da cao trên đó, vì vậy bạn không nên sử dụng thuật toán này để từ chối tất cả các bức ảnh có kết quả dương tính. Nhưng bạn có thể sử dụng nó để cung cấp một số trợ giúp cho người kiểm duyệt, chẳng hạn như gắn cờ các ảnh này với mức độ ưu tiên cao hơn,

Cái này có vẻ đầy hứa hẹn. Về cơ bản, chúng phát hiện da (với hiệu chỉnh bằng cách nhận dạng khuôn mặt) và xác định "đường đi của da" (tức là đo tỷ lệ pixel da so với pixel da mặt / pixel da). Điều này có hiệu suất khá. http://www.prip.tuwien.ac.at/people/julian/skin-detection

Nhìn vào tên tệp và bất kỳ thuộc tính nào. Gần như không có đủ thông tin để phát hiện thậm chí 20% hình ảnh nghịch ngợm, nhưng một danh sách đen từ khóa đơn giản ít nhất sẽ phát hiện hình ảnh có nhãn mô tả hoặc siêu dữ liệu. 20 phút viết mã để có tỷ lệ thành công 20% ​​không phải là một việc tồi, đặc biệt là khi một màn hình đặt trước ít nhất có thể bắt được một số đơn giản trước khi bạn chuyển phần còn lại cho người kiểm duyệt đánh giá.

Một thủ thuật hữu ích khác là ngược lại tất nhiên, hãy duy trì một danh sách trắng các nguồn hình ảnh để cho phép mà không cần kiểm duyệt hoặc kiểm tra. Nếu hầu hết hình ảnh của bạn đến từ những người tải lên hoặc nguồn an toàn đã biết, bạn chỉ có thể chấp nhận chúng một cách ràng buộc.

Hôm nay tôi sẽ không cố gắng xác định thêm về các loại tài liệu mà tôi hiểu sẽ được chấp nhận trong mô tả viết tắt đó ["nội dung khiêu dâm cốt lõi"]; và có lẽ tôi không bao giờ có thể thành công khi làm như vậy một cách dễ hiểu. Nhưng tôi biết điều đó khi tôi nhìn thấy nó, và hình ảnh chuyển động liên quan đến trường hợp này không phải vậy.

- Thẩm phán Tòa án Tối cao Hoa Kỳ Potter Stewart, 1964

Bạn có thể tìm thấy nhiều sách trắng trên mạng về chủ đề này.

Đây không phải là khoa học tên lửa. Không còn nữa. Nó rất giống với nhận dạng khuôn mặt. Tôi nghĩ rằng cách dễ nhất để giải quyết nó là sử dụng học máy. Và vì chúng ta đang xử lý hình ảnh, tôi có thể hướng tới các mạng nơ-ron thần kinh, vì chúng dường như được ưu tiên hơn cho hình ảnh. Bạn sẽ cần dữ liệu đào tạo. Và bạn có thể tìm thấy rất nhiều dữ liệu đào tạo trên internet nhưng bạn phải cắt hình ảnh đến phần cụ thể mà bạn muốn thuật toán phát hiện. Tất nhiên, bạn sẽ phải chia vấn đề thành các phần cơ thể khác nhau mà bạn muốn phát hiện và tạo dữ liệu huấn luyện cho từng phần, và đây là lúc mọi thứ trở nên thú vị.

Giống như ai đó ở trên đã nói, nó không thể được thực hiện 100% phần trăm. Sẽ có trường hợp các thuật toán như vậy bị lỗi. Độ chính xác thực tế sẽ được xác định bởi dữ liệu đào tạo của bạn, cấu trúc mạng lưới thần kinh của bạn và cách bạn sẽ chọn để phân cụm dữ liệu đào tạo (dương vật, âm đạo, ngực, v.v. và kết hợp của những thứ đó). Trong mọi trường hợp, tôi rất tin tưởng rằng điều này có thể đạt được với độ chính xác cao đối với hình ảnh khiêu dâm rõ ràng.

Đây là một máy dò ảnh khoả thân. Tôi đã không thử nó. Đó là OSS duy nhất tôi có thể tìm thấy.

https://code.google.com/p/nudetech

Không có cách nào bạn có thể làm điều này 100% (tôi sẽ nói có thể 1-5% sẽ là chính đáng) với kiến ​​thức ngày nay. Bạn sẽ nhận được kết quả tốt hơn nhiều (so với 1-5% đó) chỉ cần kiểm tra tên hình ảnh cho các từ liên quan đến tình dục :).

@SO Troll: Đúng vậy.