Tôi có thể lấy một bộ văn bản mẫu đa dạng ở đâu? [đóng cửa]

Tôi đang cố gắng thu thập số liệu thống kê về các chuỗi ký tự hoặc từ được sử dụng trong ngôn ngữ tiếng Anh để sử dụng trong một dự án phần mềm.

Tôi có thể lấy số lượng lớn (vài GB sẽ tốt) ở đâu trong văn bản thuần tiếng Anh bao gồm nhiều chủ đề khác nhau?

Bạn có thể sử dụng bãi chứa dữ liệu của Wikipedia . Kết xuất dữ liệu XML cho Wikipedia tiếng Anh chỉ bao gồm các bản sửa đổi hiện tại là khoảng 31 GB, vì vậy tôi muốn nói rằng đó sẽ là một khởi đầu tốt cho nghiên cứu của bạn. Kết xuất dữ liệu khá lớn, vì vậy bạn nên xem xét trích xuất các văn bản từ XML bằng trình phân tích cú pháp SAX. WikiXMLJ là một API Java tiện dụng được điều chỉnh cho Wikipedia.

Và sau đó, tất nhiên, luôn có các bãi chứa dữ liệu Stack Exchange . Trang web mới nhất bao gồm tất cả các trang web Stack Exchange không beta công khai và các trang Meta tương ứng cho đến tháng 9 năm 2011. Nhưng, các bài đăng Stack Exchange tự nhiên tập trung vào phạm vi của từng trang web, vì vậy có thể không khái quát như bạn muốn. Các bài viết meta là một chút tổng quát hơn, vì vậy bạn có thể xem xét những người ngoài Wikipedia.

Tôi không nghĩ rằng bạn sẽ tìm thấy bất cứ điều gì tốt hơn, đặc biệt là trong văn bản đơn giản. Một số bộ dữ liệu mở có sẵn thông qua Trung tâm dữ liệu , nhưng tôi nghĩ rằng kết xuất dữ liệu Wikipedia tiếng Anh rất gần với những gì bạn đang tìm kiếm.

Google có một bộ các tập dữ liệu mà họ sử dụng để xác định xác suất n-gram. Kiểm tra bộ dữ liệu bigram (2 gram) của họ sẽ cho bạn một bức tranh đẹp. Có rất nhiều corpi khác mà những phân tích này đã được thực hiện.

Dự án Gutenberg có một khối lượng lớn các văn bản bằng tiếng Anh, đã ở dạng văn bản.

Dự án Gutenberg cung cấp hơn 42.000 sách điện tử miễn phí: chọn trong số các sách epub miễn phí, sách kindle miễn phí, tải xuống hoặc đọc chúng trực tuyến.

Chúng tôi mang theo sách điện tử chất lượng cao: Tất cả các sách điện tử của chúng tôi đã được xuất bản trước đây bởi các nhà xuất bản thực sự. Chúng tôi đã số hóa và siêng năng đọc lại chúng với sự giúp đỡ của hàng ngàn tình nguyện viên ...

Để thống kê, có lẽ bạn đang xem "Tần số Bigram trong ngôn ngữ tiếng Anh". Hãy xem: Thống kê Wiki-Bigram

đối với việc tìm một văn bản lớn, lưu ý rằng tần số sẽ bị sai lệch so với loại văn bản. Ví dụ: nếu bạn phân tích địa chỉ, bạn sẽ nhận được kết quả khác nhau từ việc phân tích các câu chuyện trên báo. Nếu bạn chỉ muốn kiểm tra, bạn có thể sử dụng tệp PDF của bất kỳ cuốn sách nào (tốt hơn không phải là toán học hoặc lập trình hoặc sách y tế) và chuyển đổi nó thành văn bản sau đó chạy thử nghiệm của bạn. Bạn cũng có thể chuyển đổi các trang web báo thành văn bản và làm việc trên đó.