Kỹ thuật máy học để phân tích chuỗi?

Tôi có rất nhiều chuỗi địa chỉ:

1600 Pennsylvania Ave, Washington, DC 20500 USA

Tôi muốn phân tích chúng thành các thành phần của chúng:

street: 1600 Pennsylvania Ave
city: Washington
province: DC
postcode: 20500
country: USA

Nhưng tất nhiên dữ liệu là bẩn: nó đến từ nhiều quốc gia bằng nhiều ngôn ngữ, được viết theo nhiều cách khác nhau, chứa lỗi chính tả, thiếu các mảnh, có thêm rác, v.v.

Ngay bây giờ cách tiếp cận của chúng tôi là sử dụng các quy tắc kết hợp với công cụ tìm kiếm mờ, nhưng chúng tôi muốn khám phá các kỹ thuật học máy. Chúng tôi đã dán nhãn dữ liệu đào tạo cho việc học có giám sát. Câu hỏi là, loại vấn đề máy học này là gì? Nó không thực sự có vẻ là phân cụm, hoặc phân loại hoặc hồi quy ....

Cách gần nhất tôi có thể đưa ra là phân loại từng mã thông báo, nhưng sau đó bạn thực sự muốn phân loại tất cả chúng đồng thời, thỏa mãn các ràng buộc như "nên có nhiều nhất một quốc gia;" và thực sự có nhiều cách để token hóa một chuỗi, và bạn muốn thử từng chuỗi và chọn thứ tốt nhất .... Tôi biết có tồn tại một thứ gọi là phân tích thống kê, nhưng không biết gì về nó.

Vậy: tôi có thể khám phá những kỹ thuật máy học nào để phân tích địa chỉ?

Đây có thể được xem là một vấn đề ghi nhãn trình tự , trong đó bạn có một chuỗi các mã thông báo và muốn phân loại cho từng loại. Bạn có thể sử dụng các mô hình Markov ẩn (HMM) hoặc các trường ngẫu nhiên có điều kiện (CRF) để giải quyết vấn đề. Có các triển khai tốt HMM và CRF trong gói nguồn mở có tên Mallet .

Trong ví dụ của bạn, bạn nên chuyển đổi đầu vào sang định dạng bên dưới. Hơn nữa, bạn nên tạo ra các tính năng bổ sung.

1600 STREET
Pennsylvania STREET
Ave STREET
, OUT
Washington CITY
, OUT
DC PROVINCE
20500 POSTCODE
USA COUNTRY

Tôi đã phải giải quyết một vấn đề rất giống nhau để xác thực xem một địa chỉ hợp lệ hay không hợp lệ.

Địa chỉ điển hình có cấu trúc "1600 Pennsylvania Ave, Washington DC, 20500"

Một chuỗi như

"Tôi đã đi xuống 2000 bước và đến Pennsylvania Ave ở Washington DC."

không phải là một địa chỉ hợp lệ.

Điều này có thể được giải quyết bằng các kỹ thuật phân loại như SVM, Mạng nơ-ron, v.v.

Ý tưởng là xác định một bộ tính năng chính. Một số trong số này có thể là:

1) Tên đường phố có bắt đầu bằng số khối hợp lệ không. Hầu hết các số khối ở Hoa Kỳ là số (ví dụ 1200) hoặc số được theo sau bởi một chữ cái (120A) hoặc một số theo sau một chữ cái (ví dụ S200).

2) Nếu địa chỉ được định dạng tốt, tên đường phố kết thúc bằng các hậu tố như Ave for avenue, Dr for Drive, Blvd for Boulevard. Có thể lấy danh sách hậu tố đường phố Hoa Kỳ từ trang USPS.

3) Số lượng từ trong trường địa chỉ đường phố cũng có thể là một tính năng thú vị. Nếu có quá nhiều từ, nó có thể không phải là một địa chỉ hợp lệ. Ví dụ xem ví dụ trên.

4) Có bao nhiêu từ xuất hiện giữa số khối và hậu tố đường phố trong trường địa chỉ?

Chúng có thể được sử dụng để huấn luyện một thuật toán học tập và mô hình kết quả có thể được sử dụng để xác nhận nếu một địa chỉ nhất định có hợp lệ hay không.

Đây là một chút hack không yêu cầu giải pháp của riêng bạn: mã hóa địa lý ngược. Điều này có thể cung cấp cho bạn dữ liệu sạch hơn hoặc thực sự làm tất cả công việc cho bạn.

Ví dụ: đây là một số mã Stata với geocode3từ SSC, sử dụng Google. Tôi đoán điều này tương tự như Fuzzy Gazetteer . Địa chỉ đầu tiên khá lộn xộn, địa chỉ thứ hai sạch sẽ và địa chỉ thứ ba là nước ngoài. Phần mềm khác có thể xử lý này là tốt.

clear
set obs 3
gen address =""
replace address = "Big Foot Museum in Felton CA" in 1
replace address = "1600 Pennsylvania Ave, Washington, DC 20500 USA" in 2 
replace address = "ул. Ильинка, д. 23 103132, Москва, Россия" in 3
geocode3, address(address)
gen coord = string(g_lat) + "," + string(g_lon)
geocode3, reverse coord(coord)

Điều này hoạt động hợp lý tốt:

. list r_addr , clean noobs

                                                                             r_addr  
                                      121 San Lorenzo Avenue, Felton, CA 95018, USA  
    1600 Pennsylvania Avenue Northwest, President's Park, Washington, DC 20500, USA  
                                         ulitsa Ilyinka, 23, Moscow, Russia, 101000  

Kremlin có một định dạng khá khác nhau.

Điều này nghe có vẻ như là một vấn đề cần giải quyết với phân loại LSTM hai chiều. Bạn gắn thẻ cho mỗi ký tự của mẫu làm một danh mục chẳng hạn

đường: 1 thành phố: 2 tỉnh: 3 mã bưu điện: 4 quốc gia: 5

1600 Pennsylvania Ave, Washington, DC 20500 USA
111111111111111111111, 2222222222, 33 44444 555

Bây giờ, đào tạo phân loại của bạn dựa trên các nhãn này. Bùng nổ!