Địa chỉ Hoa Kỳ không thể gửi qua internet?

Đối với một dự án một lần, tôi cần mã hóa địa lý một vài ngàn địa chỉ. Trước đây tôi đã sử dụng nhiều tài nguyên trực tuyến cho loại điều này (ví dụ: Google Maps API), nhưng các địa chỉ tôi đang làm việc phải được giữ bí mật - điều đó có nghĩa là không gửi nó qua Internet, trừ khi có một số sắt -clad đảm bảo sự riêng tư. Tôi có những lựa chọn nào khác?

Hãy nhìn vào Geocoder::US 2.0, người kế nhiệm của geocoder.us:

http://github.com/geocommons/geocoder

Đó là một cổng ruby ​​của mô-đun perl của cùng một tác giả.

Nếu sử dụng API mã hóa địa lý của Google hoặc một nguồn trực tuyến khác là tùy chọn của bạn chứ không phải tùy chọn cục bộ, tôi khuyên bạn nên xem xét Dự án Tor (dễ dàng cài đặt thông qua gói có tên 'Gói Vidalia').

Tor bảo vệ bạn bằng cách chuyển các liên lạc của bạn xung quanh một mạng lưới rơle phân tán được điều hành bởi các tình nguyện viên trên khắp thế giới: nó ngăn ... các trang web bạn truy cập tìm hiểu vị trí thực của bạn.

Cùng với việc tiêm địa chỉ ngẫu nhiên và sử dụng ssl (https) để mã hóa thông tin liên lạc đến các điểm cuối của chúng (đảm bảo bạn cũng đang thực hiện việc này), tôi không thể nghĩ ra một cách an toàn hơn để mã hóa địa lý từ xa. Bất cứ dịch vụ mã hóa địa lý nào bạn đang sử dụng sẽ không thể xác định được các yêu cầu cuối cùng đến từ đâu và với https, sẽ không có ai khác làm như vậy. Lưu ý: không sử dụng dịch vụ mã hóa địa lý yêu cầu khóa api cho việc này hoặc bạn sẽ không còn ẩn danh. (Google không yêu cầu khóa api nữa).

Một lợi ích phụ của quy trình này là bạn sẽ không còn bị hạn chế đối với bất kỳ số lượng yêu cầu mã hóa địa lý nào, vì các yêu cầu của bạn sẽ giống như chúng đến từ nhiều địa chỉ IP. Tuy nhiên, tôi không khuyến nghị hoặc tán thành việc lạm dụng các API miễn phí đáng yêu này! Tốc độ sẽ vẫn bị giới hạn nếu tốc độ giới hạn API (mặc dù tốc độ truyền sử dụng Tor chậm hơn một chút so với kết nối trực tiếp).

Nghiên cứu điển hình về Python - Khi bạn đã cài đặt Gói Vidalia và có proxy chạy trên 127.0.0.1:8118 (mặc định), trong Python 2.7 trở lên, bạn có thể thiết lập proxy https urllib2 bằng cách sử dụng:

import urllib2
proxy = urllib2.ProxyHandler({'https': '127.0.0.1:8118'})
opener = urllib2.build_opener(proxy)
urllib2.install_opener(opener)
response = urllib2.urlopen("https://maps.google.com/maps/geo?q=Los+Angeles&sensor=false&gl=us")

Lưu ý rằng proxy urllib2 không hoạt động với https cho đến khi ít nhất Python 2.7 trở lên, vì vậy phương pháp này chỉ hoạt động với các phiên bản Python gần đây. Đảm bảo bạn đã có 'https' (không phải 'http') ở cả hai nơi trong ví dụ trên. Tôi chỉ thử nghiệm nó với Python 2.7.1.

Vidalia thay đổi nguồn gốc địa chỉ IP rõ ràng / nhận dạng của bạn cứ sau 10 phút, nhưng nếu bạn gặp phải tốc độ chậm hoặc các vấn đề khác (lỗi vượt quá hạn ngạch) hoặc nếu bạn đặc biệt hoang tưởng và muốn thay đổi danh tính thường xuyên hơn, bạn có thể thay đổi danh tính Tor của mình sử dụng mã python ở đây (sửa đổi một chút bên dưới). Bạn sẽ cần thay đổi mật khẩu Tor thành mật khẩu tĩnh (thay vì mật khẩu được tạo ngẫu nhiên) bằng cách nhập cài đặt Vidalia. Cũng có thể cần phải khởi động lại Vidalia sau tất cả các thay đổi.

p = "MySuperSecurePassword"
def renewTorIdentity():
    success = False
    try:
        s = socket.socket()
        s.connect(('localhost', 9051))
        s.send('AUTHENTICATE "' + p + '"\r\n')
        resp = s.recv(1024)
        if resp.startswith('250'):
            s.send("signal NEWNYM\r\n")
            resp2 = s.recv(1024)
            if resp2.startswith('250'):
                success = True
    except:
        success = False
    return success

Một tùy chọn là sử dụng Geo-Coder-US , đây là mô-đun Perl mã nguồn mở sử dụng dữ liệu Tiger / Line của Tổng điều tra Hoa Kỳ để mã hóa địa lý. Tôi đã không sử dụng nó cá nhân, nhưng nó trông tuyệt vời. Liên kết ở trên bao gồm một tổng quan đẹp và liên kết đến một phiên bản đã có các tệp Điều tra dân số cần thiết được lắp ráp.

Thư viện Geokit có thể sử dụng bất kỳ Google, Yahoo, Geocoder.us, Geocoder.ca và Geonames. Nó được viết bằng Ruby và cũng có một thư viện chị em cho các dự án Ruby on Rails của bạn:

http://geokit.rubyforge.org/

Để bảo vệ quyền riêng tư, bạn có thể truyền bá các truy vấn tới tất cả các nhà cung cấp bằng cách tách chúng thành các bộ ít có khả năng được liên kết với các hoạt động của bạn. Bạn cũng có thể tạo tiếng ồn trong địa chỉ của mình bằng cách thêm địa chỉ thực từ thư mục điện thoại trực tuyến. Và tôi khuyên bạn nên chạy tập lệnh này từ nhiều nơi khác nhau, chẳng hạn như quán cà phê internet, kết hợp các kết quả ở cuối.

Cách duy nhất để thực sự bảo vệ quyền riêng tư của bạn là tải xuống toàn bộ dữ liệu và chạy tập lệnh của bạn theo nó. Có hệ thống Nominatim từ OpenStreetMap. Nó không hoàn chỉnh cho tất cả các thành phố, nhưng bạn có thể sử dụng nó để giảm danh sách các địa chỉ được gửi đến các nhà cung cấp khác.

Mặc dù vẫn đang trong giai đoạn phát triển ban đầu, http://openaddresses.org/ nhằm mục đích cung cấp một cơ sở dữ liệu mở về các địa chỉ trên toàn thế giới và các dịch vụ mã hóa địa lý liên quan.

Mặc dù không riêng tư, bản chất của cơ sở dữ liệu địa chỉ mở có thể có nghĩa là nó có sẵn để tải xuống toàn bộ (hoặc ít nhất là cho các khu vực được chọn) để cho phép mã hóa địa lý ngoại tuyến.

Tùy thuộc vào vị trí của địa chỉ, bạn có thể tải xuống và sử dụng các tính năng OpenStreetMap.

Hãy xem thử: http://www.openstreetmap.org/

Ngoài ra, nếu bạn ở Hoa Kỳ, có dự án TIGER cùng với API TigerGeocoding của PostGIS. http://svn.osgeo.org/postgis/trunk/extras/tiger_geocoder/

Tôi nghĩ rằng mã đằng sau http://geocoder.us/ đã có sẵn để tải xuống để bạn có thể lấy nó và tệp dữ liệu TIGER và ít nhiều thiết lập cài đặt cục bộ của riêng bạn. Tôi không thấy điều đó ngay lập tức khi xem lại trang web đó, nhưng bạn có thể muốn xem xét một chút.

Tại sao không sử dụng cùng một bộ mã hóa địa lý mà bạn đã sử dụng trước đó, chỉ cần xóa tất cả các dữ liệu meta khác?

Đừng gửi qua "Địa điểm bí mật; 123 Phố chính, Thành phố nào đó", chỉ gửi qua "123 Phố chính, Thành phố nào đó"? Các địa chỉ là dù sao thông tin công cộng. Chỉ cần đừng nói với trình mã hóa địa lý rằng bạn có một danh sách các căn cứ hạt nhân hoặc tất cả các địa điểm NSA. Kết quả sẽ ở định dạng bảng, sau đó bạn có thể đính kèm lại tất cả các dữ liệu meta bí mật khác của mình.

Tìm kiếm trên trang chủ OpenStreetMap là một hệ thống có tên là Nominatim . Bạn có thể gọi nó là dịch vụ mã hóa địa lý (nếu bạn nhẹ nhàng) nhưng tất cả đều là nguồn mở, do đó bạn cũng có thể thiết lập nó trên máy chủ của riêng mình.

Đây là sử dụng dữ liệu OpenStreetMap được tải vào cơ sở dữ liệu postGiS. Nó tương đối mới và vẫn đang được phát triển, và quá trình thiết lập và tải dữ liệu không đơn giản và rất đói tài nguyên. ... nhưng nó miễn phí và mở!

Hầu hết các câu trả lời đang hướng bạn đến một cơ sở dữ liệu địa phương. Trong khi điều đó chắc chắn sẽ hoạt động, bạn cũng phải xem xét liệu gecoding có phải là miền cốt lõi của bạn hay không. (Đó có phải là những gì bạn giỏi không? Nếu vậy, có lẽ bạn đã có dữ liệu họ đang giới thiệu. Nếu không, VÀ BẠN MUỐN NÓ, thì bạn nên tải xuống dữ liệu và chỉ cần làm cục bộ. Tuy nhiên, nếu bạn chỉ cần để giải quyết vấn đề và không muốn mất nhiều giờ để sản xuất, vẫn có các tùy chọn để thực hiện thông qua API mà không ảnh hưởng đến bảo mật.

Đầu tiên, nhấn mạnh vào HTTPS vì bạn cần bảo mật dữ liệu trên đường đến API và sau đó trên đường quay lại với bạn. Thứ hai, đảm bảo rằng bạn đang thực hiện một yêu cầu POST thay vì yêu cầu GET cho API. Sử dụng POST, bạn chỉ cần chuyển một yêu cầu URL với tải trọng và kết quả duy nhất đạt được nhật ký máy chủ là thực tế là yêu cầu xác minh địa chỉ và mã hóa địa lý được thực hiện tại một thời điểm nhất định và từ một IP nhất định. Cả địa chỉ được gửi và địa chỉ được trả lại sẽ không được lưu vào đĩa hoặc ghi vào nhật ký máy chủ. Nó không an toàn hơn thế nhiều.

Vì vậy, trong khi một hộp cục bộ chắc chắn sẽ an toàn, nó có thể đòi hỏi rất nhiều sự phát triển để làm những gì bạn cần. Vì các mối quan tâm bảo mật có thể được bình định, bạn có thể muốn xem xét (một lần nữa) tùy chọn sử dụng API.

Tôi làm việc cho một công ty xác minh địa chỉ chuyên về mã hóa địa lý API an toàn - SmartyStreets .

Chủ đề cũ nhưng đáng nói đến nó. http://www.tigergeocoder.com/ sử dụng dữ liệu TIGER 2013, sẵn sàng chạy phiên bản máy chủ của riêng bạn trong đám mây Amazon EC2.

Thiết lập PostGIS Tiger Geocoder trong hộp linux cục bộ của bạn. Nó chắc chắn là cồng kềnh hơn API trực tuyến, nhưng có lẽ là đặt cược tốt nhất cho tình huống của bạn. Và nó có thể mở rộng đến hàng triệu địa chỉ nếu cần.

Với sự trợ giúp của playbook ansible, việc thiết lập máy chủ trong linux dễ dàng hơn nhiều so với trước đây. Việc truy vấn SQL có thể sẽ mất nhiều thời gian hơn nếu bạn không quen với SQL hoặc PostGIS.

Bạn có thể kiểm tra thiết lập hệ thống của tôi và tập lệnh của tôi để biết thêm chi tiết. Nó nên bao gồm tất cả các thông tin bạn cần.