Đọc dữ liệu thô vào geopandas

Có thể đọc dữ liệu thô vào a geopandas GeoDataFrame, a la a pandas DataFramekhông?

Ví dụ, các công việc sau:

import pandas as pd
import requests
data = requests.get("https://data.cityofnewyork.us/api/geospatial/arq3-7z49?method=export&format=GeoJSON")
pd.read_json(io.BytesIO(r.content))

Sau đây không:

import geopandas as gpd
import requests
data = requests.get("https://data.cityofnewyork.us/api/geospatial/arq3-7z49?method=export&format=GeoJSON")
gpd.read_file(io.BytesIO(r.content))

Nói cách khác, có thể đọc dữ liệu không gian địa lý trong bộ nhớ mà không lưu dữ liệu đó vào đĩa trước không?

Bạn có thể chuyển json trực tiếp đến hàm tạo GeoDataFrame:

import geopandas as gpd
import requests
data = requests.get("https://data.cityofnewyork.us/api/geospatial/arq3-7z49?method=export&format=GeoJSON")
gdf = gpd.GeoDataFrame(data.json())
gdf.head()

Đầu ra:

                                            features               type
0  {'type': 'Feature', 'geometry': {'type': 'Poin...  FeatureCollection
1  {'type': 'Feature', 'geometry': {'type': 'Poin...  FeatureCollection
2  {'type': 'Feature', 'geometry': {'type': 'Poin...  FeatureCollection
3  {'type': 'Feature', 'geometry': {'type': 'Poin...  FeatureCollection
4  {'type': 'Feature', 'geometry': {'type': 'Poin...  FeatureCollection

Đối với các định dạng tệp đơn được hỗ trợ hoặc shapefiles được nén, bạn có thể sử dụng fiona.BytesCollectionvà GeoDataFrame.from_features:

import requests
import fiona
import geopandas as gpd

url = 'http://www.geopackage.org/data/gdal_sample.gpkg'
request = requests.get(url)
b = bytes(request.content)
with fiona.BytesCollection(b) as f:
    crs = f.crs
    gdf = gpd.GeoDataFrame.from_features(f, crs=crs)
    print(gdf.head())

url = 'https://www2.census.gov/geo/tiger/TIGER2010/STATE/2010/tl_2010_31_state10.zip'
request = requests.get(url)
b = bytes(request.content)
with fiona.BytesCollection(b) as f:
    crs = f.crs
    gdf = gpd.GeoDataFrame.from_features(f, crs=crs)
    print(gdf.head())

Bạn có thể tìm hiểu những định dạng mà Fiona hỗ trợ bằng cách sử dụng một cái gì đó như:

import fiona
for name, access in fiona.supported_drivers.items():
    print('{}: {}'.format(name, access))

Và một cách giải quyết khó khăn để đọc dữ liệu được nén trong bộ nhớ trong fiona 1.7.1 trở về trước:

import requests
import uuid
import fiona
import geopandas as gpd
from osgeo import gdal

request = requests.get('https://github.com/OSGeo/gdal/blob/trunk/autotest/ogr/data/poly.zip?raw=true')
vsiz = '/vsimem/{}.zip'.format(uuid.uuid4().hex) #gdal/ogr requires a .zip extension

gdal.FileFromMemBuffer(vsiz,bytes(request.content))
with fiona.Collection(vsiz, vsi='zip', layer ='poly') as f:
    gdf = gpd.GeoDataFrame.from_features(f, crs=f.crs)
    print(gdf.head())

Vì fiona.BytesCollectiondường như không hoạt động cho TopoJSONở đây một giải pháp hiệu quả cho tất cả mà không cần gdal:

import fiona
import geopandas as gpd
import requests

# parse the topojson file into memory
request = requests.get('https://vega.github.io/vega-datasets/data/us-10m.json')
visz = fiona.ogrext.buffer_to_virtual_file(bytes(request.content))

# read the features from a fiona collection into a GeoDataFrame
with fiona.Collection(visz, driver='TopoJSON') as f:
    gdf = gpd.GeoDataFrame.from_features(f, crs=f.crs)

Có, bây giờ có thể với Fiona (xem https://github.com/Toblerity/Fiona/issues/409 ). Tôi không chắc liệu tính năng này đã được phơi bày chưa trong Geopandas.

Khi sử dụng Fiona 1.8, điều này có thể (phải?) Được thực hiện bằng dự án đó MemoryFilehoặcZipMemoryFile .

Ví dụ:

import fiona.io
import geopandas as gpd
import requests

response = requests.get('http://example.com/Some_shapefile.zip')
data_bytes = response.content

with fiona.io.ZipMemoryFile(data_bytes) as zip_memory_file:
    with zip_memory_file.open('Some_shapefile.shp') as collection:
      geodf = gpd.GeoDataFrame.from_features(collection, crs=collection.crs)

Cách dễ nhất là nhập URL GeoJSON trực tiếp vào gpd.read (). Tôi đã thử trích xuất một shapefile từ một zip trước khi sử dụng BytesIO & zipfile và gặp vấn đề với gpd (cụ thể là Fiona) chấp nhận các đối tượng giống như tệp.

import geopandas as gpd
import David.SQL_pull_by_placename as sql
import os

os.environ['PROJ_LIB'] = r'C:\Users\littlexsparkee\Anaconda3\Library\share\proj'

geojson_url = f'https://github.com/loganpowell/census-geojson/blob/master/GeoJSON/500k/2018/{sql.state}/block-group.json?raw=true'
census_tracts_gdf = gpd.read_file(geojson_url)