Máy chủ địa lý với xô Amazon s3

Tôi có Apache chạy Geoserver trên cá thể ảo của mình và tôi tự hỏi liệu thư mục dữ liệu Geoserver có thể trỏ đến nhóm Amazon S3 không. Điều này có thể không? Điều này ảnh hưởng đến hiệu suất như thế nào?

Nếu S3 là một thiết lập kém cho thư mục dữ liệu của Geoserver, có bất kỳ đề xuất nào để thêm một lượng lớn dữ liệu vào thư mục dữ liệu Geoserver của tôi không? Thư mục dữ liệu có thể đạt tới 100 GB, có thể hơn. Tôi có nên lấy một máy chủ có ổ cứng lớn hoặc kết nối với một giải pháp có thể mở rộng hơn, như xô Amazon S3 không?

geoserver amazon-s3

— modulitos
nguồn

Dữ liệu là gì? Tôi đoán hình ảnh, nhưng bạn đã lát nó? Có thể một số cơ sở dữ liệu cho chiến thắng raster :-)

— BradHards

Nếu dữ liệu của bạn là raster và sẽ được đọc và xử lý cho WMS S3 tương tác có thể bị chậm. Gợi ý từ những kinh nghiệm trong quá khứ, bạn có thể muốn xem glusterfs + EBS.

— simogeo

Tôi có hứng thú sử dụng S3 như một thùng dữ liệu được chia sẻ cho một nhóm GeoServers có thể co giãn theo chiều ngang. Tôi hiện đang điều tra việc sử dụng S3Fuse để gắn kết một hệ thống tệp cho việc này. Sẽ thật tuyệt khi nghe về bất kỳ thành công / thất bại nào khác trong lĩnh vực này.

— 8bitjunkie

Bất kỳ kinh nghiệm trong chủ đề này?

— geogeek

Câu trả lời:

Chỉ "trực tiếp" vào nhóm S3 (ví dụ: sử dụng s3fs) là "có thể" là một ý tưởng tồi. ví dụ: /programming/10801158/how-urdy-is-s3fs-to-mount-an-amazon-s3-bucket-as-a-local-directory

EBS gần như chắc chắn là nơi thích hợp để lưu trữ dữ liệu để truy cập bởi GeoServer.

100 GB rất dễ quản lý theo tiêu chuẩn EBS. (Kích thước âm lượng tối đa là 16 Terabyte!)

Tôi có thể đề nghị lưu trữ dữ liệu gốc trong S3 và sau đó sao chép vào các phiên bản của bạn khi cần, sử dụng các công cụ AWS CLI để đồng bộ hóa nội dung của thư mục S3 với phiên bản cục bộ của bạn bằng một lệnh duy nhất. http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html ). S3 được cho là dư thừa, nhưng tôi thấy rằng nó bổ sung tính linh hoạt và tiện lợi.

Lưu ý bên lề: Nếu bạn dự định sử dụng các phiên bản đa lõi lớn VÀ bạn biết khối lượng dữ liệu không có khả năng tăng đột ngột VÀ bạn có thể tự động xây dựng các phiên bản của mình, bạn thực sự có thể xem xét sử dụng lưu trữ cá thể ("lưu trữ phù du" ) vì dữ liệu gốc của bạn sẽ an toàn trong S3, bạn có thể tiết kiệm phí EBS và lưu trữ cá thể có thể nhanh hơn một chút so với EBS trong một số trường hợp.

— trăn1981
nguồn

Đây là một câu trả lời toàn diện. Vô biên có một ít thông tin ở đây: boundlessgeo.com/2013/04/...

— Alex Leith

Bạn dùng gì để khởi chạy các lệnh AWS từ pyQGIS? Đang xử lý. boto3 dường như không chạy. Nó chạy trong vỏ Osgeo với python2 nhưng không phải 3 ...

— Leo

Điều này có thể không: Điều này có thể dễ dàng đạt được đối với dữ liệu phù hợp với định dạng GeoTIFF bằng mô-đun Geoserver s3 cho Geotiff Community - https://docs.geoserver.org/latest/en/user/community/s3-geotiff/index .html

Điều này ảnh hưởng đến hiệu suất như thế nào? Điều này rất khó trả lời, tuy nhiên, tôi đã tìm thấy hiệu suất gần tương đương với lưu trữ EBS / EFS với một phần nhỏ của giá.

— nstillwell
nguồn