Làm cách nào để tải dữ liệu từ Redshift sang S3?

8

Tôi đã cố gắng dỡ một số dữ liệu từ Redshift sang nhóm S3. Ngoại trừ tôi đã nhận được lỗi sau:

Amazon Hoạt động không hợp lệ: không thể bỏ cổng hoạt động; [Trạng thái SQL = XX000, Mã lỗi DB = 500 310]

Để lưu ý Redshift và S3 nằm trong 2 nhóm khác nhau, vì vậy tôi đã chỉ định vùng trong tải.

Tôi đã thử tìm kiếm nó, nó đề cập rằng tôi không thể làm rơi bàn.

Vì vậy, tôi đã tạo một bảng "kiểm tra" mà tôi chắc chắn 100% không được kết nối với bất kỳ chế độ xem nào khác nhưng tôi vẫn nhận được cùng một lỗi.

Tôi cũng đã thử xử lý sự cố thông qua AWSQuickSolutions: Redshift Table Không thể bị rớt hoặc thả Hang Hang ngoại trừ tôi không có quyền truy cập svv_table_info.

Có cách nào để làm unload?

— ivb1
nguồn

Tôi bối rối. Bạn nói về việc muốn UNLOAD bảng (có nghĩa là xuất dữ liệu sang S3), nhưng sau đó bạn nói về việc bỏ bảng. Hoạt động nào bạn muốn thực hiện?

— John Rotenstein

2

Tôi muốn tạo một bản sao của dữ liệu tôi có trong redshift sang S3 để sau đó tôi có thể tải xuống csv. Tôi không thể làm điều đó trong bàn làm việc SQL vì bộ nhớ của tôi sẽ không cho phép điều đó. Tôi đã tìm kiếm trực tuyến rằng unload sẽ làm điều đó. Ngoại trừ tôi nhận được lỗi tôi đã đăng. Khi tôi tìm kiếm lỗi, nó nói về những giọt bảng làm tôi bối rối.

— ivb1

Bạn đang sử dụng UNLOADlệnh Redshift ? (Bạn có thể chỉ cho chúng tôi lệnh của bạn không?) Nó có hoạt động không nếu bạn dỡ xuống một thùng trong cùng khu vực? Dỡ bỏ không có gì để làm với bảng thả.

— John Rotenstein

2

Điều này cũng xảy ra với tôi. Tôi đã làm việc xung quanh nó bằng cách chạy UNLOAD từ một ứng dụng khác, trong trường hợp của tôi là Trình soạn thảo truy vấn trong bảng điều khiển Redshift.

— sáng lập

1

Tôi đã thành công bằng cách khởi động lại phiên

— dám

2

báo cáo @nofinator trả lời vì nó hoạt động với tôi và cũng có thể hữu ích cho người khác:

Bằng cách chạy UNLOAD từ một ứng dụng khác, trong trường hợp của tôi, Trình soạn thảo truy vấn trong Bảng điều khiển Redshift, đã giải quyết ngoại lệ Amazon Invalid operation: cannot drop active portal

— Vzzarr
nguồn

1

OK, vì vậy tôi gặp vấn đề tương tự. Không có giải pháp nào được áp dụng cho vấn đề của tôi vì:

1) Cụm nằm trên cùng khu vực với nhóm S3 tôi đã tạo

2) Tôi đã thử chạy lệnh UNLOAD thông qua python, cli và redshift với kết quả tương tự.

3) Tôi đã thử thêm chính sách xô cho vai trò dịch chuyển đỏ

4) Tôi đã thử chạy lệnh unload bằng cách sử dụng cho arns (vai trò dịch chuyển đỏ và vai trò s3)

Cuối cùng, tôi đã làm cho nó hoạt động. Những gì đã thay đổi? Bây giờ tôi đã trực tiếp trên mạng của công ty tôi thay vì sử dụng VPN, đó là khi tôi gặp vấn đề này.

Điều cuối cùng đã làm cho tôi:

UNLOAD ('SELECT * FROM table where EXTRACT(YEAR FROM order_datetime_utc )=2019')   
              to 's3://bucket/' 
              REGION 'us-east-1'
                iam_role 'arn:aws:iam::0000000000:role/RedshiftCopyUnload,arn:aws:iam::0000000000:role/S3Access'
              parallel off
              delimiter as '\t' 
gzip;

— Ernie Cast sinha
nguồn

0

Tôi đã có cùng một vấn đề ngày hôm qua. Ít nhất trong sự cố của tôi, đã có một kho thứ hai trong Kho dữ liệu. Tôi sử dụng Amazon DWP được sử dụng bởi nhà bán lẻ Amazon, vì vậy không chắc đây có phải là dịch vụ tương tự được AWS sử dụng hay không.

tldr; Có thể đây là sự cố máy chủ trong nhà cung cấp dịch chuyển đỏ.

— người dùng7865286
nguồn

0

Tôi gặp vấn đề này sau khi tôi sửa đổi quyền IAM trên vai trò. Thật không may, tôi đã phải khởi động lại cụm và sau đó lệnh UNLOAD của tôi đã hoạt động.

— norpcom
nguồn

0

Tôi không biết chính xác điều gì đã gây ra lỗi này nhưng tôi đã nhận được sau khi tải không thành công.

Tôi ngắt kết nối sau đó kết nối lại khách hàng sql của tôi và làm cho nó hoạt động. không siêu tiện lợi nhưng tốt hơn là khởi động lại cụm.

— Mazen AB
nguồn