Câu hỏi được gắn thẻ «parquet»

Các đặc điểm của sàn gỗ Apache là: Tự mô tả Định dạng cột Không phụ thuộc vào ngôn ngữ So với Avro, Sequence Files, RC File, v.v. Tôi muốn có một cái nhìn tổng quan về các định dạng. Tôi đã đọc: Cách Impala hoạt động với Định dạng …

136 file  hadoop  hdfs  avro  parquet 

Tôi dự định sử dụng một trong các định dạng tệp hadoop cho dự án liên quan đến hadoop của mình. Tôi hiểu rằng parquet hiệu quả cho truy vấn dựa trên cột và avro để quét toàn bộ hoặc khi chúng tôi cần tất cả dữ liệu cột! Trước …

91 hadoop  avro  parquet 

Cả hai đều là định dạng lưu trữ dạng cột (đĩa-) để sử dụng trong các hệ thống phân tích dữ liệu. Cả hai đều được tích hợp trong Apache Arrow ( gói pyarrow cho python) và được thiết kế để tương ứng với Arrow như một lớp phân tích …

89 python  pandas  parquet  feather  pyarrow 

Tôi đang chạy một vài thử nghiệm trên các định dạng lưu trữ có sẵn với Hive và sử dụng Parquet và ORC làm các tùy chọn chính. Tôi đã bao gồm ORC một lần với nén mặc định và một lần với Snappy. Tôi đã đọc nhiều tài liệu …

87 hadoop  hive  parquet  snappy  orc