S3fs cải thiện hiệu suất hoặc thay thế?

11

Tôi đã cố gắng sử dụng s3fs trên máy chủ EC2 nhưng nó rất chậm. Tôi đã dành 5 giờ qua để tải lên 100MB tệp nhỏ.

Có bất cứ điều gì tôi có thể làm để cải thiện hiệu suất hoặc nó có liên quan đến S3fs không? Nếu không, tôi có thể sử dụng một giải pháp thay thế nào?

amazon-ec2 s3fs

— MB.
nguồn

xác định tập tin nhỏ, 1K? 500byte? 1 MB?

— mỏng

khoảng ~ 200K ...

— MB.

Tùy thuộc vào nhu cầu lưu trữ của bạn, bạn có thể chỉ muốn sử dụng EBS, trừ khi bạn cần truy cập đồng thời từ các hệ thống khác, trong trường hợp đó, thiết lập một mũi ảo với EBS vẫn có thể là một lựa chọn tốt hơn.

— Tracker1

7

S3FS có thể không phải là lựa chọn tốt nhất cho một lượng lớn tệp nhỏ hơn. Chi phí hoạt động với S3FS cũng khá cao. Tôi khuyên bạn nên sử dụng một cái gì đó như S3Curl

Bạn thậm chí có thể nhận được chuyển song song đi. Chỉ cần nhớ rằng nó sẽ không bao giờ nhanh như EBS / lưu trữ cục bộ.

Nếu bạn cần có nó như một bộ lưu trữ 'có thể gắn kết', các lựa chọn thay thế duy nhất cho S3FS mà tôi biết là S3Backer hoặc s3ql

— mỏng
nguồn

1

Tôi đang tìm kiếm thứ gì đó mà tôi có thể gắn kết như một hệ thống tập tin.

— MB.

Bạn có suy nghĩ s3qlgì không?

— ewwhite

Tôi sẽ thử S3Backer và S3Sql. Cảm ơn.

— MB.

5 giờ thực sự chậm đối với các tệp ~ 500, 200KB ngay cả với S3FS. Một cái gì đó khác có thể là bao thanh toán, tôi không biết bất kỳ điều chỉnh S3FS nào có thể giúp đỡ

— mỏng

6

Tôi chỉ điểm chuẩn riofs so với s3fs. Trường hợp thử nghiệm của tôi là một tập lệnh bash tương đối đơn giản chạy pngquant trên mỗi .png nó tìm thấy. Trên một testbucket với ~ 70 hình ảnh trong đó ~ 20 trong đó png (trải rộng trên nhiều thư mục con, điều này làm chậm mọi thứ) kết quả:

s3fs: 3m54
riofs: 15,9 giây

Vì vậy, đối với riofs thử nghiệm này là nhanh hơn ~ 15 lần! Việc thiết lập cũng rất đơn giản, mặc dù các tài liệu có phần ngắn gọn.

Về thực tế là kịch bản vẫn mất 15,9 giây: nó không hiệu quả lắm, thực ra việc chạy pngquant trên png là một quá trình chuyên sâu về cpu.

— Milo de Vries
nguồn

Thật không may riofs thất bại vớiAWS message: The authorization mechanism you have provided is not supported. Please use AWS4-HMAC-SHA256.

— lrkwz

2

Chỉ cần thêm riofs vào hỗn hợp. Tôi không thể thấy bất kỳ điểm chuẩn nào bây giờ nhưng có một vấn đề / yêu cầu mà bất cứ ai cũng có thể làm.

— f01
nguồn

2

Tôi vừa phát hành v0.0.1 của https://github.com/kahing/goofys , một phần được thúc đẩy bởi các vấn đề về hiệu suất trong s3fs. Tăng tốc độ tạo tệp là 3-6x và thời gian để byte đầu tiên là 58x. Phản hồi chào mừng!

— khc
nguồn

2

Kể từ năm 2019 - Goofys là lựa chọn được đề xuất. Riotfs đã không được cập nhật trong một thời gian.

— timofey.com

1

Tôi đã sử dụng [1] và nó rất tốt. Đó là rất nhiều lệnh và làm cho việc truy cập aws và s3 dễ dàng hơn nhiều.

http://timkay.com/aws/

— Amit
nguồn

1

Chào mừng bạn đến với Lỗi Máy chủ! Trong khi về mặt lý thuyết có thể trả lời câu hỏi, tốt hơn là nên bao gồm các phần thiết yếu của câu trả lời ở đây và cung cấp liên kết để tham khảo.

— Scott Pack

1

Tôi đã so sánh s3fs với riofs và gần như đã chuyển đổi vì hiệu suất tốt hơn rõ rệt. Vấn đề là riofs vẫn chưa được cập nhật lên chữ ký v4, điều đó có nghĩa là nó sẽ không hoạt động với các thùng s3 của Frankfurt hoặc Trung Quốc. Theo chủ sở hữu, một bản cập nhật đang trên đường. Nếu bạn không sử dụng Frankfurt hoặc Trung Quốc, riofs là một lựa chọn tốt hơn.

— Steve
nguồn

Không hoạt động từ eu-

— centre

1

Đây là loại cũ nhưng có thể giúp những người đến đây.

Tôi đang sử dụng aws cli và nó hoạt động rất tốt (3 Mb / giây)

pip install awscli --upgrade --user
nano ~/.bash_profile
export PATH="~/.local/bin:$PATH"
aws s3 sync /sourcedir/ s3://bucketname/destdir/

— mariomol
nguồn