Đây là một câu hỏi rất cũ, nhưng tôi đã rất khó tìm thông tin bên dưới, và đây là một trong những nơi đầu tiên tôi có thể tìm thấy, vì vậy tôi muốn trình bày chi tiết để phòng trường hợp ai cần.
ETag là một MD5. Nhưng đối với các tệp được tải lên Multipart, MD5 được tính từ việc ghép các MD5 của mỗi phần được tải lên. Vì vậy, bạn không cần phải tính MD5 trong máy chủ. Chỉ cần lấy ETag và tất cả.
Như @EmersonFarrugia đã nói trong câu trả lời này :
Giả sử bạn đã tải lên một tệp 14MB và kích thước một phần của bạn là 5MB. Tính 3 tổng kiểm tra MD5 tương ứng với mỗi phần, tức là tổng kiểm tra của 5MB đầu tiên, 5MB thứ hai và 4MB cuối cùng. Sau đó, lấy tổng kiểm tra của nối của chúng. Vì tổng kiểm tra MD5 là biểu diễn hex của dữ liệu nhị phân, chỉ cần đảm bảo bạn lấy MD5 của phép ghép nhị phân được giải mã, không phải của phép nối được mã hóa ASCII hoặc UTF-8. Khi hoàn tất, hãy thêm dấu gạch ngang và số phần để lấy ETag.
Vì vậy, thứ duy nhất bạn cần là ETag và kích thước phần tải lên. Nhưng ETag có hậu tố -NumberOfParts. Vì vậy, bạn có thể chia kích thước cho hậu tố và lấy kích thước một phần. 5Mb là kích thước bộ phận tối thiểu và giá trị mặc định. Kích thước một phần phải là số nguyên, vì vậy bạn không thể nhận được những thứ như kích thước mỗi phần là 7,25Mb. Vì vậy, sẽ dễ dàng có được thông tin về kích thước bộ phận
Đây là một tập lệnh để thực hiện điều này trong osx, với một phiên bản Linux trong nhận xét: https://gist.github.com/emersonf/7413337
Tôi sẽ để lại cả hai tập lệnh ở đây trong trường hợp trang trên không còn truy cập được trong tương lai:
Phiên bản Linux:
#!/bin/bash
set -euo pipefail
if [ $# -ne 2 ]; then
echo "Usage: $0 file partSizeInMb";
exit 0;
fi
file=$1
if [ ! -f "$file" ]; then
echo "Error: $file not found."
exit 1;
fi
partSizeInMb=$2
fileSizeInMb=$(du -m "$file" | cut -f 1)
parts=$((fileSizeInMb / partSizeInMb))
if [[ $((fileSizeInMb % partSizeInMb)) -gt 0 ]]; then
parts=$((parts + 1));
fi
checksumFile=$(mktemp -t s3md5.XXXXXXXXXXXXX)
for (( part=0; part<$parts; part++ ))
do
skip=$((partSizeInMb * part))
$(dd bs=1M count=$partSizeInMb skip=$skip if="$file" 2> /dev/null | md5sum >> $checksumFile)
done
etag=$(echo $(xxd -r -p $checksumFile | md5sum)-$parts | sed 's/ --/-/')
echo -e "${1}\t${etag}"
rm $checksumFile
Phiên bản OSX:
#!/bin/bash
if [ $# -ne 2 ]; then
echo "Usage: $0 file partSizeInMb";
exit 0;
fi
file=$1
if [ ! -f "$file" ]; then
echo "Error: $file not found."
exit 1;
fi
partSizeInMb=$2
fileSizeInMb=$(du -m "$file" | cut -f 1)
parts=$((fileSizeInMb / partSizeInMb))
if [[ $((fileSizeInMb % partSizeInMb)) -gt 0 ]]; then
parts=$((parts + 1));
fi
checksumFile=$(mktemp -t s3md5)
for (( part=0; part<$parts; part++ ))
do
skip=$((partSizeInMb * part))
$(dd bs=1m count=$partSizeInMb skip=$skip if="$file" 2>/dev/null | md5 >>$checksumFile)
done
echo $(xxd -r -p $checksumFile | md5)-$parts
rm $checksumFile