145M = .git / đối tượng / gói /

Tôi đã viết một kịch bản để thêm kích thước của sự khác biệt của từng cam kết và cam kết trước khi nó đi ngược lại từ đầu của mỗi nhánh. Tôi nhận được 129 MB, không nén và không tính các tệp giống nhau trên các nhánh và lịch sử chung giữa các nhánh.

Git đưa tất cả những điều đó vào tài khoản vì vậy tôi mong đợi kho lưu trữ nhỏ hơn nhiều. Vậy tại sao .git lại lớn như vậy?

Tôi đã thực hiện:

git fsck --full
git gc --prune=today --aggressive
git repack

Để trả lời về số lượng tệp / cam kết, tôi có 19 nhánh khoảng 40 tệp trong mỗi tệp. 287 cam kết, được tìm thấy bằng cách sử dụng:

git log --oneline --all|wc -l

Không nên lấy 10 megabyte để lưu trữ thông tin về việc này.

Gần đây tôi đã kéo sai kho lưu trữ từ xa vào kho cục bộ ( git remote add ...và git remote update). Sau khi xóa ref từ xa không mong muốn, các nhánh và thẻ tôi vẫn còn 1,4GB (!) Dung lượng bị lãng phí trong kho lưu trữ của mình. Tôi chỉ có thể thoát khỏi điều này bằng cách nhân bản nó với git clone file:///path/to/repository. Lưu ý rằng file://thế giới tạo ra sự khác biệt khi nhân bản một kho lưu trữ cục bộ - chỉ các đối tượng được tham chiếu được sao chép, không phải toàn bộ cấu trúc thư mục.

Chỉnh sửa: Đây là một lớp lót của Ian để tạo lại tất cả các nhánh trong repo mới:

d1=#original repo
d2=#new repo (must already exist)
cd $d1
for b in $(git branch | cut -c 3-)
do
    git checkout $b
    x=$(git rev-parse HEAD)
    cd $d2
    git checkout -b $b $x
    cd $d1
done

Một số tập lệnh tôi sử dụng:

git-fatfiles

git rev-list --all --objects | \
    sed -n $(git rev-list --objects --all | \
    cut -f1 -d' ' | \
    git cat-file --batch-check | \
    grep blob | \
    sort -n -k 3 | \
    tail -n40 | \
    while read hash type size; do 
         echo -n "-e s/$hash/$size/p ";
    done) | \
    sort -n -k1

...
89076 images/screenshots/properties.png
103472 images/screenshots/signals.png
9434202 video/parasite-intro.avi

Nếu bạn muốn có nhiều dòng hơn, hãy xem thêm phiên bản Perl trong câu trả lời lân cận: https://stackoverflow.com/a/45366030/266720

git-eradicate (cho video/parasite.avi):

git filter-branch -f  --index-filter \
    'git rm --force --cached --ignore-unmatch video/parasite-intro.avi' \
     -- --all
rm -Rf .git/refs/original && \
    git reflog expire --expire=now --all && \
    git gc --aggressive && \
    git prune

Lưu ý: tập lệnh thứ hai được thiết kế để xóa hoàn toàn thông tin khỏi Git (bao gồm tất cả thông tin từ các reflog). Sử dụng cẩn thận.

git gcđã làm git repacknhư vậy không có ý nghĩa trong việc đóng gói thủ công trừ khi bạn sẽ chuyển một số tùy chọn đặc biệt cho nó.

Bước đầu tiên là để xem liệu phần lớn không gian là (như thường lệ) là cơ sở dữ liệu đối tượng của bạn.

git count-objects -v

Điều này sẽ đưa ra một báo cáo về việc có bao nhiêu đối tượng được giải nén trong kho lưu trữ của bạn, chúng chiếm bao nhiêu dung lượng, bao nhiêu tệp bạn có và bao nhiêu dung lượng chúng chiếm.

Lý tưởng nhất là sau khi đóng gói lại, bạn sẽ không có các đối tượng được giải nén và một tệp gói nhưng hoàn toàn bình thường khi có một số đối tượng không được tham chiếu trực tiếp bởi các nhánh hiện tại vẫn hiện diện và giải nén.

Nếu bạn có một gói lớn duy nhất và bạn muốn biết những gì đang chiếm dung lượng thì bạn có thể liệt kê các đối tượng tạo nên gói cùng với cách chúng được lưu trữ.

git verify-pack -v .git/objects/pack/pack-*.idx

Lưu ý rằng verify-packcó một tệp chỉ mục chứ không phải chính tệp gói. Điều này đưa ra một báo cáo về mọi đối tượng trong gói, kích thước thật và kích thước đóng gói của nó cũng như thông tin về việc liệu nó có bị "phân tách" hay không và nếu có thì nguồn gốc của chuỗi delta.

Để xem liệu có bất kỳ đối tượng lớn bất thường nào trong kho lưu trữ của bạn không, bạn có thể sắp xếp đầu ra bằng số trên cột thứ ba của cột thứ tư (ví dụ | sort -k3n).

Từ đầu ra này, bạn sẽ có thể thấy nội dung của bất kỳ đối tượng nào bằng cách sử dụng git showlệnh, mặc dù không thể thấy chính xác vị trí trong lịch sử cam kết của kho lưu trữ mà đối tượng được tham chiếu. Nếu bạn cần làm điều này, hãy thử một cái gì đó từ câu hỏi này .

Chỉ cần FYI, lý do lớn nhất khiến bạn có thể kết thúc với những vật thể không mong muốn được giữ xung quanh là git duy trì một reflog.

Các reflog có mặt để cứu mông của bạn khi bạn vô tình xóa chi nhánh chính của mình hoặc bằng cách nào đó làm hỏng nghiêm trọng kho lưu trữ của bạn.

Cách dễ nhất để khắc phục điều này là cắt bớt các reflog của bạn trước khi nén (chỉ cần đảm bảo rằng bạn không bao giờ muốn quay lại bất kỳ cam kết nào trong reflog).

git gc --prune=now --aggressive
git repack

Điều này khác với git gc --prune=todayở chỗ nó hết hạn ngay lập tức.

Nếu bạn muốn tìm những tập tin nào đang chiếm dung lượng trong kho git của bạn, hãy chạy

git verify-pack -v .git/objects/pack/*.idx | sort -k 3 -n | tail -5

Sau đó, trích xuất tham chiếu blob chiếm nhiều không gian nhất (dòng cuối cùng) và kiểm tra tên tệp đang chiếm quá nhiều dung lượng

git rev-list --objects --all | grep <reference>

Đây thậm chí có thể là một tệp mà bạn đã xóa git rm, nhưng git nhớ nó bởi vì vẫn còn các tham chiếu đến nó, chẳng hạn như thẻ, điều khiển từ xa và reflog.

Khi bạn biết bạn muốn loại bỏ tập tin nào, tôi khuyên bạn nên sử dụng git forget-blob

https://ownyourbits.com/2017/01/18/completely-remove-a-file-from-a-git-reposeective-with-git-forget-blob/

Nó rất dễ sử dụng, chỉ cần làm

git forget-blob file-to-forget

Điều này sẽ xóa mọi tham chiếu khỏi git, xóa blob khỏi mọi cam kết trong lịch sử và chạy bộ sưu tập rác để giải phóng không gian.

Kịch bản git-fatfiles từ câu trả lời của Vi rất đáng yêu nếu bạn muốn xem kích thước của tất cả các đốm màu của mình, nhưng nó chậm đến mức không thể sử dụng được. Tôi đã xóa giới hạn đầu ra 40 dòng và nó đã cố gắng sử dụng tất cả RAM của máy tính của tôi thay vì hoàn thiện. Vì vậy, tôi đã viết lại: nó nhanh hơn hàng ngàn lần, đã thêm các tính năng (tùy chọn) và một số lỗi lạ đã bị xóa - phiên bản cũ sẽ đưa ra số lượng không chính xác nếu bạn tính tổng đầu ra để xem tổng dung lượng được sử dụng bởi một tệp.

#!/usr/bin/perl
use warnings;
use strict;
use IPC::Open2;
use v5.14;

# Try to get the "format_bytes" function:
my $canFormat = eval {
    require Number::Bytes::Human;
    Number::Bytes::Human->import('format_bytes');
    1;
};
my $format_bytes;
if ($canFormat) {
    $format_bytes = \&format_bytes;
}
else {
    $format_bytes = sub { return shift; };
}

# parse arguments:
my ($directories, $sum);
{
    my $arg = $ARGV[0] // "";
    if ($arg eq "--sum" || $arg eq "-s") {
        $sum = 1;
    }
    elsif ($arg eq "--directories" || $arg eq "-d") {
        $directories = 1;
        $sum = 1;
    }
    elsif ($arg) {
        print "Usage: $0 [ --sum, -s | --directories, -d ]\n";
        exit 1;
    } 
}

# the format is [hash, file]
my %revList = map { (split(' ', $_))[0 => 1]; } qx(git rev-list --all --objects);
my $pid = open2(my $childOut, my $childIn, "git cat-file --batch-check");

# The format is (hash => size)
my %hashSizes = map {
    print $childIn $_ . "\n";
    my @blobData = split(' ', <$childOut>);
    if ($blobData[1] eq 'blob') {
        # [hash, size]
        $blobData[0] => $blobData[2];
    }
    else {
        ();
    }
} keys %revList;
close($childIn);
waitpid($pid, 0);

# Need to filter because some aren't files--there are useless directories in this list.
# Format is name => size.
my %fileSizes =
    map { exists($hashSizes{$_}) ? ($revList{$_} => $hashSizes{$_}) : () } keys %revList;


my @sortedSizes;
if ($sum) {
    my %fileSizeSums;
    if ($directories) {
        while (my ($name, $size) = each %fileSizes) {
            # strip off the trailing part of the filename:
            $fileSizeSums{$name =~ s|/[^/]*$||r} += $size;
        }
    }
    else {
        while (my ($name, $size) = each %fileSizes) {
            $fileSizeSums{$name} += $size;
        }
    }

    @sortedSizes = map { [$_, $fileSizeSums{$_}] }
        sort { $fileSizeSums{$a} <=> $fileSizeSums{$b} } keys %fileSizeSums;
}
else {
    # Print the space taken by each file/blob, sorted by size
    @sortedSizes = map { [$_, $fileSizes{$_}] }
        sort { $fileSizes{$a} <=> $fileSizes{$b} } keys %fileSizes;

}

for my $fileSize (@sortedSizes) {
    printf "%s\t%s\n", $format_bytes->($fileSize->[1]), $fileSize->[0];
}

Đặt tên git-fatfiles.pl này và chạy nó. Để xem dung lượng đĩa được sử dụng bởi tất cả các phiên bản của tệp, hãy sử dụng --sumtùy chọn. Để xem điều tương tự, nhưng đối với các tệp trong mỗi thư mục, hãy sử dụng --directoriestùy chọn. Nếu bạn cài đặt mô-đun Number :: Bytes :: Human cpan (chạy "cpan Number :: Bytes :: Human"), kích thước sẽ được định dạng: "21M /path/to/file.mp4".

Bạn có chắc là bạn chỉ đếm các tệp .pack chứ không phải các tệp .idx? Chúng nằm trong cùng thư mục với các tệp .pack, nhưng không có bất kỳ dữ liệu lưu trữ nào (như phần mở rộng chỉ ra, chúng không có gì khác ngoài chỉ mục cho gói tương ứng - thực tế, nếu bạn biết lệnh chính xác, bạn có thể dễ dàng tạo lại chúng từ tệp pack và git sẽ tự thực hiện khi nhân bản, vì chỉ một tệp pack được truyền bằng giao thức git gốc).

Là một mẫu đại diện, tôi đã xem bản sao cục bộ của kho lưu trữ linux-2.6:

$ du -c *.pack
505888  total

$ du -c *.idx
34300   total

Điều này cho thấy sự mở rộng khoảng 7% nên là phổ biến.

Ngoài ra còn có các tập tin bên ngoài objects/; theo kinh nghiệm cá nhân của tôi, trong số họ indexvà gitk.cachecó xu hướng là những người lớn nhất (tổng cộng 11 triệu trong bản sao của kho lưu trữ linux-2.6).

Các đối tượng git khác được lưu trữ .gitbao gồm cây, cam kết và thẻ. Cam kết và thẻ là nhỏ, nhưng cây có thể trở nên lớn đặc biệt nếu bạn có một số lượng rất lớn các tệp nhỏ trong kho lưu trữ của mình. Có bao nhiêu tệp và bạn có bao nhiêu cam kết?

Bạn đã thử sử dụng git repack ?

trước khi thực hiện git filter-Branch & git gc, bạn nên xem lại các thẻ có trong repo của mình. Bất kỳ hệ thống thực nào có gắn thẻ tự động cho những thứ như tích hợp và triển khai liên tục sẽ khiến các đối tượng không mong muốn vẫn được điều chỉnh bởi các thẻ này, do đó gc không thể xóa chúng và bạn sẽ vẫn tự hỏi tại sao kích thước của repo vẫn còn quá lớn.

Cách tốt nhất để loại bỏ tất cả những thứ không mong muốn là chạy git-filter & git gc và sau đó đẩy master sang một repo trần mới. Repo trần mới sẽ có cây sạch.

Điều này có thể xảy ra nếu bạn vô tình thêm một khối lớn các tệp và dàn dựng chúng, không nhất thiết phải cam kết chúng. Điều này có thể xảy ra trong một railsứng dụng khi bạn chạy bundle install --deploymentvà sau đó vô tình git add .thì bạn xem tất cả các tập tin bổ sung dưới vendor/bundlebạn unstage họ nhưng họ đã có trong lịch sử git, vì vậy bạn phải áp dụng câu trả lời Vi và thay đổi video/parasite-intro.avibởi vendor/bundlesau đó chạy lệnh thứ hai ông cung cấp.

Bạn có thể thấy sự khác biệt git count-objects -vtrong trường hợp của tôi trước khi áp dụng tập lệnh có gói kích thước: 52K và sau khi áp dụng là 3,8K.

Đó là giá trị kiểm tra stacktrace.log. Về cơ bản, nó là một bản ghi lỗi để truy tìm các xác nhận không thành công. Gần đây tôi đã phát hiện ra rằng stacktrace.log của tôi là 65,5 GB và ứng dụng của tôi là 66,7 GB.