Làm cách nào để nhanh chóng sao chép 900.000 tệp?

Tôi cần sao chép một số dữ liệu bao gồm 900.000 tệp nhỏ với tổng dung lượng khoảng 30 gigabyte vào máy tính windows. Tuy nhiên, nó cần có thể được sao chép và thiết lập trong vòng một tiếng rưỡi, và có thể mất hơn 5 giờ để sao chép ổ cứng USB chủ yếu là do số lượng tệp điên rồ. Có cách nào tốt hơn / nhanh hơn để giải quyết vấn đề này, chẳng hạn như thực hiện một số loại sao chép khối? Cảm ơn

Với số lượng tệp lớn, tốt nhất là tạo tệp lưu trữ tar để bạn có ít tệp hơn để xử lý. Nếu bạn đang sử dụng ổ cứng ngoài USB 2.0, bạn nên xem qua sử dụng USB 3.0, eSATA hoặc sử dụng mạng cục bộ nhanh.

Hệ điều hành nguồn của bạn là gì? Nếu cả hai hệ điều hành của bạn là Linux, bạn có thể dẫn các tệp qua tar, gzip và ssh đến máy đích. Bạn cũng có thể cài đặt cygwin trên Windows để có được loại chức năng này cho Windows.

Cập nhật: Bài viết
" Sử dụng Tar và SSH để cải thiện Tốc độ SCP " mô tả các lệnh cần thiết để gửi nội dung tar qua ssh.

Nếu ổ cứng có thể được gỡ bỏ khỏi giao diện USB và vào SATA / ATA, tôi sẽ cài đặt nó vào máy tính đích. Bạn sẽ nhận được tốc độ truyền nhanh hơn nhiều, như những người khác đã lưu ý. Để sao chép, giả sử bạn đang ở trên Windows, tôi sẽ thực hiện ROBOCOPY đơn giản. Nó nhanh như bạn có thể hy vọng, mặc dù có những lựa chọn thay thế khác.

ROBOCOPY /E /B /MT 'source' 'destination'

Tôi cố gắng tránh nén tất cả các tệp này, rất có thể thời gian để nén và di chuyển sẽ vượt quá đơn giản là di chuyển các tệp.

* Đã thêm tùy chọn / MT cho robocopy. Nó có thể tăng tốc độ chuyển rất nhiều khi bạn ở trong môi trường đa luồng.

Bạn có thể thử chụp ảnh toàn bộ thư mục / ổ đĩa

Trên các hệ thống Linux, bạn có thể sử dụng ddđể có được một bản sao thô của hệ thống tệp và sao chép nó dưới dạng một tệp lớn.

Để trích xuất hình ảnh lên Windows, bạn có thể cần cài đặt cygwin hoặc chương trình có thể xử lý ddhình ảnh.

Cài đặt đĩa nơi tệp nguồn nằm trong máy tính bạn đang thiết lập và chuyển đĩa sang đĩa. Quên USB. Ngay cả việc truyền qua dây (nối các máy với nhau) sẽ nhanh hơn USB (Giả sử usb 2.0 và 1Gbps NIC). Nếu đây là một sự kiện định kỳ, thay vào đó hãy nhìn vào bản sao.

Sử dụng rsyncvới ztùy chọn.

-z,         --compress              compress file data during the transfer
            --compress-level=NUM    explicitly set compression level
            --skip-compress=LIST    skip compressing files with suffix in LIST

Điều này sẽ tăng tốc độ truyền qua mạng. Vì vậy, hầu hết có lẽ không hữu ích trong trường hợp của bạn.

Sau khi đọc thêm tôi nhận ra rằng, Chúng ta không nên sử dụng cờ '-z' khi sao chép dữ liệu từ ổ cứng cục bộ này sang ổ cứng khác, nó sẽ tăng chi phí. Cảm ơn bình luận từ @FakeName.

Bạn đang nhanh chóng tiếp cận những hạn chế của ổ cứng của bạn. Trong thực tế, với các ổ đĩa hàng hóa hiện tại, không thể thực hiện thời gian chuyển của bạn bằng thao tác sao chép trên mỗi tệp.

Giả sử mỗi tệp yêu cầu 1 HD thời gian tìm kiếm và tìm kiếm là 7 ms (một chút lý tưởng hóa, thực tế, mỗi tệp sẽ yêu cầu hai lần tìm kiếm, trừ khi bitmap âm lượng được lưu trong ram), tốt nhất bạn sẽ quản lý ~ 142 tệp / giây ( \ $ \ frac {1000} {7} = 142.8 ... \ $).

Với thông số kỹ thuật OP (30 GB, 900.000 tệp) có giá trị ~ 33K mỗi tệp (\ $ \ frac {30.000.000.000} {900.000} = ~ 33.3 ... \ $. 33KB * 142 = 4,68 MBps.

Thời gian tối thiểu để chuyển 30 GB ở mức 5 MBps, là ~ 1 giờ, 40 phút (\ $ \ frac {30.000} {5} = = 6.000 \ $ giây. \ $ \ Frac {6.000} {60} = 100 \ $ phút, hoặc 1:40 giờ)

Do đó, không thể đạt được tốc độ tốt hơn ~ 5 MBPS, và đó là với một ổ đĩa lý tưởng (và ít hoạt động tìm kiếm hơn. Đây là một tìm kiếm cho mỗi tệp. Thực tế, nó sẽ là hai). Bạn bị giới hạn hoàn toàn bởi hiệu suất đĩa.

Cách duy nhất để có hiệu suất tốt hơn sau đó là sao chép toàn bộ hệ thống tệp & phân vùng theo tuần tự. ddcó thể làm điều này trên linux.

Bạn đang cố làm gì vậy?

Hãy thử 7zip để chỉ lưu trữ các tệp vào một tệp. Nếu có thể, hãy sử dụng mạng WLAN có kết nối adhoc với máy tính xách tay.

Liên quan đến câu trả lời của @arcyqwery, bạn có thể nén nó và đồng thời biến nó thành một tệp lớn. Điều này sẽ tăng tốc quá trình một số.

Cũng có thể đáng để sử dụng một chương trình như TeraCopy , vì nó thường nhanh hơn hiệu suất sao chép cửa sổ mặc định. Bạn nên kiểm tra với các trường hợp tương tự trong trường hợp của bạn để kiểm tra mặc dù.

Tôi đã có một trường hợp tương tự. Tôi đã tắt Anti-virus, tốc độ sao chép thay đổi từ 3MB / s thành 12MB / s.