Làm cách nào để tôi có thể đổi tên các tệp đã tải xuống để không bao gồm chuỗi truy vấn?

Tôi đang tải xuống một trang web với wget và rất nhiều liên kết có các truy vấn được đính kèm với chúng, vì vậy khi tôi làm điều này:

wget -nv -c -r -H -A mp3 -nd http://url.to.old.podcasts.com/

Tôi kết thúc với rất nhiều tập tin như thế này:

1.mp3?foo=bar
2.mp3?blatz=pow
3.mp3?fizz=buzz

Những gì tôi muốn kết thúc là:

1.mp3
2.mp3
3.mp3

Đây là tất cả diễn ra trong linux Ubuntu và tôi đã có 1.10.2.

Tôi biết tôi có thể làm điều này sau khi tôi nhận được mọi thứ thông qua một kịch bản để đổi tên mọi thứ. Tuy nhiên tôi thực sự muốn một giải pháp từ bên trong wget để tôi có thể thấy tên chính xác khi quá trình tải xuống đang diễn ra.

Bất cứ ai có thể giúp tôi làm sáng tỏ điều này?

Nếu máy chủ tốt, nó có thể dính tiêu đề Xử lý nội dung khi tải xuống tư vấn cho khách hàng của bạn tên tệp chính xác. Nói với wget để nghe tiêu đề đó cho tên tệp cuối cùng là đơn giản như:

wget --content-disposition

Bạn sẽ cần một phiên bản mới của wget để sử dụng tính năng này.

Tôi không biết nó xử lý tốt như thế nào khi một máy chủ yêu cầu tên tệp là '/ etc / passwd'.

Tôi nhận ra sau khi xử lý một lô lớn mà đáng lẽ tôi phải hướng dẫn wgetbỏ qua các chuỗi truy vấn. Tôi không muốn làm lại từ đầu nên tôi đã tạo kịch bản này phù hợp với tôi:

# /bin/bash
for i in `find $1 -type f`
do
    mv $i `echo $i | cut -d? -f1`
done

Đặt nó trong một tệp như rmqstrvà chmod +x rmqstr Cú pháp:./rmqstr <directory (defaults to .)>

Nó sẽ loại bỏ các chuỗi truy vấn khỏi tất cả các tên tệp theo cách đệ quy.

Tôi nghĩ, để có wgetthể lưu dưới dạng tên tệp khác với URL chỉ định, bạn cần sử dụng -O filenameđối số. Điều đó chỉ thực hiện những gì bạn muốn khi bạn cung cấp cho nó một URL - với nhiều URL, tất cả nội dung được tải xuống sẽ kết thúc filename.

Nhưng đó thực sự là câu trả lời. Thay vì cố gắng làm tất cả trong một wgetlệnh, hãy sử dụng nhiều lệnh. Bây giờ quy trình làm việc của bạn trở thành:

1. Chạy wgetđể lấy (các) tệp HTML cơ sở có chứa các liên kết của bạn;
2. Phân tích cú pháp cho các URL;
3. Tìm kiếm URL kết thúc bằng mp3,
   1. xử lý URL để có được tên tệp (ví dụ: biến http://foo/bar/baz.mp3?gargle=blasterthànhbaz.mp3
   2. (tùy chọn) kiểm tra xem tên tệp không tồn tại
   3. chạy wget <URL> -O <filename>

Điều đó giải quyết vấn đề của bạn, nhưng bây giờ bạn cần tìm ra cách lấy các tệp cơ sở để tìm mp3URL của mình .

Bạn có một URL trang web / cơ sở cụ thể trong tâm trí? Bước 1 và 3 sẽ dễ xử lý hơn với một ví dụ cụ thể.

vì vậy tôi có thể thấy tên chính xác khi quá trình tải xuống đang diễn ra.

ĐƯỢC. Sử dụng wget như bạn thường làm; sử dụng tập lệnh post-wget mà bạn thường sử dụng, nhưng xử lý đầu ra của wget để dễ nhìn hơn:

#! /bin/sh
exec wget --progress=bar:force $* 2>&1 | \
  perl -pe 'BEGIN { $| = 1 } s,(?<=`)([^\x27?]+),\e[36;1m$1\e[0m, if /^Saving/'
cgi-cut # rename files

Điều này sẽ vẫn hiển thị ?foo=barkhi bạn tải xuống, nhưng sẽ hiển thị phần còn lại của tên bằng màu lục lam sáng.

Tôi có một cách tiếp cận tương tự như @Gregory Wolf vì mã của anh ấy luôn tạo ra các thông báo lỗi như thế này:

mv: './file' và './file' là cùng một tệp

Vì vậy, trước tiên tôi kiểm tra xem có một chuỗi truy vấn trong tên tệp trước khi di chuyển tệp không:

for f in $(find $1 -type f); do
    if [ $f = ${f%%\?*} ]; then continue; fi
    mv "${f}" "${f%%\?*}"
done

Điều này sẽ kiểm tra đệ quy mọi tệp và xóa tất cả các chuỗi truy vấn trong tên tệp của chúng nếu có.

Nhìn vào hai lệnh tôi đã tạo để sao chép một trang web và sau khi sao chép xong, bạn có thể thực hiện lệnh thứ hai.

Lệnh thứ hai sẽ xem xét toàn bộ bản sao, tìm kiếm tên mẫu tệp " ? " Và sẽ xóa chuỗi truy vấn khỏi tên tệp.

# Clone entire site.
    wget --content-disposition --execute robots=off --recursive --no-parent --continue --no-clobber http://example.com

# Remove query string from a static resource.
for i in `find $1 -type f -name "*\?*"`; do mv $i `echo $i | cut -d? -f1`; done

(Xem nó trong GitHub Gist .)

Thậm chí còn dễ hơn thế này: /unix/196253/how-do-you-rename-files-specifically-in-a-list-that-wget-will-use

Điều này cho thấy một phương pháp chủ yếu sử dụng chức năng đổi tên của wget (có thể được thay đổi để bao gồm thư mục) cho nhiều tệp. Xem phiên bản thứ hai được đề xuất.