Làm cách nào để tải xuống tệp nhị phân qua HTTP?

Làm cách nào để tải xuống và lưu tệp nhị phân qua HTTP bằng Ruby?

URL là http://somedomain.net/flv/sample/sample.flv.

Tôi đang ở trên nền tảng Windows và tôi không muốn chạy bất kỳ chương trình bên ngoài nào.

Cách đơn giản nhất là giải pháp dành riêng cho nền tảng:

 #!/usr/bin/env ruby
`wget http://somedomain.net/flv/sample/sample.flv`

Có lẽ bạn đang tìm kiếm:

require 'net/http'
# Must be somedomain.net instead of somedomain.net/, otherwise, it will throw exception.
Net::HTTP.start("somedomain.net") do |http|
    resp = http.get("/flv/sample/sample.flv")
    open("sample.flv", "wb") do |file|
        file.write(resp.body)
    end
end
puts "Done."

Chỉnh sửa: Thay đổi. Cảm ơn bạn.

Edit2: Giải pháp lưu một phần của tệp trong khi tải xuống:

# instead of http.get
f = open('sample.flv')
begin
    http.request_get('/sample.flv') do |resp|
        resp.read_body do |segment|
            f.write(segment)
        end
    end
ensure
    f.close()
end

Tôi biết rằng đây là một câu hỏi cũ, nhưng Google đã ném tôi đến đây và tôi nghĩ rằng tôi đã tìm thấy một câu trả lời đơn giản hơn.

Trong Railscasts # 179 , Ryan Bates đã sử dụng lớp OpenURI tiêu chuẩn Ruby để thực hiện phần lớn những gì được hỏi như thế này:

( Cảnh báo : mã chưa được kiểm tra. Bạn có thể cần thay đổi / chỉnh sửa mã.)

require 'open-uri'

File.open("/my/local/path/sample.flv", "wb") do |saved_file|
  # the following "open" is provided by open-uri
  open("http://somedomain.net/flv/sample/sample.flv", "rb") do |read_file|
    saved_file.write(read_file.read)
  end
end

Đây là Ruby http của tôi để tập tin sử dụng open(name, *rest, &block).

require "open-uri"
require "fileutils"

def download(url, path)
  case io = open(url)
  when StringIO then File.open(path, 'w') { |f| f.write(io) }
  when Tempfile then io.close; FileUtils.mv(io.path, path)
  end
end

Ưu điểm chính ở đây là ngắn gọn và đơn giản, vì openphần lớn việc nâng vật nặng.Và nó không đọc toàn bộ phản hồi trong bộ nhớ.

Các openphương pháp sẽ phản ứng dòng> 1kb đến một Tempfile. Chúng ta có thể khai thác kiến ​​thức này để thực hiện phương pháp tải xuống nạc này. Xem việc OpenURI::Bufferthực hiện ở đây.

Hãy cẩn thận với đầu vào do người dùng cung cấp! open(name, *rest, &block)là không an toàn nếu nameđến từ đầu vào của người dùng!

Ví dụ 3 trong tài liệu net / http của Ruby cho thấy cách tải xuống tài liệu qua HTTP và để xuất tệp thay vì chỉ tải nó vào bộ nhớ, thay thế bằng cách ghi nhị phân vào tệp, ví dụ như trong câu trả lời của Dejw.

Các trường hợp phức tạp hơn được hiển thị sâu hơn trong cùng một tài liệu.

Bạn có thể sử dụng open-uri, một lớp lót

require 'open-uri'
content = open('http://example.com').read

Hoặc bằng cách sử dụng net / http

require 'net/http'
File.write("file_name", Net::HTTP.get(URI.parse("http://url.com")))

Mở rộng về câu trả lời của Dejw (edit2):

File.open(filename,'w'){ |f|
  uri = URI.parse(url)
  Net::HTTP.start(uri.host,uri.port){ |http| 
    http.request_get(uri.path){ |res| 
      res.read_body{ |seg|
        f << seg
#hack -- adjust to suit:
        sleep 0.005 
      }
    }
  }
}

ở đâu filenamevà urllà chuỗi.

Các sleeplệnh là một hack mà có thể đột ngột giảm sử dụng CPU khi mạng là yếu tố hạn chế. Net :: HTTP không đợi bộ đệm (16kB trong v1.9.2) lấp đầy trước khi mang lại, do đó, CPU tự di chuyển các khối nhỏ xung quanh. Ngủ một lát sẽ cho bộ đệm một cơ hội để điền vào giữa ghi và việc sử dụng CPU có thể so sánh với giải pháp cuộn tròn, chênh lệch 4-5 lần trong ứng dụng của tôi. Một giải pháp mạnh mẽ hơn có thể kiểm tra tiến trình f.posvà điều chỉnh thời gian chờ để nhắm mục tiêu, giả sử, 95% kích thước bộ đệm - thực tế đó là cách tôi lấy số 0,005 trong ví dụ của mình.

Xin lỗi, nhưng tôi không biết một cách thanh lịch hơn khi Ruby đợi bộ đệm lấp đầy.

Biên tập:

Đây là phiên bản tự động điều chỉnh chính nó để giữ bộ đệm ở mức hoặc dưới công suất. Đó là một giải pháp không phù hợp, nhưng dường như nó cũng nhanh và sử dụng ít thời gian CPU, vì nó đang kêu gọi cuộn tròn.

Nó hoạt động trong ba giai đoạn. Một thời gian học ngắn với thời gian ngủ dài có chủ ý thiết lập kích thước của một bộ đệm đầy đủ. Thời gian thả làm giảm thời gian ngủ nhanh chóng với mỗi lần lặp, bằng cách nhân nó với một yếu tố lớn hơn, cho đến khi nó tìm thấy một bộ đệm đầy. Sau đó, trong thời gian bình thường, nó điều chỉnh lên xuống theo một yếu tố nhỏ hơn.

Ruby của tôi hơi rỉ sét, vì vậy tôi chắc chắn điều này có thể được cải thiện. Trước hết, không có xử lý lỗi. Ngoài ra, có lẽ nó có thể được tách thành một đối tượng, cách xa bản tải xuống, để bạn chỉ cần gọi autosleep.sleep(f.pos)trong vòng lặp của mình? Thậm chí tốt hơn, Net :: HTTP có thể được thay đổi để chờ bộ đệm đầy đủ trước khi mang lại :-)

def http_to_file(filename,url,opt={})
  opt = {
    :init_pause => 0.1,    #start by waiting this long each time
                           # it's deliberately long so we can see 
                           # what a full buffer looks like
    :learn_period => 0.3,  #keep the initial pause for at least this many seconds
    :drop => 1.5,          #fast reducing factor to find roughly optimized pause time
    :adjust => 1.05        #during the normal period, adjust up or down by this factor
  }.merge(opt)
  pause = opt[:init_pause]
  learn = 1 + (opt[:learn_period]/pause).to_i
  drop_period = true
  delta = 0
  max_delta = 0
  last_pos = 0
  File.open(filename,'w'){ |f|
    uri = URI.parse(url)
    Net::HTTP.start(uri.host,uri.port){ |http|
      http.request_get(uri.path){ |res|
        res.read_body{ |seg|
          f << seg
          delta = f.pos - last_pos
          last_pos += delta
          if delta > max_delta then max_delta = delta end
          if learn <= 0 then
            learn -= 1
          elsif delta == max_delta then
            if drop_period then
              pause /= opt[:drop_factor]
            else
              pause /= opt[:adjust]
            end
          elsif delta < max_delta then
            drop_period = false
            pause *= opt[:adjust]
          end
          sleep(pause)
        }
      }
    }
  }
end

Có nhiều thư viện thân thiện với api hơn Net::HTTP, ví dụ như httparty :

require "httparty"
File.open("/tmp/my_file.flv", "wb") do |f| 
  f.write HTTParty.get("http://somedomain.net/flv/sample/sample.flv").parsed_response
end

Tôi gặp vấn đề, nếu tập tin chứa tiếng Đức Umlauts (ä, ö, ü). Tôi có thể giải quyết vấn đề bằng cách sử dụng:

ec = Encoding::Converter.new('iso-8859-1', 'utf-8')
...
f << ec.convert(seg)
...

nếu bạn đang tìm cách tải tập tin tạm thời, hãy làm công cụ và xóa nó, hãy thử viên ngọc này https://github.com/equivalent/pull_tempfile

require 'pull_tempfile'

PullTempfile.transaction(url: 'https://mycompany.org/stupid-csv-report.csv', original_filename: 'dont-care.csv') do |tmp_file|
  CSV.foreach(tmp_file.path) do |row|
    # ....
  end
end