ruby 1.9: chuỗi byte không hợp lệ trong UTF-8

Tôi đang viết một trình thu thập thông tin trong Ruby (1.9) sử dụng rất nhiều HTML từ nhiều trang web ngẫu nhiên.
Khi cố gắng giải nén các liên kết, tôi quyết định chỉ sử dụng .scan(/href="(.*?)"/i)thay vì nokogiri / hpricot (tăng tốc lớn). Vấn đề là bây giờ tôi nhận rất nhiều invalid byte sequence in UTF-8lỗi "".
Theo những gì tôi hiểu, net/httpthư viện không có bất kỳ tùy chọn mã hóa cụ thể nào và những thứ đi kèm về cơ bản không được gắn thẻ đúng cách.
Cách tốt nhất để thực sự làm việc với dữ liệu đến đó là gì? Tôi đã thử .encodevới các tùy chọn thay thế và không hợp lệ được đặt, nhưng không thành công cho đến nay ...

Trong Ruby 1.9.3, có thể sử dụng String.encode để "bỏ qua" các chuỗi UTF-8 không hợp lệ. Đây là một đoạn mã sẽ hoạt động ở cả 1.8 ( iconv ) và 1.9 ( String # encode ):

require 'iconv' unless String.method_defined?(:encode)
if String.method_defined?(:encode)
  file_contents.encode!('UTF-8', 'UTF-8', :invalid => :replace)
else
  ic = Iconv.new('UTF-8', 'UTF-8//IGNORE')
  file_contents = ic.iconv(file_contents)
end

hoặc nếu bạn có đầu vào thực sự rắc rối, bạn có thể thực hiện chuyển đổi kép từ UTF-8 sang UTF-16 và quay lại UTF-8:

require 'iconv' unless String.method_defined?(:encode)
if String.method_defined?(:encode)
  file_contents.encode!('UTF-16', 'UTF-8', :invalid => :replace, :replace => '')
  file_contents.encode!('UTF-8', 'UTF-16')
else
  ic = Iconv.new('UTF-8', 'UTF-8//IGNORE')
  file_contents = ic.iconv(file_contents)
end

Câu trả lời được chấp nhận cũng như câu trả lời khác phù hợp với tôi. Tôi tìm thấy bài đăng này được đề xuất

string.encode!('UTF-8', 'binary', invalid: :replace, undef: :replace, replace: '')

Điều này đã khắc phục sự cố cho tôi.

Giải pháp hiện tại của tôi là chạy:

my_string.unpack("C*").pack("U*")

Điều này ít nhất sẽ loại bỏ các ngoại lệ vốn là vấn đề chính của tôi

Thử cái này:

def to_utf8(str)
  str = str.force_encoding('UTF-8')
  return str if str.valid_encoding?
  str.encode("UTF-8", 'binary', invalid: :replace, undef: :replace, replace: '')
end

Tôi khuyên bạn nên sử dụng trình phân tích cú pháp HTML. Chỉ cần tìm một trong những nhanh nhất.

Phân tích cú pháp HTML không dễ dàng như bạn tưởng.

Trình duyệt phân tích cú pháp chuỗi UTF-8 không hợp lệ, trong tài liệu HTML UTF-8, chỉ cần đặt ký hiệu " ". Vì vậy, một khi chuỗi UTF-8 không hợp lệ trong HTML được phân tích cú pháp thì văn bản kết quả là một chuỗi hợp lệ.

Ngay cả bên trong các giá trị thuộc tính, bạn phải giải mã các thực thể HTML như amp

Đây là một câu hỏi tuyệt vời tóm tắt lý do tại sao bạn không thể phân tích cú pháp HTML với một biểu thức chính quy một cách đáng tin cậy: RegEx khớp các thẻ mở ngoại trừ các thẻ chứa XHTML

Điều này dường như hoạt động:

def sanitize_utf8(string)
  return nil if string.nil?
  return string if string.valid_encoding?
  string.chars.select { |c| c.valid_encoding? }.join
end

attachment = file.read

begin
   # Try it as UTF-8 directly
   cleaned = attachment.dup.force_encoding('UTF-8')
   unless cleaned.valid_encoding?
     # Some of it might be old Windows code page
     cleaned = attachment.encode( 'UTF-8', 'Windows-1252' )
   end
   attachment = cleaned
 rescue EncodingError
   # Force it to UTF-8, throwing out invalid bits
   attachment = attachment.force_encoding("ISO-8859-1").encode("utf-8", replace: nil)
 end

Tôi đã gặp phải chuỗi ký tự có sự pha trộn giữa tiếng Anh, tiếng Nga và một số bảng chữ cái khác, gây ra ngoại lệ. Tôi chỉ cần tiếng Nga và tiếng Anh và điều này hiện phù hợp với tôi:

ec1 = Encoding::Converter.new "UTF-8","Windows-1251",:invalid=>:replace,:undef=>:replace,:replace=>""
ec2 = Encoding::Converter.new "Windows-1251","UTF-8",:invalid=>:replace,:undef=>:replace,:replace=>""
t = ec2.convert ec1.convert t

Trong khi giải pháp của Nakilon hoạt động, ít nhất là cho đến khi vượt qua được lỗi, trong trường hợp của tôi, tôi đã có ký tự f-ed up kỳ lạ này có nguồn gốc từ Microsoft Excel được chuyển đổi thành CSV đang đăng ký bằng ruby ​​dưới dạng ký tự cyrillic K (lấy cái này) trong ruby là chữ K. Để khắc phục điều này, tôi đã sử dụng 'iso-8859-1' viz. CSV.parse(f, :encoding => "iso-8859-1"), điều này đã biến K's cyrillic yếu ớt kỳ quái của tôi thành một thứ dễ quản lý hơn nhiều /\xCA/, sau đó tôi có thể xóa nó bằngstring.gsub!(/\xCA/, '')

Trước khi bạn sử dụng scan, hãy đảm bảo rằng Content-Typetiêu đề của trang được yêu cầu là text/htmlvì có thể có các liên kết đến những thứ như hình ảnh không được mã hóa bằng UTF-8. Trang cũng có thể không phải là html nếu bạn chọn một hrefthứ gì đó giống như một <link>phần tử. Cách kiểm tra điều này thay đổi tùy theo thư viện HTTP bạn đang sử dụng. Sau đó, đảm bảo kết quả chỉ là ascii với String#ascii_only?(không phải UTF-8 vì HTML chỉ được cho là sử dụng ascii, các thực thể có thể được sử dụng theo cách khác). Nếu cả hai bài kiểm tra đó đều vượt qua thì có thể yên tâm sử dụng scan.

Nếu bạn không "quan tâm" đến dữ liệu, bạn có thể làm điều gì đó như:

search_params = params[:search].valid_encoding? ? params[:search].gsub(/\W+/, '') : "nothing"

Tôi chỉ sử dụng valid_encoding?để vượt qua nó. Của tôi là một lĩnh vực tìm kiếm, và vì vậy tôi đã tìm thấy sự kỳ lạ giống nhau lặp đi lặp lại vì vậy tôi đã sử dụng một cái gì đó như: chỉ để hệ thống không bị hỏng. Vì tôi không kiểm soát trải nghiệm người dùng để tự động xác thực trước khi gửi thông tin này (chẳng hạn như phản hồi tự động để nói "dummy up!") Nên tôi chỉ có thể lấy nó ra, tách nó ra và trả về kết quả trống.