Python: Xóa \ xa0 khỏi chuỗi?

Tôi hiện đang sử dụng Beautiful Soup để phân tích một tệp HTML và gọi get_text(), nhưng có vẻ như tôi bị bỏ lại rất nhiều khoảng trống đại diện cho Unicode. Có cách nào hiệu quả để loại bỏ tất cả chúng trong Python 2.7 và thay đổi chúng thành không gian không? Tôi đoán câu hỏi khái quát hơn sẽ là, có cách nào để xóa định dạng Unicode không?

Tôi đã thử sử dụng : line = line.replace(u'\xa0',' '), như được đề xuất bởi một chủ đề khác, nhưng điều đó đã thay đổi \ xa0 thành u, vì vậy bây giờ tôi có "u" ở khắp mọi nơi thay thế. ):

EDIT: Vấn đề dường như được giải quyết bằng str.replace(u'\xa0', ' ').encode('utf-8'), nhưng chỉ làm .encode('utf-8')mà không làm replace()cho nó phát ra ngay cả các ký tự kỳ lạ, ví dụ như \ xc2. Bất cứ ai có thể giải thích điều này?

\ xa0 thực sự là không gian không phá vỡ trong tiếng Latin1 (ISO 8859-1), cũng chr (160). Bạn nên thay thế nó bằng một không gian.

string = string.replace(u'\xa0', u' ')

Khi .encode ('utf-8'), nó sẽ mã hóa unicode thành utf-8, điều đó có nghĩa là mọi unicode có thể được biểu thị bằng 1 đến 4 byte. Trong trường hợp này, \ xa0 được biểu thị bằng 2 byte \ xc2 \ xa0.

Đọc trên http://docs.python.org/howto/unicode.html .

Xin lưu ý: câu trả lời này từ năm 2012, Python đã chuyển sang, bạn sẽ có thể sử dụng unicodedata.normalizengay bây giờ

Có nhiều thứ hữu ích trong unicodedatathư viện của Python . Một trong số đó là .normalize()chức năng.

Thử:

new_str = unicodedata.normalize("NFKD", unicode_str)

Thay thế NFKD bằng bất kỳ phương pháp nào khác được liệt kê trong liên kết ở trên nếu bạn không nhận được kết quả mà bạn mong muốn.

Hãy thử sử dụng .strip () ở cuối dòng của bạn line.strip()hoạt động tốt với tôi

Sau khi thử một vài phương pháp, để tóm tắt nó, đây là cách tôi đã làm. Sau đây là hai cách để tránh / xóa \ xa0 ký tự khỏi chuỗi HTML được phân tích cú pháp.

Giả sử chúng ta có html thô như sau:

raw_html = '<p>Dear Parent, </p><p><span style="font-size: 1rem;">This is a test message, </span><span style="font-size: 1rem;">kindly ignore it. </span></p><p><span style="font-size: 1rem;">Thanks</span></p>'

Vì vậy, hãy thử làm sạch chuỗi HTML này:

from bs4 import BeautifulSoup
raw_html = '<p>Dear Parent, </p><p><span style="font-size: 1rem;">This is a test message, </span><span style="font-size: 1rem;">kindly ignore it. </span></p><p><span style="font-size: 1rem;">Thanks</span></p>'
text_string = BeautifulSoup(raw_html, "lxml").text
print text_string
#u'Dear Parent,\xa0This is a test message,\xa0kindly ignore it.\xa0Thanks'

Đoạn mã trên tạo ra các ký tự \ xa0 trong chuỗi. Để loại bỏ chúng đúng cách, chúng ta có thể sử dụng hai cách.

Phương thức # 1 (Được khuyến nghị): Cách đầu tiên là phương thức get lòng của BeautifulSoup với đối số dải là True Vì vậy, mã của chúng tôi trở thành:

clean_text = BeautifulSoup(raw_html, "lxml").get_text(strip=True)
print clean_text
# Dear Parent,This is a test message,kindly ignore it.Thanks

Phương pháp # 2: Tùy chọn khác là sử dụng thư viện của python unicodingata

import unicodedata
text_string = BeautifulSoup(raw_html, "lxml").text
clean_text = unicodedata.normalize("NFKD",text_string)
print clean_text
# u'Dear Parent,This is a test message,kindly ignore it.Thanks'

Tôi cũng đã chi tiết các phương pháp này trên blog này mà bạn có thể muốn tham khảo.

thử cái này:

string.replace('\\xa0', ' ')

Tôi gặp vấn đề tương tự khi lấy một số dữ liệu từ cơ sở dữ liệu sqlite3 bằng python. Các câu trả lời trên không hiệu quả với tôi (không chắc tại sao), nhưng điều này đã làm:line = line.decode('ascii', 'ignore') Tuy nhiên, mục tiêu của tôi là xóa \ xa0s, thay vì thay thế chúng bằng dấu cách.

Tôi đã nhận được điều này từ hướng dẫn unicode siêu hữu ích này của Ned Batchelder.

Tôi kết thúc ở đây trong khi googling cho vấn đề với nhân vật không in được. Tôi sử dụng MySQL UTF-8 general_civà đối phó với ngôn ngữ đánh bóng. Đối với các chuỗi có vấn đề, tôi phải mua như sau:

text=text.replace('\xc2\xa0', ' ')

Nó chỉ là cách giải quyết nhanh và bạn chắc chắn nên thử một cái gì đó với thiết lập mã hóa đúng.

Hãy thử mã này

import re
re.sub(r'[^\x00-\x7F]+','','paste your string here').decode('utf-8','ignore').strip()

0xA0 (Unicode) là 0xC2A0 trong UTF-8. .encode('utf8')sẽ chỉ lấy Unicode 0xA0 của bạn và thay thế bằng 0xC2A0 của UTF-8. Do đó, sự xuất hiện của 0xC2s ... Mã hóa không thay thế, như bạn có thể nhận ra bây giờ.

Nó tương đương với một nhân vật không gian, vì vậy hãy lột nó ra

print(string.strip()) # no more xa0

Trong Beautiful Soup, bạn có thể truyền get_text()tham số dải, dải màu trắng từ đầu và cuối văn bản. Điều này sẽ loại bỏ \xa0hoặc bất kỳ khoảng trắng nào khác nếu nó xảy ra ở đầu hoặc cuối chuỗi. Beautiful Soup đã thay thế một chuỗi trống bằng \xa0và điều này đã giải quyết vấn đề cho tôi.

mytext = soup.get_text(strip=True)

Phiên bản chung với biểu thức chính quy (Nó sẽ xóa tất cả các ký tự điều khiển):

import re
def remove_control_chart(s):
    return re.sub(r'\\x..', '', s)

Python nhận ra nó giống như một nhân vật không gian, vì vậy bạn có thể làm splitđiều đó mà không cần tranh luận và tham gia bởi một khoảng trắng thông thường:

line = ' '.join(line.split())