chúng ta có thể sử dụng xpath với BeautifulSoup không?

Tôi đang sử dụng BeautifulSoup để quét url và tôi có mã sau

import urllib
import urllib2
from BeautifulSoup import BeautifulSoup

url =  "http://www.example.com/servlet/av/ResultTemplate=AVResult.html"
req = urllib2.Request(url)
response = urllib2.urlopen(req)
the_page = response.read()
soup = BeautifulSoup(the_page)
soup.findAll('td',attrs={'class':'empformbody'})

Bây giờ trong đoạn mã trên, chúng ta có thể sử dụng findAllđể lấy các thẻ và thông tin liên quan đến chúng, nhưng tôi muốn sử dụng xpath. Có thể sử dụng xpath với BeautifulSoup không? Nếu có thể, bất cứ ai có thể vui lòng cung cấp cho tôi một mã ví dụ để nó sẽ hữu ích hơn?

Không, bản thân BeautifulSoup không hỗ trợ các biểu thức XPath.

Một thư viện thay thế, lxml , không hỗ trợ XPath 1.0. Nó có chế độ tương thích với BeautifulSoup , nơi nó sẽ thử và phân tích cú pháp HTML bị hỏng theo cách của Soup. Tuy nhiên, trình phân tích cú pháp HTML lxml mặc định thực hiện tốt công việc phân tích cú pháp HTML bị hỏng và tôi tin rằng nó nhanh hơn.

Khi bạn đã phân tích cú pháp tài liệu của mình thành cây lxml, bạn có thể sử dụng .xpath()phương pháp này để tìm kiếm các phần tử.

try:
    # Python 2
    from urllib2 import urlopen
except ImportError:
    from urllib.request import urlopen
from lxml import etree

url =  "http://www.example.com/servlet/av/ResultTemplate=AVResult.html"
response = urlopen(url)
htmlparser = etree.HTMLParser()
tree = etree.parse(response, htmlparser)
tree.xpath(xpathselector)

Ngoài ra còn có một mô-đun chuyên dụnglxml.html() với chức năng bổ sung.

Lưu ý rằng trong ví dụ trên, tôi đã truyền responsetrực tiếp đối tượng đến lxml, vì để trình phân tích cú pháp đọc trực tiếp từ luồng sẽ hiệu quả hơn đọc phản hồi thành một chuỗi lớn trước. Để thực hiện tương tự với requeststhư viện, bạn muốn đặt stream=Truevà chuyển response.rawđối tượng vào sau khi bật giải nén truyền tải minh bạch :

import lxml.html
import requests

url =  "http://www.example.com/servlet/av/ResultTemplate=AVResult.html"
response = requests.get(url, stream=True)
response.raw.decode_content = True
tree = lxml.html.parse(response.raw)

Bạn có thể quan tâm đến CSS Selector ; các CSSSelectorlớp dịch báo cáo CSS vào các biểu thức XPath, làm cho tìm kiếm của bạn cho td.empformbodyrằng dễ dàng hơn nhiều:

from lxml.cssselect import CSSSelector

td_empformbody = CSSSelector('td.empformbody')
for elem in td_empformbody(tree):
    # Do something with these table cells.

Đến vòng tròn đầy đủ: BeautifulSoup bản thân không có rất đầy đủ hỗ trợ CSS selector :

for cell in soup.select('table#foobar td.empformbody'):
    # Do something with these table cells.

Tôi có thể xác nhận rằng không có hỗ trợ XPath trong Beautiful Soup.

Như những người khác đã nói, BeautifulSoup không có hỗ trợ xpath. Có thể có một số cách để lấy thứ gì đó từ xpath, bao gồm cả sử dụng Selenium. Tuy nhiên, đây là một giải pháp hoạt động trên Python 2 hoặc 3:

from lxml import html
import requests

page = requests.get('http://econpy.pythonanywhere.com/ex/001.html')
tree = html.fromstring(page.content)
#This will create a list of buyers:
buyers = tree.xpath('//div[@title="buyer-name"]/text()')
#This will create a list of prices
prices = tree.xpath('//span[@class="item-price"]/text()')

print('Buyers: ', buyers)
print('Prices: ', prices)

Tôi đã sử dụng điều này như một tài liệu tham khảo.

BeautifulSoup có một hàm có tên findNext từ phần tử con hiện tại được hướng dẫn, vì vậy:

father.findNext('div',{'class':'class_value'}).findNext('div',{'id':'id_value'}).findAll('a') 

Đoạn mã trên có thể bắt chước xpath sau:

div[class=class_value]/div[id=id_value]

Tôi đã tìm kiếm qua tài liệu của họ và có vẻ như không có tùy chọn xpath. Ngoài ra, như bạn có thể thấy ở đây về một câu hỏi tương tự trên SO, OP đang yêu cầu bản dịch từ xpath sang BeautifulSoup, vì vậy kết luận của tôi sẽ là - không, không có phân tích cú pháp xpath nào.

khi bạn sử dụng lxml, tất cả đều đơn giản:

tree = lxml.html.fromstring(html)
i_need_element = tree.xpath('//a[@class="shared-components"]/@href')

nhưng khi sử dụng BeautifulSoup BS4, tất cả đều đơn giản:

• trước tiên hãy xóa "//" và "@"
• thứ hai - thêm dấu sao trước "="

thử phép thuật này:

soup = BeautifulSoup(html, "lxml")
i_need_element = soup.select ('a[class*="shared-components"]')

như bạn thấy, phần này không hỗ trợ thẻ phụ, vì vậy tôi xóa phần "/ @ href"

Có lẽ bạn có thể thử cách sau mà không có XPath

from simplified_scrapy.simplified_doc import SimplifiedDoc 
html = '''
<html>
<body>
<div>
    <h1>Example Domain</h1>
    <p>This domain is for use in illustrative examples in documents. You may use this
    domain in literature without prior coordination or asking for permission.</p>
    <p><a href="https://www.iana.org/domains/example">More information...</a></p>
</div>
</body>
</html>
'''
# What XPath can do, so can it
doc = SimplifiedDoc(html)
# The result is the same as doc.getElementByTag('body').getElementByTag('div').getElementByTag('h1').text
print (doc.body.div.h1.text)
print (doc.div.h1.text)
print (doc.h1.text) # Shorter paths will be faster
print (doc.div.getChildren())
print (doc.div.getChildren('p'))

from lxml import etree
from bs4 import BeautifulSoup
soup = BeautifulSoup(open('path of your localfile.html'),'html.parser')
dom = etree.HTML(str(soup))
print dom.xpath('//*[@id="BGINP01_S1"]/section/div/font/text()')

Ở trên đã sử dụng kết hợp đối tượng Soup với lxml và một người có thể trích xuất giá trị bằng cách sử dụng xpath

Đây là một chủ đề khá cũ, nhưng hiện đã có một giải pháp khắc phục được, có thể chưa có trong BeautifulSoup vào thời điểm đó.

Đây là một ví dụ về những gì tôi đã làm. Tôi sử dụng mô-đun "yêu cầu" để đọc nguồn cấp RSS và lấy nội dung văn bản của nó trong một biến có tên "rss_text". Sau đó, tôi chạy nó qua BeautifulSoup, tìm kiếm xpath / rss / channel / title và truy xuất nội dung của nó. Nó không hẳn là XPath trong mọi vinh quang của nó (ký tự đại diện, nhiều đường dẫn, v.v.), nhưng nếu bạn chỉ có một đường dẫn cơ bản mà bạn muốn xác định, thì điều này sẽ hoạt động.

from bs4 import BeautifulSoup
rss_obj = BeautifulSoup(rss_text, 'xml')
cls.title = rss_obj.rss.channel.title.get_text()