Python Selenium truy cập nguồn HTML

Làm cách nào để lấy nguồn HTML trong một biến bằng cách sử dụng mô-đun Selenium với Python?

Tôi muốn làm một cái gì đó như thế này:

from selenium import webdriver

browser = webdriver.Firefox()
browser.get("http://example.com")
if "whatever" in html_source:
    # Do something
else:
    # Do something else

Tôi có thể làm cái này như thế nào? Tôi không biết cách truy cập vào nguồn HTML.

Bạn cần truy cập thuộc page_sourcetính:

from selenium import webdriver

browser = webdriver.Firefox()
browser.get("http://example.com")

html_source = browser.page_source
if "whatever" in html_source:
    # do something
else:
    # do something else

Với Selenium2Library, bạn có thể sử dụng get_source()

import Selenium2Library
s = Selenium2Library.Selenium2Library()
s.open_browser("localhost:7080", "firefox")
source = s.get_source()

driver.page_source sẽ giúp bạn lấy mã nguồn của trang. Bạn có thể kiểm tra xem văn bản có trong nguồn trang hay không.

from selenium import webdriver
driver = webdriver.Firefox()
driver.get("some url")
if "your text here" in driver.page_source:
    print('Found it!')
else:
    print('Did not find it.')

Nếu bạn muốn lưu trữ nguồn trang trong một biến, hãy thêm dòng bên dưới sau driver.get :

var_pgsource=driver.page_source

và thay đổi điều kiện if thành:

if "your text here" in var_pgsource:

Bằng cách sử dụng nguồn trang, bạn sẽ nhận được toàn bộ mã HTML.
Vì vậy, trước tiên hãy quyết định khối mã hoặc thẻ mà bạn yêu cầu để truy xuất dữ liệu hoặc nhấp vào phần tử ..

options = driver.find_elements_by_name_("XXX")
for option in options:
    if option.text == "XXXXXX":
        print(option.text)
        option.click()

Bạn có thể tìm thấy các phần tử theo tên, XPath, id, liên kết và đường dẫn CSS.

Để trả lời câu hỏi của bạn về việc lấy URL để sử dụng cho urllib, chỉ cần thực thi mã JavaScript này:

url = browser.execute_script("return window.location;")

Bạn có thể chỉ cần sử dụng WebDriverđối tượng và truy cập vào mã nguồn của trang thông qua @propertytrường của nó page_source...

Hãy thử đoạn mã này :-)

from selenium import webdriver
driver = webdriver.Firefox('path/to/executable')
driver.get('https://some-domain.com')
source = driver.page_source
if 'stuff' in source:
    print('found...')
else:
    print('not in source...')

from bs4 import BeautifulSoup
from selenium import webdriver

driver = webdriver.Chrome()
html_source_code = driver.execute_script("return document.body.innerHTML;")
html_soup: BeautifulSoup = BeautifulSoup(html_source_code, 'html.parser')

Bây giờ bạn có thể áp dụng chức năng BeautifulSoup để trích xuất dữ liệu ...

Tôi khuyên bạn nên lấy nguồn bằng urllib và nếu bạn định phân tích cú pháp, hãy sử dụng cái gì đó như Beautiful Soup .

import urllib

url = urllib.urlopen("http://example.com") # Open the URL.
content = url.readlines() # Read the source and save it to a variable.