Tôi muốn lấy nội dung từ trang web bên dưới. Nếu tôi sử dụng trình duyệt như Firefox hoặc Chrome, tôi có thể nhận được trang web thực mà tôi muốn, nhưng nếu tôi sử dụng gói (hoặc wgetlệnh) yêu cầu Python để lấy nó, nó sẽ trả về một trang HTML hoàn toàn khác. Tôi nghĩ rằng nhà phát triển của trang web đã thực hiện một số quy tắc cho việc này, vì vậy câu hỏi là:
Làm cách nào để giả mạo lượt truy cập trình duyệt bằng cách sử dụng yêu cầu python hoặc lệnh wget?
Câu trả lời:
Cung cấp User-Agenttiêu đề :
import requests
url = 'http://www.ichangtou.com/#company:data_000008.html'
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'}
response = requests.get(url, headers=headers)
print(response.content)FYI, đây là danh sách các chuỗi Tác nhân Người dùng cho các trình duyệt khác nhau:
Lưu ý thêm, có một gói bên thứ ba khá hữu ích được gọi là fake-useragent cung cấp một lớp trừu tượng đẹp mắt trên các tác nhân người dùng:
giả-sử dụng
Cập nhật người chơi sử dụng đơn giản với cơ sở dữ liệu thế giới thực
Bản giới thiệu:
>>> from fake_useragent import UserAgent
>>> ua = UserAgent()
>>> ua.chrome
u'Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1667.0 Safari/537.36'
>>> ua.random
u'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1985.67 Safari/537.36'PhantomJStrình duyệt không đầu với selen. Cảm ơn. (đừng quên để chấp nhận câu trả lời nếu nó là hữu ích)
UserAgent. Có ai biết tại sao không? Bất cứ ai có thể cung cấp một danh sách các UserAgents được chấp nhận ?
nếu câu hỏi này vẫn còn giá trị
Tôi đã sử dụng UserAgent giả mạo
Cách sử dụng:
from fake_useragent import UserAgent
import requests
ua = UserAgent()
print(ua.chrome)
header = {'User-Agent':str(ua.chrome)}
print(header)
url = "https://www.hybrid-analysis.com/recent-submissions?filter=file&sort=^timestamp"
htmlContent = requests.get(url, headers=header)
print(htmlContent)outPut:
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_2) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1309.0 Safari/537.17
{'User-Agent': 'Mozilla/5.0 (X11; OpenBSD i386) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1985.125 Safari/537.36'}
<Response [200]>Hãy thử làm điều này, sử dụng firefox làm tác nhân người dùng giả mạo (hơn nữa, đó là một tập lệnh khởi động tốt để tìm kiếm web bằng cách sử dụng cookie):
#!/usr/bin/env python2
# -*- coding: utf8 -*-
# vim:ts=4:sw=4
import cookielib, urllib2, sys
def doIt(uri):
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
page = opener.open(uri)
page.addheaders = [('User-agent', 'Mozilla/5.0')]
print page.read()
for i in sys.argv[1:]:
doIt(i)python script.py "http://www.ichangtou.com/#company:data_000008.html"Gốc của câu trả lời là người đặt câu hỏi cần phải có một trình thông dịch JavaScript để có được những gì họ đang theo đuổi. Những gì tôi đã tìm thấy là tôi có thể lấy tất cả thông tin tôi muốn trên một trang web bằng json trước khi nó được JavaScript diễn giải. Điều này đã giúp tôi tiết kiệm rất nhiều thời gian trong việc phân tích cú pháp html với hy vọng mỗi trang web có cùng một định dạng.
Vì vậy, khi bạn nhận được phản hồi từ một trang web sử dụng các yêu cầu, hãy thực sự nhìn vào html / text vì bạn có thể tìm thấy javascripts JSON ở chân trang đã sẵn sàng được phân tích cú pháp.