Tôi có urltừ người dùng và tôi phải trả lời bằng HTML đã tìm nạp.

Làm cách nào để kiểm tra xem URL có bị sai hay không?

Ví dụ :

url='google'  // Malformed
url='google.com'  // Malformed
url='http://google.com'  // Valid
url='http://google'   // Malformed

Làm thế nào chúng ta có thể đạt được điều này?

xác thực url django regex ( nguồn ):

import re
regex = re.compile(
        r'^(?:http|ftp)s?://' # http:// or https://
        r'(?:(?:[A-Z0-9](?:[A-Z0-9-]{0,61}[A-Z0-9])?\.)+(?:[A-Z]{2,6}\.?|[A-Z0-9-]{2,}\.?)|' #domain...
        r'localhost|' #localhost...
        r'\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3})' # ...or ip
        r'(?::\d+)?' # optional port
        r'(?:/?|[/?]\S+)$', re.IGNORECASE)

print(re.match(regex, "http://www.example.com") is not None) # True
print(re.match(regex, "example.com") is not None)            # False

Thực ra, tôi nghĩ đây là cách tốt nhất.

from django.core.validators import URLValidator
from django.core.exceptions import ValidationError

val = URLValidator(verify_exists=False)
try:
    val('http://www.google.com')
except ValidationError, e:
    print e

Nếu bạn đặt verify_existsthành True, nó sẽ thực sự xác minh rằng URL tồn tại, nếu không, nó sẽ chỉ kiểm tra xem nó có được định dạng chính xác hay không.

chỉnh sửa: à vâng, câu hỏi này trùng lặp với câu này: Làm cách nào để kiểm tra xem URL có tồn tại với trình xác thực của Django không?

Sử dụng gói trình xác thực :

>>> import validators
>>> validators.url("http://google.com")
True
>>> validators.url("http://google")
ValidationFailure(func=url, args={'value': 'http://google', 'require_tld': True})
>>> if not validators.url("http://google"):
...     print "not valid"
... 
not valid
>>>

Cài đặt nó từ PyPI với pip ( pip install validators).

Phiên bản Đúng hay Sai, dựa trên câu trả lời @DMfll:

try:
    # python2
    from urlparse import urlparse
except:
    # python3
    from urllib.parse import urlparse

a = 'http://www.cwi.nl:80/%7Eguido/Python.html'
b = '/data/Python.html'
c = 532
d = u'dkakasdkjdjakdjadjfalskdjfalk'

def uri_validator(x):
    try:
        result = urlparse(x)
        return all([result.scheme, result.netloc, result.path])
    except:
        return False

print(uri_validator(a))
print(uri_validator(b))
print(uri_validator(c))
print(uri_validator(d))

Cung cấp:

True
False
False
False

Ngày nay, tôi sử dụng những điều sau đây, dựa trên câu trả lời của Padam:

$ python --version
Python 3.6.5

Và đây là cách nó trông:

from urllib.parse import urlparse

def is_url(url):
  try:
    result = urlparse(url)
    return all([result.scheme, result.netloc])
  except ValueError:
    return False

Chỉ cần sử dụng is_url("http://www.asdf.com").

Hy vọng nó giúp!

lưu ý - lepl không còn được hỗ trợ, xin lỗi (bạn có thể sử dụng nó và tôi nghĩ mã bên dưới hoạt động, nhưng nó sẽ không nhận được bản cập nhật).

rfc 3696 http://www.faqs.org/rfcs/rfc3696.html xác định cách thực hiện việc này (cho url http và email). tôi đã triển khai các đề xuất của nó trong python bằng cách sử dụng lepl (thư viện phân tích cú pháp). xem http://acooke.org/lepl/rfc3696.html

sử dụng:

> easy_install lepl
...
> python
...
>>> from lepl.apps.rfc3696 import HttpUrl
>>> validator = HttpUrl()
>>> validator('google')
False
>>> validator('http://google')
False
>>> validator('http://google.com')
True

Tôi đã truy cập trang này để cố gắng tìm ra một cách lành mạnh để xác nhận các chuỗi là url "hợp lệ". Tôi chia sẻ ở đây giải pháp của tôi bằng cách sử dụng python3. Không cần thêm thư viện.

Xem https://docs.python.org/2/library/urlparse.html nếu bạn đang sử dụng python2.

Xem https://docs.python.org/3.0/library/urllib.parse.html nếu bạn đang sử dụng python3 như tôi.

import urllib
from pprint import pprint

invalid_url = 'dkakasdkjdjakdjadjfalskdjfalk'
valid_url = 'https://stackoverflow.com'
tokens = [urllib.parse.urlparse(url) for url in (invalid_url, valid_url)]

for token in tokens:
    pprint(token)

min_attributes = ('scheme', 'netloc')  # add attrs to your liking
for token in tokens:
    if not all([getattr(token, attr) for attr in min_attributes]):
        error = "'{url}' string has no scheme or netloc.".format(url=token.geturl())
        print(error)
    else:
        print("'{url}' is probably a valid url.".format(url=token.geturl()))

ParseResult (Scheme = '', netloc = '', path = 'dkakasdkjdjakdjadjfalskdjfalk', params = '', query = '', segment = '')

ParseResult (Scheme = 'https', netloc = 'stackoverflow.com', path = '', params = '', query = '', segment = '')

Chuỗi 'dkakasdkjdjakdjadjfalskdjfalk' không có lược đồ hoặc netloc.

' https://stackoverflow.com ' có thể là một url hợp lệ.

Đây là một hàm ngắn gọn hơn:

from urllib.parse import urlparse

min_attributes = ('scheme', 'netloc')


def is_valid(url, qualifying=min_attributes):
    tokens = urlparse(url)
    return all([getattr(tokens, qualifying_attr)
                for qualifying_attr in qualifying])

BIÊN TẬP

Như đã chỉ ra bởi @Kwame, đoạn mã dưới đây xác thực url ngay cả khi .comhoặc .cov.v. không có.

cũng được @Blaise chỉ ra, các URL như https://www.google là một URL hợp lệ và bạn cần thực hiện kiểm tra DNS để kiểm tra xem nó có giải quyết được hay không.

Điều này đơn giản và hoạt động:

Vì vậy, min_attrchứa tập hợp các chuỗi cơ bản cần phải có để xác định tính hợp lệ của một URL, tức là http://một phần và google.commột phần.

urlparse.schemecửa hàng http://và

urlparse.netloc lưu trữ tên miền google.com

from urlparse import urlparse
def url_check(url):

    min_attr = ('scheme' , 'netloc')
    try:
        result = urlparse(url)
        if all([result.scheme, result.netloc]):
            return True
        else:
            return False
    except:
        return False

all()trả về true nếu tất cả các biến bên trong nó trả về true. Vì vậy, nếu result.schemevà result.netlochiện tại tức là có một số giá trị thì URL hợp lệ và do đó trả về True.

Xác thực URL với urllibvà regex giống Django

Regex xác thực URL Django thực sự khá tốt nhưng tôi cần phải điều chỉnh nó một chút cho trường hợp sử dụng của mình. Hãy điều chỉnh nó cho phù hợp với bạn!

Python 3.7

import re
import urllib

# Check https://regex101.com/r/A326u1/5 for reference
DOMAIN_FORMAT = re.compile(
    r"(?:^(\w{1,255}):(.{1,255})@|^)" # http basic authentication [optional]
    r"(?:(?:(?=\S{0,253}(?:$|:))" # check full domain length to be less than or equal to 253 (starting after http basic auth, stopping before port)
    r"((?:[a-z0-9](?:[a-z0-9-]{0,61}[a-z0-9])?\.)+" # check for at least one subdomain (maximum length per subdomain: 63 characters), dashes in between allowed
    r"(?:[a-z0-9]{1,63})))" # check for top level domain, no dashes allowed
    r"|localhost)" # accept also "localhost" only
    r"(:\d{1,5})?", # port [optional]
    re.IGNORECASE
)
SCHEME_FORMAT = re.compile(
    r"^(http|hxxp|ftp|fxp)s?$", # scheme: http(s) or ftp(s)
    re.IGNORECASE
)

def validate_url(url: str):
    url = url.strip()

    if not url:
        raise Exception("No URL specified")

    if len(url) > 2048:
        raise Exception("URL exceeds its maximum length of 2048 characters (given length={})".format(len(url)))

    result = urllib.parse.urlparse(url)
    scheme = result.scheme
    domain = result.netloc

    if not scheme:
        raise Exception("No URL scheme specified")

    if not re.fullmatch(SCHEME_FORMAT, scheme):
        raise Exception("URL scheme must either be http(s) or ftp(s) (given scheme={})".format(scheme))

    if not domain:
        raise Exception("No URL domain specified")

    if not re.fullmatch(DOMAIN_FORMAT, domain):
        raise Exception("URL domain malformed (domain={})".format(domain))

    return url

Giải trình

• Mã chỉ xác thực phần schemevà netloccủa một URL nhất định. (Để làm điều này đúng cách, tôi chia URL urllib.parse.urlparse()thành hai phần theo các phần sau đó được đối sánh với các điều khoản regex tương ứng.)

• Phần netlocdừng trước lần xuất hiện đầu tiên của dấu gạch chéo /, vì vậy các portsố vẫn là một phần của netloc, ví dụ:

  https://www.google.com:80/search?q=python
  ^^^^^   ^^^^^^^^^^^^^^^^^
    |             |      
    |             +-- netloc (aka "domain" in my code)
    +-- scheme

• Địa chỉ IPv4 cũng được xác thực

Hỗ trợ IPv6

Nếu bạn muốn trình xác thực URL cũng hoạt động với địa chỉ IPv6, hãy làm như sau:

• Thêm is_valid_ipv6(ip)từ câu trả lời của Markus Jarderot , có regex trình xác thực IPv6 thực sự tốt
• Thêm and not is_valid_ipv6(domain)vào cuối cùngif

Ví dụ

Dưới đây là một số ví dụ về regex cho phần netloc(hay còn gọi là domain) đang hoạt động:

• IPv4 và chữ và số: https://regex101.com/r/A326u1/5
• IPv6: https://regex101.com/r/lKIIgq/1 (với regex từ câu trả lời của Markus Jarderot )

Tất cả các giải pháp trên đều công nhận chuỗi như " http://www.google.com.vn/path,www.yahoo.com/path " là hợp lệ. Giải pháp này luôn hoạt động như bình thường

import re

# URL-link validation
ip_middle_octet = u"(?:\.(?:1?\d{1,2}|2[0-4]\d|25[0-5]))"
ip_last_octet = u"(?:\.(?:[1-9]\d?|1\d\d|2[0-4]\d|25[0-4]))"

URL_PATTERN = re.compile(
                        u"^"
                        # protocol identifier
                        u"(?:(?:https?|ftp|rtsp|rtp|mmp)://)"
                        # user:pass authentication
                        u"(?:\S+(?::\S*)?@)?"
                        u"(?:"
                        u"(?P<private_ip>"
                        # IP address exclusion
                        # private & local networks
                        u"(?:localhost)|"
                        u"(?:(?:10|127)" + ip_middle_octet + u"{2}" + ip_last_octet + u")|"
                        u"(?:(?:169\.254|192\.168)" + ip_middle_octet + ip_last_octet + u")|"
                        u"(?:172\.(?:1[6-9]|2\d|3[0-1])" + ip_middle_octet + ip_last_octet + u"))"
                        u"|"
                        # IP address dotted notation octets
                        # excludes loopback network 0.0.0.0
                        # excludes reserved space >= 224.0.0.0
                        # excludes network & broadcast addresses
                        # (first & last IP address of each class)
                        u"(?P<public_ip>"
                        u"(?:[1-9]\d?|1\d\d|2[01]\d|22[0-3])"
                        u"" + ip_middle_octet + u"{2}"
                        u"" + ip_last_octet + u")"
                        u"|"
                        # host name
                        u"(?:(?:[a-z\u00a1-\uffff0-9_-]-?)*[a-z\u00a1-\uffff0-9_-]+)"
                        # domain name
                        u"(?:\.(?:[a-z\u00a1-\uffff0-9_-]-?)*[a-z\u00a1-\uffff0-9_-]+)*"
                        # TLD identifier
                        u"(?:\.(?:[a-z\u00a1-\uffff]{2,}))"
                        u")"
                        # port number
                        u"(?::\d{2,5})?"
                        # resource path
                        u"(?:/\S*)?"
                        # query string
                        u"(?:\?\S*)?"
                        u"$",
                        re.UNICODE | re.IGNORECASE
                       )
def url_validate(url):   
    """ URL string validation
    """                                                                                                                                                      
    return re.compile(URL_PATTERN).match(url)