Nhận miền phụ từ một URL

Việc lấy tên miền phụ từ một URL thoạt nghe có vẻ dễ dàng.

http://www.domain.example

Quét khoảng thời gian đầu tiên, sau đó trả về bất kỳ thứ gì đến sau "http: //" ...

Sau đó, bạn nhớ

http://super.duper.domain.example

Oh. Vì vậy, sau đó bạn nghĩ, được rồi, hãy tìm thời kỳ cuối cùng, quay lại một từ và nhận được mọi thứ trước đó!

Sau đó, bạn nhớ

http://super.duper.domain.co.uk

Và bạn trở lại hình vuông. Có ai có ý tưởng tuyệt vời nào ngoài việc lưu trữ danh sách tất cả các TLD không?

Có ai có ý tưởng tuyệt vời nào ngoài việc lưu trữ danh sách tất cả các TLD không?

Không, vì mỗi TLD khác nhau về những gì được tính là miền phụ, miền cấp hai, v.v.

Hãy nhớ rằng có miền cấp cao nhất, miền cấp hai và miền phụ. Về mặt kỹ thuật, mọi thứ ngoại trừ TLD đều là một miền phụ.

Trong ví dụ domain.com.uk, "miền" là miền phụ, "com" là miền cấp hai và "uk" là TLD.

Vì vậy, câu hỏi vẫn phức tạp hơn so với lúc đầu, và nó phụ thuộc vào cách quản lý của mỗi TLD. Bạn sẽ cần một cơ sở dữ liệu của tất cả các TLD bao gồm phân vùng cụ thể của chúng và những gì được tính là miền cấp hai và miền phụ. Tuy nhiên, không có quá nhiều TLD, vì vậy danh sách có thể quản lý hợp lý, nhưng việc thu thập tất cả thông tin đó không phải là chuyện nhỏ. Có thể đã có sẵn một danh sách như vậy.

Có vẻ như http://publicsuffix.org/ là một trong những danh sách như vậy — tất cả các hậu tố phổ biến (.com, .co.uk, v.v.) trong một danh sách phù hợp để tìm kiếm. Sẽ không dễ dàng để phân tích cú pháp nó, nhưng ít nhất bạn không cần phải duy trì danh sách.

"Hậu tố công khai" là hậu tố mà người dùng Internet có thể trực tiếp đăng ký tên. Một số ví dụ về hậu tố công khai là ".com", ".co.uk" và "pvt.k12.wy.us". Danh sách hậu tố công khai là danh sách tất cả các hậu tố công khai đã biết.

Danh sách Hậu tố Công khai là một sáng kiến ​​của Mozilla Foundation. Nó có sẵn để sử dụng trong bất kỳ phần mềm nào, nhưng ban đầu được tạo ra để đáp ứng nhu cầu của các nhà sản xuất trình duyệt. Nó cho phép các trình duyệt, ví dụ:

• Tránh đặt "supercookies" làm tổn hại đến quyền riêng tư cho hậu tố tên miền cấp cao
• Đánh dấu phần quan trọng nhất của tên miền trong giao diện người dùng
• Sắp xếp chính xác các mục lịch sử theo trang web

Nhìn qua danh sách , bạn có thể thấy nó không phải là một vấn đề tầm thường. Tôi nghĩ rằng một danh sách là cách chính xác duy nhất để thực hiện điều này ...

Như Adam nói, nó không dễ dàng, và hiện tại cách thực tế duy nhất là sử dụng một danh sách.

Ngay cả khi đó vẫn có những ngoại lệ - ví dụ: .ukcó một số miền có giá trị ngay lập tức ở cấp đó mà không có trong đó .co.uk, vì vậy những tên miền đó phải được thêm vào làm ngoại lệ.

Đây hiện là cách các trình duyệt chính thống thực hiện điều này - cần phải đảm bảo rằng example.co.ukkhông thể đặt Cookie .co.ukmà sau đó sẽ được gửi đến bất kỳ trang web nào khác theo.co.uk .

Tin tốt là đã có một danh sách tại http://publicsuffix.org/ .

Cũng có một số công việc trong IETF để tạo ra một số loại tiêu chuẩn để cho phép TLD khai báo cấu trúc miền của chúng trông như thế nào. Điều này hơi phức tạp mặc dù như thế .uk.com, được vận hành như thể nó là một hậu tố công khai, nhưng không được cơ .comquan đăng ký bán.

Publicsuffix.org có vẻ là cách để làm. Có rất nhiều cách triển khai để phân tích cú pháp nội dung của tệp dữ liệu publicsuffix một cách dễ dàng:

• Perl: Tên miền :: PublicSuffix
• Java: http://sourceforge.net/projects/publicsuffix/
• PHP: php-domain-parser
• C # / .NET: https://github.com/danesparza/domainname-parser
• Python: http://pypi.python.org/pypi/publicsuffix
• Ruby: domainatrix , public_suffix

Như đã nói bởi Adam và John publicsuffix.org là cách chính xác để đi. Tuy nhiên, nếu vì bất kỳ lý do gì bạn không thể sử dụng phương pháp này, thì đây là phương pháp phỏng đoán dựa trên giả định hoạt động cho 99% tất cả các miền:

Có một thuộc tính phân biệt (không phải tất cả, nhưng gần như tất cả) miền "thực" với miền phụ và TLD và đó là bản ghi MX của DNS. Bạn có thể tạo một thuật toán tìm kiếm điều này: Loại bỏ từng phần của tên máy chủ và truy vấn DNS cho đến khi bạn tìm thấy bản ghi MX. Thí dụ:

super.duper.domain.co.uk => no MX record, proceed
duper.domain.co.uk       => no MX record, proceed
domain.co.uk             => MX record found! assume that's the domain

Đây là một ví dụ trong php:

function getDomainWithMX($url) {
    //parse hostname from URL 
    //http://www.example.co.uk/index.php => www.example.co.uk
    $urlParts = parse_url($url);
    if ($urlParts === false || empty($urlParts["host"])) 
        throw new InvalidArgumentException("Malformed URL");

    //find first partial name with MX record
    $hostnameParts = explode(".", $urlParts["host"]);
    do {
        $hostname = implode(".", $hostnameParts);
        if (checkdnsrr($hostname, "MX")) return $hostname;
    } while (array_shift($hostnameParts) !== null);

    throw new DomainException("No MX record found");
}

Như đã nói Danh sách hậu tố công khai chỉ là một cách để phân tích cú pháp miền chính xác. Đối với PHP, bạn có thể thử TLDExtract . Đây là mã mẫu:

$extract = new LayerShifter\TLDExtract\Extract();

$result = $extract->parse('super.duper.domain.co.uk');
$result->getSubdomain(); // will return (string) 'super.duper'
$result->getSubdomains(); // will return (array) ['super', 'duper']
$result->getHostname(); // will return (string) 'domain'
$result->getSuffix(); // will return (string) 'co.uk'

Chỉ cần viết một chương trình cho điều này trong clojure dựa trên thông tin từ publicsuffix.org:

https://github.com/isaksky/url_dom

Ví dụ:

(parse "sub1.sub2.domain.co.uk") 
;=> {:public-suffix "co.uk", :domain "domain.co.uk", :rule-used "*.uk"}

Đối với thư viện C (với tạo bảng dữ liệu bằng Python), tôi đã viết http://code.google.com/p/domain-registry-provider/ vừa nhanh vừa tiết kiệm dung lượng.

Thư viện sử dụng ~ 30kB cho các bảng dữ liệu và ~ 10kB cho mã C. Không có chi phí khởi động vì các bảng được xây dựng tại thời điểm biên dịch. Xem http://code.google.com/p/domain-registry-provider/wiki/DesignDoc để biết thêm chi tiết.

Để hiểu rõ hơn về mã tạo bảng (Python), hãy bắt đầu tại đây: http://code.google.com/p/domain-registry-provider/source/browse/trunk/src/registry_tables_generator/registry_tables_generator.py

Để hiểu rõ hơn về API C, hãy xem: http://code.google.com/p/domain-registry-provider/source/browse/trunk/src/domain_registry/domain_registry.h

Nó không hoạt động chính xác, nhưng bạn có thể nhận được câu trả lời hữu ích bằng cách cố gắng tìm nạp từng mảnh miền và kiểm tra phản hồi, tức là tìm nạp ' http: // uk ', sau đó tìm ' http://co.uk ' , rồi đến ' http://domain.co.uk '. Khi bạn nhận được phản hồi không lỗi, bạn đã có miền và phần còn lại là miền phụ.

Đôi khi bạn phải thử nó :)

Biên tập:

Tom Leys chỉ ra trong các nhận xét rằng một số tên miền chỉ được thiết lập trên tên miền phụ www, điều này sẽ cho chúng tôi câu trả lời không chính xác trong bài kiểm tra ở trên. Điểm tốt! Có lẽ cách tiếp cận tốt nhất sẽ là kiểm tra từng phần với ' http: // www ' cũng như 'http: //' và tính một lần truy cập thành một lần truy cập cho phần đó của tên miền? Chúng tôi vẫn còn thiếu một số sắp xếp 'thay thế' chẳng hạn như 'web.domain.com', nhưng tôi đã không gặp một trong những sắp xếp đó trong một thời gian :)

Sử dụng URIBuilder sau đó lấy thuộc tính URIBUilder.host chia nó thành một mảng trên "." bây giờ bạn có một mảng với miền được tách ra.

echo tld('http://www.example.co.uk/test?123'); // co.uk

/**
 * http://publicsuffix.org/
 * http://www.alandix.com/blog/code/public-suffix/
 * http://tobyinkster.co.uk/blog/2007/07/19/php-domain-class/
 */
function tld($url_or_domain = null)
{
    $domain = $url_or_domain ?: $_SERVER['HTTP_HOST'];
    preg_match('/^[a-z]+:\/\//i', $domain) and 
        $domain = parse_url($domain, PHP_URL_HOST);
    $domain = mb_strtolower($domain, 'UTF-8');
    if (strpos($domain, '.') === false) return null;

    $url = 'http://mxr.mozilla.org/mozilla-central/source/netwerk/dns/effective_tld_names.dat?raw=1';

    if (($rules = file($url)) !== false)
    {
        $rules = array_filter(array_map('trim', $rules));
        array_walk($rules, function($v, $k) use(&$rules) { 
            if (strpos($v, '//') !== false) unset($rules[$k]);
        });

        $segments = '';
        foreach (array_reverse(explode('.', $domain)) as $s)
        {
            $wildcard = rtrim('*.'.$segments, '.');
            $segments = rtrim($s.'.'.$segments, '.');

            if (in_array('!'.$segments, $rules))
            {
                $tld = substr($wildcard, 2);
                break;
            }
            elseif (in_array($wildcard, $rules) or 
                    in_array($segments, $rules))
            {
                $tld = $segments;
            }
        }

        if (isset($tld)) return $tld;
    }

    return false;
}

Tôi vừa viết một thư viện objc: https://github.com/kejinlu/KKDomain

Bạn có thể sử dụng API lib tld.js: JavaScript này để làm việc với các tên miền, tên miền phụ và URI phức tạp.

tldjs.getDomain('mail.google.co.uk');
// -> 'google.co.uk'

Nếu bạn đang nhận được miền gốc trong trình duyệt. Bạn có thể sử dụng lib AngusFu / browser-root-domain này .

var KEY = '__rT_dM__' + (+new Date());
var R = new RegExp('(^|;)\\s*' + KEY + '=1');
var Y1970 = (new Date(0)).toUTCString();

module.exports = function getRootDomain() {
  var domain = document.domain || location.hostname;
  var list = domain.split('.');
  var len = list.length;
  var temp = '';
  var temp2 = '';

  while (len--) {
    temp = list.slice(len).join('.');
    temp2 = KEY + '=1;domain=.' + temp;

    // try to set cookie
    document.cookie = temp2;

    if (R.test(document.cookie)) {
      // clear
      document.cookie = temp2 + ';expires=' + Y1970;
      return temp;
    }
  }
};

Sử dụng cookie rất khó.

Nếu bạn đang tìm cách trích xuất miền phụ và / hoặc miền từ danh sách URL tùy ý, thì tập lệnh python này có thể hữu ích. Hãy cẩn thận, mặc dù nó không hoàn hảo. Đây là một vấn đề khó giải quyết nói chung và nó rất hữu ích nếu bạn có một danh sách trắng các miền mà bạn đang mong đợi.

1. Nhận các miền cấp cao nhất từ ​​publicsuffix.org

yêu cầu nhập khẩu

url = 'https://publicsuffix.org/list/public_suffix_list.dat'
page = request.get (url)

miền = []
cho dòng trong page.text.splitlines ():
    if line.startswith ('//'):
        tiếp tục
    khác:
        domain = line.strip ()
        nếu miền:
            domains.append (miền)

domain = [d [2:] if d.startswith ('*.') else d for d in domains]
print ('found {} domains'.format (len (domains)))

2. Xây dựng regex

nhập lại

_regex = ''
cho miền trong các miền:
    _regex + = r '{} |' .format (domain.replace ('.', '\.'))

subdomain_regex = r '/([^/]*)\.[[^/.]+\.({})/.*$'. format (_regex)
domain_regex = r '([^ /.] + \. ({})) /.*$'. format (_regex)

3. Sử dụng regex trên danh sách các URL

FILE_NAME = '' # đặt tên tệp CSV ở đây
URL_COLNAME = '' # đặt tên cột URL ở đây

nhập gấu trúc dưới dạng pd

df = pd.read_csv (FILE_NAME)
urls = df [URL_COLNAME] .astype (str) + '/' # lưu ý: thêm / làm bản hack để giúp regex

df ['sub_domain_extracted'] = urls.str.extract (pat = subdomain_regex, expand = True) [0]
df ['domain_extracted'] = urls.str.extract (pat = domain_regex, expand = True) [0]

df.to_csv ('extract_domains.csv', index = False)

Danh sách các hậu tố phổ biến (.co.uk, .com, v.v.) cần loại bỏ cùng với http: // và sau đó bạn sẽ chỉ có "sub.domain" để làm việc thay vì " http: // sub. domain.suffix ", hoặc ít nhất đó là những gì tôi có thể làm.

Vấn đề lớn nhất là danh sách các hậu tố có thể có. Rốt cuộc thì có rất nhiều.

Sau khi xem nhanh danh sách publicsuffix.org, có vẻ như bạn có thể ước tính hợp lý bằng cách xóa ba phân đoạn cuối cùng ("phân đoạn" ở đây có nghĩa là một phần giữa hai dấu chấm) khỏi các miền có phân đoạn cuối cùng dài hai ký tự, với giả định rằng đó là mã quốc gia và sẽ được chia nhỏ hơn nữa. Nếu phân đoạn cuối cùng là "chúng tôi" và phân đoạn thứ hai đến cuối cùng cũng là hai ký tự, hãy xóa bốn phân đoạn cuối cùng. Trong tất cả các trường hợp khác, hãy xóa hai phân đoạn cuối cùng. ví dụ:

• http: //www.domain.example

"example" không phải là hai ký tự, vì vậy hãy xóa "domain.example", để lại "www"

• http: //super.duper.domain.example

"example" không phải là hai ký tự, vì vậy hãy xóa "domain.example", để lại "super.duper"

• http://super.duper.domain.co.uk

"uk" là hai ký tự (nhưng không phải "chúng tôi"), vì vậy hãy xóa "domain.co.uk", để lại "super.duper"

• http://foo.pvt.k12.wy.us

"chúng tôi" là hai ký tự và là "chúng tôi", cộng với "wy" cũng là hai ký tự, vì vậy hãy xóa "pvt.k12.wy.us", để lại "foo".

Lưu ý rằng, mặc dù điều này hoạt động cho tất cả các ví dụ mà tôi đã thấy trong các câu trả lời cho đến nay, nó vẫn chỉ là một ước tính hợp lý. Nó không hoàn toàn chính xác, mặc dù tôi nghi ngờ rằng nó gần như bạn có thể nhận được nếu không lập / lấy một danh sách thực tế để sử dụng để tham khảo.