\ d kém hiệu quả hơn [0-9]

Tôi đã đưa ra một nhận xét ngày hôm qua về một câu trả lời mà ai đó đã sử dụng [0123456789]trong một biểu thức thông thường hơn là [0-9]hoặc \d. Tôi đã nói rằng có thể hiệu quả hơn khi sử dụng một công cụ xác định phạm vi hoặc chữ số so với một bộ ký tự.

Tôi đã quyết định kiểm tra điều đó hôm nay và phát hiện ra điều ngạc nhiên là (ít nhất là trong công cụ regex C #) có \dvẻ kém hiệu quả hơn so với hai trong số hai cái còn lại dường như không khác nhau nhiều. Đây là đầu ra thử nghiệm của tôi hơn 10000 chuỗi ngẫu nhiên gồm 1000 ký tự ngẫu nhiên với 5077 thực sự có chứa một chữ số:

Regular expression \d           took 00:00:00.2141226 result: 5077/10000
Regular expression [0-9]        took 00:00:00.1357972 result: 5077/10000  63.42 % of first
Regular expression [0123456789] took 00:00:00.1388997 result: 5077/10000  64.87 % of first

Đó là một bất ngờ đối với tôi vì hai lý do:

1. Tôi đã nghĩ rằng phạm vi sẽ được thực hiện hiệu quả hơn nhiều so với thiết lập.
2. Tôi không thể hiểu tại sao \dtồi tệ hơn [0-9]. Có nhiều \dhơn chỉ đơn giản là tốc ký cho [0-9]?

Đây là mã kiểm tra:

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Diagnostics;
using System.Text.RegularExpressions;

namespace SO_RegexPerformance
{
    class Program
    {
        static void Main(string[] args)
        {
            var rand = new Random(1234);
            var strings = new List<string>();
            //10K random strings
            for (var i = 0; i < 10000; i++)
            {
                //Generate random string
                var sb = new StringBuilder();
                for (var c = 0; c < 1000; c++)
                {
                    //Add a-z randomly
                    sb.Append((char)('a' + rand.Next(26)));
                }
                //In roughly 50% of them, put a digit
                if (rand.Next(2) == 0)
                {
                    //Replace one character with a digit, 0-9
                    sb[rand.Next(sb.Length)] = (char)('0' + rand.Next(10));
                }
                strings.Add(sb.ToString());
            }

            var baseTime = testPerfomance(strings, @"\d");
            Console.WriteLine();
            var testTime = testPerfomance(strings, "[0-9]");
            Console.WriteLine("  {0:P2} of first", testTime.TotalMilliseconds / baseTime.TotalMilliseconds);
            testTime = testPerfomance(strings, "[0123456789]");
            Console.WriteLine("  {0:P2} of first", testTime.TotalMilliseconds / baseTime.TotalMilliseconds);
        }

        private static TimeSpan testPerfomance(List<string> strings, string regex)
        {
            var sw = new Stopwatch();

            int successes = 0;

            var rex = new Regex(regex);

            sw.Start();
            foreach (var str in strings)
            {
                if (rex.Match(str).Success)
                {
                    successes++;
                }
            }
            sw.Stop();

            Console.Write("Regex {0,-12} took {1} result: {2}/{3}", regex, sw.Elapsed, successes, strings.Count);

            return sw.Elapsed;
        }
    }
}

\dkiểm tra tất cả các chữ số Unicode, trong khi [0-9]giới hạn ở 10 ký tự này. Ví dụ, các chữ số Ba Tư۱۲۳۴۵۶۷۸۹ , là một ví dụ về các chữ số Unicode được khớp với \d, nhưng không [0-9].

Bạn có thể tạo danh sách tất cả các ký tự như vậy bằng mã sau:

var sb = new StringBuilder();
for(UInt16 i = 0; i < UInt16.MaxValue; i++)
{
    string str = Convert.ToChar(i).ToString();
    if (Regex.IsMatch(str, @"\d"))
        sb.Append(str);
}
Console.WriteLine(sb.ToString());

Tạo ra:

0123456789٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹߀߁߂߃߄߅߆߇߈߉०१२३४५६७८ ০১২৩৪৫৬৭৮৯੦੧੨੩੪੫੬੭੮੯૦૧૨૩૪૫૬૭૮૯ ୦୧୨୩୪୫୬୭୮୯ ௦௧௨௩௪௫௬௭௮௯౦౧౨౩౪౫౬౭౮౯೦೧೨೩೪೫೬೭೮೯൦൧൨൩൪൫൬൭൮൯๐๑๒๓๔๕๖๗๘๙໐໑໒໓໔໕໖໗໘໙༠༡༢༣༤༥༦༧༨༩၀၁၂၃၄၅၆၇၈၉႐႑႒႓႔႕႖႗႘႙០១២៣៤៥៦៧៨៩ ᠐᠑᠒᠓᠔᠕᠖᠗᠘᠙ ᥆᥇᥈᥉᥊᥋᥌᥍᥎᥏ ᧐᧑᧒᧓᧔᧕᧖᧗᧘᧙ ᭐᭑᭒᭓᭔᭕᭖᭗᭘᭙᮰᮱᮲᮳᮴᮵᮶᮷᮸᮹᱀᱁᱂᱃᱄᱅᱆᱇᱈᱉᱐᱑᱒᱓᱔᱕᱖᱗᱘᱙꘠꘡꘢꘣꘤꘥꘦꘧꘨꘩꣐꣑꣒꣓꣔꣕꣖꣗꣘꣙꤀꤁꤂꤃꤄꤅꤆꤇꤈꤉꩐꩑꩒꩓꩔꩕꩖꩗꩘꩙０１２３４５６７８９

Tín dụng cho ByteBlast để nhận thấy điều này trong các tài liệu. Chỉ cần thay đổi hàm tạo regex:

var rex = new Regex(regex, RegexOptions.ECMAScript);

Cung cấp thời gian mới:

Regex \d           took 00:00:00.1355787 result: 5077/10000
Regex [0-9]        took 00:00:00.1360403 result: 5077/10000  100.34 % of first
Regex [0123456789] took 00:00:00.1362112 result: 5077/10000  100.47 % of first

Từ Liệu có phải là một chữ số trong regex có nghĩa là một chữ số không? :

[0-9]không tương đương với \d. [0-9]chỉ khớp các 0123456789ký tự, trong khi \dkhớp [0-9]và các ký tự chữ số khác, ví dụ chữ số Đông Ả Rập٠١٢٣٤٥٦٧٨٩

Một bổ sung cho câu trả lời hàng đầu từ Sina Iravianian , đây là phiên bản .NET 4.5 (vì chỉ có phiên bản đó hỗ trợ đầu ra UTF16, cf ba dòng đầu tiên) của mã của anh ấy, sử dụng toàn bộ các điểm mã Unicode. Do thiếu sự hỗ trợ thích hợp cho các mặt phẳng Unicode cao hơn, nhiều người không biết luôn luôn kiểm tra và bao gồm các mặt phẳng Unicode phía trên. Tuy nhiên, đôi khi chúng có chứa một số nhân vật quan trọng.

Cập nhật

Vì \dkhông hỗ trợ các ký tự không phải BMP trong regex (cảm ơn xanatos ), nên đây là phiên bản sử dụng cơ sở dữ liệu ký tự Unicode

public static void Main()
{
    var unicodeEncoding = new UnicodeEncoding(!BitConverter.IsLittleEndian, false);
    Console.InputEncoding = unicodeEncoding;
    Console.OutputEncoding = unicodeEncoding;

    var sb = new StringBuilder();
    for (var codePoint = 0; codePoint <= 0x10ffff; codePoint++)
    {
        var isSurrogateCodePoint = codePoint <= UInt16.MaxValue 
               && (  char.IsLowSurrogate((char) codePoint) 
                  || char.IsHighSurrogate((char) codePoint)
                  );

        if (isSurrogateCodePoint)
            continue;

        var codePointString = char.ConvertFromUtf32(codePoint);

        foreach (var category in new []{
        UnicodeCategory.DecimalDigitNumber,
            UnicodeCategory.LetterNumber,
            UnicodeCategory.OtherNumber})
        {
        sb.AppendLine($"{category}");
            foreach (var ch in charInfo[category])
        {
                sb.Append(ch);
            }
            sb.AppendLine();
        }
    }
    Console.WriteLine(sb.ToString());

    Console.ReadKey();
}

Mang lại đầu ra sau:

Số thập phân số 0123456789٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹߀߁߂߃߄߅߆߇߈߉०१२३४५६७८ ০১২৩৪৫৬৭৮৯੦੧੨੩੪੫੬੭੮੯૦૧૨૩૪૫૬૭૮૯ ୦୧୨୩୪୫୬୭୮୯ ௦௧௨௩௪௫௬௭௮௯౦౧౨౩౪౫౬౭౮౯೦೧೨೩೪೫೬೭೮೯൦൧൨൩൪൫൬൭൮൯ ෦෧෨෩෪෫෬෭෮෯ ᧐᧑᧒᧓᧔᧕᧖᧗᧘᧙᪀᪁᪂᪃᪄᪅᪆᪇᪈᪉᪐᪑᪒᪓᪔᪕᪖᪗᪘᪙ 𑁦𑁧𑁨𑁩𑁪𑁫𑁬𑁭𑁮𑁯 𑃰𑃱𑃲𑃳𑃴𑃵𑃶𑃷𑃸𑃹

Số thư

𐅀𐅁𐅂𐅃𐅄𐅅𐅆𐅇𐅈𐅉𐅊𐅋𐅌𐅍𐅎𐅏𐅐𐅑𐅒𐅓𐅔𐅕𐅖𐅗𐅘𐅙𐅚𐅛𐅜𐅝𐅞𐅟𐅠𐅡𐅢𐅣𐅤𐅥𐅦𐅧𐅨𐅩𐅪𐅫𐅬𐅭𐅮𐅯𐅰𐅱𐅲𐅳𐅴 𐍁𐍊 𐏑𐏒𐏓𐏔𐏕

Số khác³¹¼½¾৴৵৶৷৸৹ ³¹¼½¾৴৵৶৷৸৹ ³¹¼½¾৴৵৶৷৸৹ ³¹¼½¾৴৵৶৷৸৹𑜺𑜻 𑣪𑣫𑣬𑣭𑣮𑣯𑣰𑣱𑣲 𖭛𖭜𖭝𖭞𖭟𖭠𖭡𝍠𝍡𝍢𝍣𝍤𝍥𝍦𝍧𝍨𝍩𝍪𝍫𝍬𝍭𝍮𝍯𝍰𝍱

\ d kiểm tra tất cả Unicode, trong khi [0-9] bị giới hạn ở 10 ký tự này. Nếu chỉ có 10 chữ số, bạn nên sử dụng. Những người khác tôi khuyên bạn nên sử dụng \ d ， Vì viết ít hơn.