Cách nhanh nhất để phân tách một chuỗi phân tách trong Java

Tôi đang xây dựng Bộ so sánh cung cấp khả năng sắp xếp nhiều cột trên Chuỗi phân cách. Tôi hiện đang sử dụng phương thức phân tách từ lớp String làm lựa chọn ưa thích của tôi để tách Chuỗi thô thành mã thông báo.

Đây có phải là cách thực hiện tốt nhất để chuyển đổi Chuỗi thô thành mảng Chuỗi? Tôi sẽ sắp xếp hàng triệu hàng để tôi nghĩ cách tiếp cận là vấn đề.

Nó dường như chạy tốt và rất dễ dàng, nhưng không chắc chắn nếu có cách nhanh hơn trong java.

Đây là cách sắp xếp hoạt động trong Bộ so sánh của tôi:

public int compare(String a, String b) {

    String[] aValues = a.split(_delimiter, _columnComparators.length);
    String[] bValues = b.split(_delimiter, _columnComparators.length);
    int result = 0;

    for( int index : _sortColumnIndices ) {
        result = _columnComparators[index].compare(aValues[index], bValues[index]);
        if(result != 0){
            break;
        }
    }
    return result;
}

Sau khi đánh giá các cách tiếp cận khác nhau, tin hay không, phương pháp phân tách là cách nhanh nhất bằng cách sử dụng phiên bản java mới nhất. Bạn có thể tải xuống bộ so sánh đã hoàn thành của tôi tại đây: https://sourceforge.net/projects/multicolumnrowcomparator/

Tôi đã viết một bài kiểm tra điểm chuẩn nhanh và bẩn cho việc này. Nó so sánh 7 phương pháp khác nhau, một số phương pháp đòi hỏi kiến ​​thức cụ thể về dữ liệu được phân chia.

Đối với phân tách mục đích chung cơ bản, Guava Splitter nhanh hơn 3,5 lần so với Chuỗi # split () và tôi khuyên bạn nên sử dụng điều đó. Stringtokenizer nhanh hơn một chút và chia tách bản thân với indexOf nhanh gấp đôi so với lần nữa.

Để biết mã và biết thêm thông tin, hãy xem http://demeranville.com/battle-of-the-tokenators-delrict-text-parser-performance/

Như @Tom viết, một cách tiếp cận kiểu indexOf nhanh hơn String.split(), vì cách tiếp cận này xử lý các biểu thức chính quy và có rất nhiều chi phí phụ cho chúng.

Tuy nhiên, một thay đổi thuật toán có thể giúp bạn tăng tốc siêu tốc. Giả sử rằng Bộ so sánh này sẽ được sử dụng để sắp xếp ~ 100.000 Chuỗi của bạn, đừng viết Comparator<String>. Bởi vì, trong quá trình sắp xếp của bạn, cùng một Chuỗi có thể sẽ được so sánh nhiều lần, do đó bạn sẽ chia nó nhiều lần, v.v ...

Tách tất cả các Chuỗi một lần thành Chuỗi [] s và Comparator<String[]>sắp xếp Chuỗi []. Sau đó, cuối cùng, bạn có thể kết hợp tất cả chúng lại với nhau.

Ngoài ra, bạn cũng có thể sử dụng Bản đồ để lưu trữ Chuỗi -> Chuỗi [] hoặc ngược lại. ví dụ (sơ sài) Cũng lưu ý, bạn đang giao dịch bộ nhớ cho tốc độ, hy vọng bạn có rất nhiều RAM

HashMap<String, String[]> cache = new HashMap();

int compare(String s1, String s2) {
   String[] cached1 = cache.get(s1);
   if (cached1  == null) {
      cached1 = mySuperSplitter(s1):
      cache.put(s1, cached1);
   }
   String[] cached2 = cache.get(s2);
   if (cached2  == null) {
      cached2 = mySuperSplitter(s2):
      cache.put(s2, cached2);
   }

   return compareAsArrays(cached1, cached2);  // real comparison done here
}

Theo điểm chuẩn này , StringTokenizer nhanh hơn để chia chuỗi nhưng nó không trả về một mảng khiến cho nó không thuận tiện.

Nếu bạn cần sắp xếp hàng triệu hàng tôi khuyên bạn nên sử dụng RDBMS.

Đây là phương pháp tôi sử dụng để phân tích các tệp được phân định bằng tab lớn (1GB +). Nó có ít chi phí hơn rất nhiều so với String.split(), nhưng được giới hạn charnhư là một dấu phân cách. Nếu bất cứ ai có một phương pháp nhanh hơn, tôi muốn xem nó. Điều này cũng có thể được thực hiện trên CharSequencevà CharSequence.subSequence, nhưng điều đó đòi hỏi phải thực hiện CharSequence.indexOf(char)(tham khảo phương pháp gói String.indexOf(char[] source, int sourceOffset, int sourceCount, char[] target, int targetOffset, int targetCount, int fromIndex)nếu quan tâm).

public static String[] split(final String line, final char delimiter)
{
    CharSequence[] temp = new CharSequence[(line.length() / 2) + 1];
    int wordCount = 0;
    int i = 0;
    int j = line.indexOf(delimiter, 0); // first substring

    while (j >= 0)
    {
        temp[wordCount++] = line.substring(i, j);
        i = j + 1;
        j = line.indexOf(delimiter, i); // rest of substrings
    }

    temp[wordCount++] = line.substring(i); // last substring

    String[] result = new String[wordCount];
    System.arraycopy(temp, 0, result, 0, wordCount);

    return result;
}