Một tập lệnh xóa khoảng trắng thừa giữa các chữ cái trong văn bản

Tôi có một tài liệu văn bản có tải văn bản có thêm khoảng trắng được thêm vào sau mỗi chữ cái!

Thí dụ:

T h e  b o o k  a l s o  h a s  a n  a n a l y t i c a l  p u r p o s e  w h i c h  i s  m o r e  i m p o r t a n t…

Trực quan:

Th␣e␣␣b␣o␣o␣k␣␣a␣l␣s␣o␣␣h␣a␣s␣␣a␣n␣␣a␣n␣a␣l␣y␣t␣i ␣c␣a␣l␣␣p␣u␣r␣p␣o␣s␣e␣␣w␣h␣i␣c␣h␣␣i␣s␣␣m␣o␣r␣e␣␣i␣ mp␣o␣r␣t␣a␣n␣t

Lưu ý rằng có một khoảng trắng thừa sau mỗi chữ cái, vì vậy có hai khoảng trắng giữa các từ liên tiếp.

Có cách nào để tôi có thể nhận awkhoặc sedxóa các khoảng trắng thừa không? (Thật không may, tài liệu văn bản này rất lớn và sẽ mất nhiều thời gian để hoàn thành thủ công.)  Tôi đánh giá cao rằng đây có lẽ là một vấn đề phức tạp hơn nhiều để giải quyết chỉ với một tập lệnh bash đơn giản vì cũng cần phải có một số nhận dạng văn bản.

Làm thế nào tôi có thể tiếp cận vấn đề này?

Regex sau đây sẽ loại bỏ khoảng trắng đầu tiên trong bất kỳ chuỗi khoảng trắng nào. Điều đó nên làm công việc.

s/ ( *)/\1/g

Vì vậy, một cái gì đó như:

perl -i -pe 's/ ( *)/\1/g' infile.txt

... sẽ thay thế infile.txt bằng phiên bản "cố định".

Sử dụng wordsegment, gói NLP phân đoạn từ thuần Python:

$ pip install wordsegment
$ python2.7 -m wordsegment <<<"T h e b o o k a l s o h a s a n a n a l y t i c a l p u r p o s e w h i c h i s m o r e i m p o r t a n t"
the book also has an analytical purpose which is more important

Dựa trên thực tế là đầu vào bao gồm khoảng trắng kép giữa các từ, có một giải pháp đơn giản hơn nhiều. Bạn chỉ cần thay đổi khoảng trắng kép thành ký tự không sử dụng, xóa khoảng trắng và thay đổi ký tự không sử dụng trở lại khoảng trắng:

echo "T h e  b o o k  a l s o  h a s  a n  a n a l y t i c a l  p u r p o s e  w h i c h  i s  m o r e  i m p o r t a n t  " | sed 's/  /\-/g;s/ //g;s/\-/ /g'

... đầu ra:

Cuốn sách cũng có một mục đích phân tích quan trọng hơn

Perl để giải cứu!

Bạn cần một từ điển, tức là một tệp liệt kê một từ trên mỗi dòng. Trên hệ thống của tôi, nó tồn tại như /var/lib/dict/words, tôi cũng đã thấy các tệp tương tự như /usr/share/dict/britishv.v.

Đầu tiên, bạn nhớ tất cả các từ trong từ điển. Sau đó, bạn đọc từng dòng đầu vào và cố gắng thêm các ký tự vào một từ. Nếu có thể, bạn nhớ từ đó và cố gắng phân tích phần còn lại của dòng. Nếu bạn đến cuối dòng, bạn xuất ra dòng.

#!/usr/bin/perl
use warnings;
use strict;
use feature qw{ say };

my $words = '/var/lib/dict/words';
my %word;

sub analyze {
    my ($chars, $words, $pos) = @_;
    if ($pos == @$chars) {
        $_[3] = 1;  # Found.
        say "@$words";
        return
    }
    for my $to ($pos .. $#$chars) {
        my $try = join q(), @$chars[ $pos .. $to ];
        if (exists $word{$try}) {
            analyze($chars, [ @$words, $try ], $to + 1, $_[3]);
        }
    }
}


open my $WORDS, '<', $words or die $!;
undef @word{ map { chomp; lc $_ } <$WORDS> };

while (<>) {
    my @chars = map lc, /\S/g;
    analyze(\@chars, [], 0, my $found = 0);
    warn "Unknown: $_" unless $found;
}

Đối với đầu vào của bạn, nó tạo ra 4092 bài đọc có thể có trên hệ thống của tôi.

Lưu ý: câu trả lời này (giống như một vài câu hỏi khác ở đây) dựa trên phiên bản trước của câu hỏi mà các từ không được phân định. Phiên bản mới hơn có thể được trả lời một cách tầm thường .

Trên một đầu vào như:

T h e b o o k a l s o h a s a n a n a l y t i c a l p u r p o s e w h i c h i s m o r e i m p o r t a n t

Bạn có thể thử:

 $ tr -d ' ' < file | grep -oiFf /usr/share/dict/words | paste -sd ' '
 The book also has ana na l y tic al purpose which ism ore important

Nó xử lý từ trái sang phải và tìm một từ dài nhất sau từ tiếp theo.

Rõ ràng, ở đây, đây không phải là lựa chọn từ tốt nhất vì câu đó không có ý nghĩa gì, nhưng để đưa ra từ đúng, bạn cần các công cụ có thể hiểu ngữ pháp hoặc nghĩa của văn bản hoặc ít nhất là một số thống kê thông tin về những từ có khả năng được tìm thấy cùng nhau để đưa ra tập hợp các từ có thể xảy ra nhất. Có vẻ như giải pháp là một thư viện chuyên ngành được tìm thấy bởi Lynn

Tương tự như phiên bản của Dewi Morgan, nhưng với sed:

$ echo "f o o  t h e  b a r" | sed -r "s/[ ]{1}([^ ]{1})/\1/g"
foo the bar

Mặc dù nó có thể (và nên) được thực hiện với một lớp lót Perl, một trình phân tích cú pháp C nhỏ cũng sẽ rất nhanh, và cũng rất nhỏ (và hy vọng rất chính xác):

#include <stdio.h>
#include <stdlib.h>

int main()
{
  char c1 = '\0', c2 = '\0', tmp_c;

  c1 = fgetc(stdin);
  for (;;) {
    if (c1 == EOF) {
      break;
    }
    c2 = fgetc(stdin);
    if (c2 == EOF) {
      if (c1 != ' ') {
        fputc(c1, stdout);
      }
      break;
    }
    if (c1 == c2 && c1 == ' ') {
      tmp_c = fgetc(stdin);
      if (tmp_c != EOF) {
        if (tmp_c != '\n') {
          ungetc(tmp_c, stdin);
          fputc(' ', stdout);
        } else {
          ungetc(tmp_c, stdin);
        }
      } else {
        break;
      }
    } else if (c1 != ' ') {
      fputc(c1, stdout);
    }
    c1 = c2;
  }
  exit(EXIT_SUCCESS);
}

Tổng hợp với

gcc-4.9 -O3 -g3  -W -Wall -Wextra -std=c11 lilcparser.c -o lilcparser

(chương trình nhỏ hơn 9kb một chút)

Sử dụng trong một đường ống như vd:

echo "T h e  b o o k  a l s o  h a s  a n  a n a l y t i c a l  p u r p o s e  w h i c h  i s  m o r e  i m p o r t a n t  " | ./lilcparser

Tôi đã thử điều này và nó dường như hoạt động:

echo "<text here>" | sed -r 's/(\w)(\s)/\1/g'

Các sedlệnh bắt hai nhóm và trả về chỉ là người đầu tiên.

Trong c ++, tôi sẽ làm điều này:

#include <fstream>
using namespace std;

int main()
{   
    fstream is("test.txt", std::ios::in);

    char buff;
    vector<char>str;

    while (!is.eof()){is.get(buff);str.push_back(buff);} //read file to string

    for (int a=0;a<str.size();++a)if (str[a] == ' ' && str[a + 1] != ' ')str.erase(str.begin()+a);
    is.close();

    ofstream os("test.txt", std::ios::out | std::ios::trunc); //clear file for rewrite

    os.write(str.data(), str.size() * sizeof(char)); //write chars
    os.close();

    return 0;
    }

Sẽ thay đổi nội dung của tệp văn bản kiểm tra, thành cùng một chuỗi, nhưng có khoảng trắng giữa các chữ cái bị xóa. (Nó đòi hỏi một khoảng trống giữa mỗi chữ cái để chính xác).

$ echo 'F o u r  s c o r e  a n d' | \
txr -t '(mapcar* (opip (split-str @1 "  ")
                       (mapcar (op regsub #/ / ""))
                       (cat-str @1 " "))
                 (get-lines))'
Four score and


$ txr -e '(awk (:begin (set fs "  "))
               ((mf (regsub #/ / ""))))'  # mf: modify fields
F o u r  s c o r e  a n d
Four score and


$ awk -F'  ' '{for(i=1;i<=NF;i++)gsub(/ /,"",$i);print}'
F o u r  s c o r e  a n d
Four score and