Kết hợp regex không tham lam (miễn cưỡng) trong sed?

Tôi đang cố gắng sử dụng sed để dọn sạch các dòng URL để chỉ trích xuất tên miền.

Từ đó:

http://www.suepearson.co.uk/product/174/71/3816/

Tôi muốn:

http://www.suepearson.co.uk/

(có hoặc không có dấu gạch chéo, không thành vấn đề)

Tôi đã thử:

 sed 's|\(http:\/\/.*?\/\).*|\1|'

và (thoát khỏi bộ định lượng không tham lam)

sed 's|\(http:\/\/.*\?\/\).*|\1|'

nhưng dường như tôi không thể làm cho bộ định lượng không tham lam ( ?) hoạt động, vì vậy nó luôn kết thúc khớp với toàn bộ chuỗi.

Cả regex / GNU regex cơ bản cũng không mở rộng đều nhận ra bộ định lượng không tham lam; bạn cần một regex sau này. May mắn thay, Perl regex cho bối cảnh này khá dễ dàng để có được:

perl -pe 's|(http://.*?/).*|\1|'

Trong trường hợp cụ thể này, bạn có thể hoàn thành công việc mà không cần sử dụng regex không tham lam.

Hãy thử regex không tham lam này [^/]*thay vì .*?:

sed 's|\(http://[^/]*/\).*|\1|g'

Với sed, tôi thường thực hiện tìm kiếm không tham lam bằng cách tìm kiếm bất cứ thứ gì ngoại trừ dải phân cách cho đến khi dải phân cách:

echo "http://www.suon.co.uk/product/1/7/3/" | sed -n 's;\(http://[^/]*\)/.*;\1;p'

Đầu ra:

http://www.suon.co.uk

đây là:

• không đầu ra -n
• tìm kiếm, khớp mẫu, thay thế và in s/<pattern>/<replace>/p
• sử dụng ;dấu tách lệnh tìm kiếm thay vì /để dễ gõ hơns;<pattern>;<replace>;p
• nhớ khớp giữa các dấu ngoặc \(... \), sau này có thể truy cập bằng \1, \2...
• trận đấu http://
• theo sau bởi bất cứ điều gì trong ngoặc [], [ab/]có nghĩa là ahoặc bhoặc/
• đầu tiên ^trong []phương tiện not, vì vậy sau đó bất cứ điều gì nhưng điều trong[]
• vì thế [^/]có nghĩa là bất cứ điều gì ngoại trừ /nhân vật
• *là lặp lại nhóm trước đó [^/]*có nghĩa là các ký tự ngoại trừ /.
• cho đến nay sed -n 's;\(http://[^/]*\)có nghĩa là tìm kiếm và ghi nhớ http://theo sau bởi bất kỳ ký tự nào ngoại trừ /và nhớ những gì bạn đã tìm thấy
• chúng tôi muốn tìm kiếm cho đến khi kết thúc tên miền, vì vậy hãy dừng lại ở phần tiếp theo /để thêm phần khác /vào cuối: sed -n 's;\(http://[^/]*\)/'nhưng chúng tôi muốn khớp phần còn lại của dòng sau tên miền để thêm.*
• bây giờ, trận đấu được ghi nhớ trong nhóm 1 ( \1) là tên miền, vì vậy hãy thay thế dòng trùng khớp bằng nội dung được lưu trong nhóm \1và in:sed -n 's;\(http://[^/]*\)/.*;\1;p'

Nếu bạn cũng muốn bao gồm dấu gạch chéo ngược sau tên miền, thì hãy thêm một dấu gạch chéo ngược trong nhóm để ghi nhớ:

echo "http://www.suon.co.uk/product/1/7/3/" | sed -n 's;\(http://[^/]*/\).*;\1;p'

đầu ra:

http://www.suon.co.uk/

sed không hỗ trợ toán tử "không tham lam".

Bạn phải sử dụng toán tử "[]" để loại trừ "/" khỏi kết quả khớp.

sed 's,\(http://[^/]*\)/.*,\1,'

PS không cần phải gạch chéo "/".

Mô phỏng định lượng lười biếng (không tham lam) trong sed

Và tất cả các hương vị regex khác!

1. Tìm sự xuất hiện đầu tiên của một biểu thức:

   • POSIX ERE (sử dụng -rtùy chọn)

     Chế độ:

     (EXPRESSION).*|.

     Trầm tích

     sed -r ‍'s/(EXPRESSION).*|./\1/g' # Global `g` modifier should be on

     Ví dụ (tìm chuỗi chữ số đầu tiên) Bản demo trực tiếp :

     $ sed -r 's/([0-9]+).*|./\1/g' <<< 'foo 12 bar 34'

     12

     Nó hoạt động như thế nào?

     Regex này được hưởng lợi từ một sự thay thế |. Tại mỗi vị trí, động cơ cố gắng chọn trận đấu dài nhất (đây là tiêu chuẩn POSIX, theo sau là một vài động cơ khác) có nghĩa là nó đi cùng .cho đến khi tìm thấy kết quả khớp ([0-9]+).*. Nhưng trật tự cũng quan trọng.

     

     Vì cờ toàn cầu được đặt, công cụ sẽ cố gắng tiếp tục khớp ký tự theo ký tự cho đến hết chuỗi đầu vào hoặc mục tiêu của chúng tôi. Ngay khi nhóm bắt đầu đầu tiên và duy nhất của bên trái của sự thay thế được khớp, (EXPRESSION)phần còn lại của dòng cũng được tiêu thụ ngay lập tức .*. Bây giờ chúng tôi giữ giá trị của chúng tôi trong nhóm bắt giữ đầu tiên.

   • BREIX BRE

     Chế độ:

     \(\(\(EXPRESSION\).*\)*.\)*

     Trầm tích

     sed 's/\(\(\(EXPRESSION\).*\)*.\)*/\3/'

     Ví dụ (tìm dãy số đầu tiên):

     $ sed 's/\(\(\([0-9]\{1,\}\).*\)*.\)*/\3/' <<< 'foo 12 bar 34'

     12

     Phiên bản này giống như phiên bản ERE nhưng không có sự thay thế liên quan. Đó là tất cả. Tại mỗi vị trí động cơ duy nhất cố gắng khớp một chữ số.

     

     Nếu nó được tìm thấy, các chữ số sau đây được tiêu thụ và bắt giữ và phần còn lại của dòng được khớp ngay lập tức nếu không *có nghĩa là nhiều hơn hoặc bằng không, nó bỏ qua nhóm bắt thứ hai \(\([0-9]\{1,\}\).*\)*và đến một dấu chấm .để khớp với một ký tự và quá trình này tiếp tục.

2. Tìm sự xuất hiện đầu tiên của một biểu thức phân định :

   Cách tiếp cận này sẽ khớp với lần xuất hiện đầu tiên của một chuỗi được phân định. Chúng ta có thể gọi nó là một chuỗi chuỗi.

   sed 's/\(END-DELIMITER-EXPRESSION\).*/\1/; \
        s/\(\(START-DELIMITER-EXPRESSION.*\)*.\)*/\1/g'

   Chuỗi đầu vào:

   foobar start block #1 end barfoo start block #2 end

   -EDE: end

   -SDE: start

   $ sed 's/\(end\).*/\1/; s/\(\(start.*\)*.\)*/\1/g'

   Đầu ra:

   start block #1 end

   Regex đầu tiên \(end\).*khớp và bắt các dấu phân cách kết thúc đầu tiên endvà thay thế tất cả khớp với các ký tự được bắt gần đây là dấu phân cách kết thúc. Ở giai đoạn này, đầu ra của chúng tôi là : foobar start block #1 end.

   

   Sau đó, kết quả được chuyển đến regex thứ hai \(\(start.*\)*.\)*giống như phiên bản POSIX BRE ở trên. Nó khớp với một ký tự nếu dấu phân cách bắt đầu startkhông khớp với nếu không nó khớp và bắt dấu phân cách bắt đầu và khớp với các ký tự còn lại.

   

Trả lời trực tiếp câu hỏi của bạn

Sử dụng phương pháp số 2 (biểu thức được phân tách), bạn nên chọn hai biểu thức thích hợp:

• EDE: [^:/]\/

• SDE: http:

Sử dụng:

$ sed 's/\([^:/]\/\).*/\1/g; s/\(\(http:.*\)*.\)*/\1/' <<< 'http://www.suepearson.co.uk/product/174/71/3816/'

Đầu ra:

http://www.suepearson.co.uk/

Lưu ý: điều này sẽ không hoạt động với các dấu phân cách giống hệt nhau.

Giải pháp không tham lam cho nhiều hơn một nhân vật

Chủ đề này thực sự cũ nhưng tôi cho rằng mọi người vẫn cần nó. Hãy nói rằng bạn muốn giết tất cả mọi thứ cho đến khi xảy ra lần đầu tiên HELLO. Bạn không thể nói [^HELLO]...

Vì vậy, một giải pháp tốt đẹp bao gồm hai bước, giả sử rằng bạn có thể dành một từ duy nhất mà bạn không mong đợi trong đầu vào, nói top_sekrit.

Trong trường hợp này, chúng ta có thể:

s/HELLO/top_sekrit/     #will only replace the very first occurrence
s/.*top_sekrit//        #kill everything till end of the first HELLO

Tất nhiên, với một đầu vào đơn giản hơn, bạn có thể sử dụng một từ nhỏ hơn, hoặc thậm chí có thể là một ký tự.

HTH!

sed - kết hợp không tham lam của Christoph Sieghart

Mẹo để có được kết hợp không tham lam trong sed là khớp tất cả các ký tự loại trừ ký tự kết thúc trận đấu. Tôi biết, một người không có trí tuệ, nhưng tôi đã lãng phí những phút quý giá cho nó và các kịch bản shell nên, sau tất cả, nhanh chóng và dễ dàng. Vì vậy, trong trường hợp người khác có thể cần nó:

Phù hợp tham lam

% echo "<b>foo</b>bar" | sed 's/<.*>//g'
bar

Không tham lam phù hợp

% echo "<b>foo</b>bar" | sed 's/<[^>]*>//g'
foobar

Điều này có thể được thực hiện bằng cách sử dụng cắt:

echo "http://www.suepearson.co.uk/product/174/71/3816/" | cut -d'/' -f1-3

một cách khác, không sử dụng regex, là sử dụng phương thức trường / dấu phân cách, vd

string="http://www.suepearson.co.uk/product/174/71/3816/"
echo $string | awk -F"/" '{print $1,$2,$3}' OFS="/"

sed chắc chắn có vị trí của nó nhưng điều này không phải là một trong số họ!

Như Dee đã chỉ ra: Chỉ cần sử dụng cut. Nó là đơn giản hơn nhiều và an toàn hơn nhiều trong trường hợp này. Dưới đây là một ví dụ nơi chúng tôi trích xuất các thành phần khác nhau từ URL bằng cú pháp Bash:

url="http://www.suepearson.co.uk/product/174/71/3816/"

protocol=$(echo "$url" | cut -d':' -f1)
host=$(echo "$url" | cut -d'/' -f3)
urlhost=$(echo "$url" | cut -d'/' -f1-3)
urlpath=$(echo "$url" | cut -d'/' -f4-)

mang đến cho bạn:

protocol = "http"
host = "www.suepearson.co.uk"
urlhost = "http://www.suepearson.co.uk"
urlpath = "product/174/71/3816/"

Như bạn có thể thấy đây là một cách tiếp cận linh hoạt hơn rất nhiều.

(tất cả tín dụng cho Dee)

sed 's|(http:\/\/[^\/]+\/).*|\1|'

sed -E diễn giải các biểu thức chính quy như các biểu thức chính quy mở rộng (hiện đại)

Cập nhật: -E trên MacOS X, -r trong GNU sed.

Vẫn còn hy vọng để giải quyết vấn đề này bằng cách sử dụng sed (GNU) thuần túy. Mặc dù đây không phải là một giải pháp chung trong một số trường hợp, bạn có thể sử dụng "vòng lặp" để loại bỏ tất cả các phần không cần thiết của chuỗi như thế này:

sed -r -e ":loop" -e 's|(http://.+)/.*|\1|' -e "t loop"

• -r: Sử dụng regex mở rộng (cho dấu ngoặc đơn + và không thoát)
• ": loop": Xác định nhãn mới có tên "loop"
• -e: thêm lệnh vào sed
• "T loop": Quay trở lại nhãn "loop" nếu có sự thay thế thành công

Vấn đề duy nhất ở đây là nó cũng sẽ cắt ký tự phân tách cuối cùng ('/'), nhưng nếu bạn thực sự cần nó, bạn vẫn có thể đơn giản đặt lại sau khi "vòng lặp" kết thúc, chỉ cần nối thêm lệnh này vào cuối phần trước dòng lệnh:

-e "s,$,/,"

Bởi vì bạn đặc biệt tuyên bố bạn đang cố gắng sử dụng sed (thay vì perl, cut, v.v.), hãy thử nhóm. Điều này phá vỡ định danh không tham lam có khả năng không được công nhận. Nhóm đầu tiên là giao thức (tức là 'http: //', 'https: //', 'tcp: //', v.v.). Nhóm thứ hai là miền:

tiếng vang "http://www.suon.co.uk/product/1/7/3/" | sed "s | ^ \ (. * // \) \ ([^ /] * \). * $ | \ 1 \ 2 |"

Nếu bạn không quen với việc nhóm, hãy bắt đầu ở đây .

Tôi nhận ra đây là một mục cũ, nhưng ai đó có thể thấy nó hữu ích. Vì tên miền đầy đủ không được vượt quá tổng chiều dài thay thế là 255 ký tự. * Bằng. \ {1, 255 \}

Đây là cách mạnh mẽ thực hiện kết hợp không tham lam của các chuỗi nhiều ký tự bằng cách sử dụng sed. Cho phép nói rằng bạn muốn thay đổi tất cả foo...barđể <foo...bar>ví dụ như vậy đầu vào này:

$ cat file
ABC foo DEF bar GHI foo KLM bar NOP foo QRS bar TUV

nên trở thành đầu ra này:

ABC <foo DEF bar> GHI <foo KLM bar> NOP <foo QRS bar> TUV

Để làm điều đó, bạn chuyển đổi foo và bar thành các ký tự riêng lẻ và sau đó sử dụng phủ định các ký tự đó giữa chúng:

$ sed 's/@/@A/g; s/{/@B/g; s/}/@C/g; s/foo/{/g; s/bar/}/g; s/{[^{}]*}/<&>/g; s/}/bar/g; s/{/foo/g; s/@C/}/g; s/@B/{/g; s/@A/@/g' file
ABC <foo DEF bar> GHI <foo KLM bar> NOP <foo QRS bar> TUV

Ở trên:

1. s/@/@A/g; s/{/@B/g; s/}/@C/gđang chuyển đổi {và }thành chuỗi giữ chỗ không thể tồn tại trong đầu vào để những ký tự đó có sẵn để chuyển đổi foovà barsang.
2. s/foo/{/g; s/bar/}/gđược chuyển đổi foovà barđến {và }lần lượt
3. s/{[^{}]*}/<&>/gđang thực hiện op mà chúng ta muốn - chuyển đổi foo...barthành<foo...bar>
4. s/}/bar/g; s/{/foo/gđang chuyển đổi {và }trở lại foovà bar.
5. s/@C/}/g; s/@B/{/g; s/@A/@/g đang chuyển đổi các chuỗi giữ chỗ trở lại các ký tự gốc của chúng.

Lưu ý rằng ở trên không phụ thuộc vào bất kỳ chuỗi cụ thể nào không có trong đầu vào vì nó tạo ra các chuỗi đó trong bước đầu tiên, cũng không quan tâm đến sự xuất hiện của bất kỳ biểu thức chính quy nào bạn muốn khớp vì bạn có thể sử dụng {[^{}]*}nhiều lần nếu cần trong biểu thức để cô lập kết quả khớp thực tế mà bạn muốn và / hoặc với toán tử khớp số seds, ví dụ: chỉ thay thế lần xuất hiện thứ 2:

$ sed 's/@/@A/g; s/{/@B/g; s/}/@C/g; s/foo/{/g; s/bar/}/g; s/{[^{}]*}/<&>/2; s/}/bar/g; s/{/foo/g; s/@C/}/g; s/@B/{/g; s/@A/@/g' file
ABC foo DEF bar GHI <foo KLM bar> NOP foo QRS bar TUV

Chưa thấy câu trả lời này, vì vậy đây là cách bạn có thể làm điều này với vihoặc vim:

vi -c '%s/\(http:\/\/.\{-}\/\).*/\1/ge | wq' file &>/dev/null

Điều này chạy vi :%sthay thế trên toàn cầu (theo dõi g), kiềm chế không phát sinh lỗi nếu không tìm thấy mẫu ( e), sau đó lưu các thay đổi kết quả vào đĩa và thoát. Các&>/dev/null ngăn chặn GUI nhấp nháy nhanh trên màn hình, điều này có thể gây khó chịu.

viĐôi khi tôi thích sử dụng cho các regex siêu phức tạp, bởi vì (1) perl đã chết dần chết mòn, (2) vim có một công cụ regex rất tiên tiến và (3) Tôi đã quen thuộc với các regex vitrong chỉnh sửa sử dụng hàng ngày của tôi các tài liệu.

echo "/home/one/two/three/myfile.txt" | sed 's|\(.*\)/.*|\1|'

đừng làm phiền, tôi đã nhận nó trên một diễn đàn khác :)

sed 's|\(http:\/\/www\.[a-z.0-9]*\/\).*|\1| làm việc quá

Đây là điều bạn có thể làm với cách tiếp cận hai bước và awk:

A=http://www.suepearson.co.uk/product/174/71/3816/  
echo $A|awk '  
{  
  var=gensub(///,"||",3,$0) ;  
  sub(/\|\|.*/,"",var);  
  print var  
}'  

Đầu ra: http://www.suepearson.co.uk

Mong rằng sẽ giúp!

Một phiên bản sed khác:

sed 's|/[:alnum:].*||' file.txt

Nó phù hợp /theo sau bởi một ký tự chữ và số (vì vậy không phải là một dấu gạch chéo về phía trước) cũng như các ký tự còn lại cho đến cuối dòng. Sau đó, nó thay thế nó bằng không có gì (ví dụ: xóa nó.)