Phát hiện trên sông

Trong phần trao đổi TeX, chúng tôi đã thảo luận về cách phát hiện "các dòng sông" trong các đoạn trong câu hỏi này .

Trong bối cảnh này, các dòng sông là các dải không gian màu trắng xuất phát từ sự liên kết ngẫu nhiên của các không gian từ trong văn bản. Vì điều này có thể gây mất tập trung cho người đọc, những dòng sông xấu được coi là một triệu chứng của kiểu chữ kém. Một ví dụ về văn bản với các con sông là cái này, nơi có hai con sông chảy theo đường chéo.

Có mối quan tâm trong việc phát hiện các con sông này một cách tự động, để chúng có thể tránh được (có thể bằng cách chỉnh sửa thủ công văn bản). Raphink đang đạt được một số tiến bộ ở cấp độ TeX (chỉ biết về vị trí glyph và hộp giới hạn), nhưng tôi cảm thấy tự tin rằng cách tốt nhất để phát hiện các dòng sông là xử lý hình ảnh (vì hình dạng glyph rất quan trọng và không có sẵn cho TeX) . Tôi đã thử nhiều cách khác nhau để trích xuất các dòng sông từ hình ảnh trên, nhưng ý tưởng đơn giản của tôi về việc áp dụng một lượng nhỏ làm mờ hình elip dường như không đủ tốt. Tôi cũng đã thử một số RadonLọc dựa trên biến đổi Hough, nhưng tôi cũng không nhận được bất cứ nơi nào với những cái đó. Các con sông rất dễ thấy các mạch phát hiện tính năng của mắt / võng mạc / não người và bằng cách nào đó tôi nghĩ rằng nó có thể được dịch sang một loại hoạt động lọc nào đó, nhưng tôi không thể làm cho nó hoạt động. Có ý kiến ​​gì không?

Cụ thể, tôi đang tìm kiếm một số hoạt động sẽ phát hiện 2 con sông trong hình trên, nhưng không có quá nhiều phát hiện dương tính giả khác.

EDIT: endolith đã hỏi tại sao tôi theo đuổi cách tiếp cận dựa trên xử lý hình ảnh cho rằng trong TeX chúng tôi có quyền truy cập vào các vị trí glyph, khoảng cách, v.v. và có thể sử dụng thuật toán kiểm tra văn bản thực tế nhanh hơn và đáng tin cậy hơn nhiều. Lý do của tôi để làm mọi thứ theo cách khác là hình dạngcủa glyphs có thể ảnh hưởng đến mức độ đáng chú ý của một dòng sông, và ở cấp độ văn bản, rất khó để xem xét hình dạng này (điều này phụ thuộc vào phông chữ, vào ligaturing, v.v.). Để biết ví dụ về cách hình dạng của glyphs có thể quan trọng, hãy xem xét hai ví dụ sau, trong đó điểm khác biệt giữa chúng là tôi đã thay thế một vài glyphs bằng các glyphs khác có cùng chiều rộng, để phân tích dựa trên văn bản sẽ xem xét họ tốt / xấu như nhau. Tuy nhiên, lưu ý rằng các con sông trong ví dụ đầu tiên tồi tệ hơn nhiều so với trong lần thứ hai.

Tôi đã nghĩ về điều này nhiều hơn nữa, và nghĩ rằng những điều sau đây nên khá ổn định. Lưu ý rằng tôi đã giới hạn bản thân mình cho các hoạt động hình thái, bởi vì chúng nên có sẵn trong bất kỳ thư viện xử lý hình ảnh tiêu chuẩn nào.

(1) Mở hình ảnh với mặt nạ nPix-by-1, trong đó nPix là khoảng cách dọc giữa các chữ cái

#% read image
img = rgb2gray('http://i.stack.imgur.com/4ShOW.png');

%# threshold and open with a rectangle
%# that is roughly letter sized
bwImg = img > 200; %# threshold of 200 is better than 128

opImg = imopen(bwImg,ones(13,1));

(2) Mở hình ảnh với mặt nạ 1-mPix để loại bỏ bất cứ thứ gì quá hẹp để trở thành một dòng sông.

opImg = imopen(opImg,ones(1,5));

(3) Loại bỏ "sông hồ" nằm ngang do không gian giữa các đoạn hoặc thụt lề. Đối với điều này, chúng tôi xóa tất cả các hàng hoàn toàn đúng và mở bằng mặt nạ nPix-by-1 mà chúng tôi biết sẽ không ảnh hưởng đến các dòng sông mà chúng tôi đã tìm thấy trước đây.

Để loại bỏ các hồ, chúng ta có thể sử dụng mặt nạ mở lớn hơn một chút so với nPix-by-nPix.

Ở bước này, chúng ta cũng có thể loại bỏ mọi thứ quá nhỏ để trở thành một dòng sông thực sự, tức là mọi thứ có diện tích nhỏ hơn (nPix + 2) * (mPix + 2) * 4 (sẽ cho chúng ta ~ 3 dòng). +2 ở đó bởi vì chúng ta biết rằng tất cả các đối tượng đều có chiều cao ít nhất là nPix và chiều rộng mPix và chúng ta muốn vượt lên trên một chút.

%# horizontal river: just look for rows that are all true
opImg(all(opImg,2),:) = false;
%# open with line spacing (nPix)
opImg = imopen(opImg,ones(13,1));

%# remove lakes with nPix+2
opImg = opImg & ~imopen(opImg,ones(15,15)); 

%# remove small fry
opImg = bwareaopen(opImg,7*15*4);

(4) Nếu chúng ta quan tâm không chỉ chiều dài, mà cả chiều rộng của dòng sông, chúng ta có thể kết hợp biến đổi khoảng cách với bộ xương.

   dt = bwdist(~opImg);
   sk = bwmorph(opImg,'skel',inf);
   %# prune the skeleton a bit to remove branches
   sk = bwmorph(sk,'spur',7);

   riversWithWidth = dt.*sk;

(màu sắc tương ứng với chiều rộng của dòng sông (mặc dù thanh màu bị tắt theo hệ số 2)

Bây giờ bạn có thể lấy chiều dài gần đúng của các con sông bằng cách đếm số pixel trong mỗi thành phần được kết nối và chiều rộng trung bình bằng cách lấy trung bình các giá trị pixel của chúng.

Đây là phân tích chính xác được áp dụng cho hình ảnh "không có sông" thứ hai:

Trong Mathicala, sử dụng biến đổi xói mòn và biến đổi Hough:

(*Get Your Images*)
i = Import /@ {"http://i.stack.imgur.com/4ShOW.png", 
               "http://i.stack.imgur.com/5UQwb.png"};

(*Erode and binarize*)
i1 = Binarize /@ (Erosion[#, 2] & /@ i);

(*Hough transform*)
lines = ImageLines[#, .5, "Segmented" -> True] & /@ i1;

(*Ready, show them*)
Show[#[[1]],Graphics[{Thick,Orange, Line /@ #[[2]]}]] & /@ Transpose[{i, lines}]

Chỉnh sửa Trả lời bình luận của ông Wizard

Nếu bạn muốn thoát khỏi các đường ngang, chỉ cần làm một cái gì đó như thế này (có lẽ ai đó có thể làm cho nó đơn giản hơn):

Show[#[[1]], Graphics[{Thick, Orange, Line /@ #[[2]]}]] & /@ 
 Transpose[{i, Select[Flatten[#, 1], Chop@Last@(Subtract @@ #) != 0 &] & /@ lines}]

Hmmm ... tôi đoán biến đổi Radon không dễ dàng trích xuất từ ​​đó. (Biến đổi radon về cơ bản làm xoay hình ảnh trong khi "nhìn xuyên qua nó". Đó là nguyên tắc đằng sau quét CAT.) Biến đổi hình ảnh của bạn tạo ra hình sin này, với các "dòng sông" tạo thành các đỉnh sáng, được khoanh tròn:

Một góc quay 70 độ có thể được nhìn thấy khá rõ là đỉnh bên trái của ô này của một lát cắt dọc theo trục ngang:

Đặc biệt nếu văn bản bị Gaussian làm mờ trước:

Nhưng tôi không chắc làm thế nào để trích xuất các đỉnh này một cách đáng tin cậy từ phần còn lại của tiếng ồn. Phần trên cùng và dưới cùng của hình sin đại diện cho "dòng sông" giữa các dòng văn bản nằm ngang mà bạn rõ ràng không quan tâm. Có lẽ một hàm trọng số so với góc làm nổi bật các đường thẳng đứng hơn và giảm thiểu các đường ngang?

Một chức năng cân cosine đơn giản hoạt động tốt trên hình ảnh này:

tìm dòng sông thẳng đứng ở góc 90 độ, đó là cực đại toàn cầu trong hình sin:

và trên hình ảnh này, việc tìm kiếm một góc ở 104 độ, mặc dù việc làm mờ trước làm cho nó chính xác hơn:

( radon()Chức năng của SciPy là một sự ngớ ngẩn , hoặc tôi sẽ ánh xạ đỉnh này trở lại hình ảnh ban đầu khi một dòng đi qua giữa dòng sông.)

Nhưng nó không tìm thấy một trong hai đỉnh chính trong hình sin cho hình ảnh của bạn, sau khi làm mờ và cân:

Họ ở đó, nhưng họ bị choáng ngợp bởi những thứ gần đỉnh cao nhất của hàm trọng số. Với trọng số phù hợp và điều chỉnh phương pháp này có thể có thể hoạt động, nhưng tôi không chắc những điều chỉnh đúng là gì. Nó có thể phụ thuộc vào các thuộc tính của quét của trang, quá. Có lẽ trọng số cần phải được lấy từ năng lượng tổng thể trong lát cắt hoặc một cái gì đó, giống như một chuẩn hóa.

from pylab import *
from scipy.misc import radon
import Image

filename = 'rivers.png'
I = asarray(Image.open(filename).convert('L').rotate(90))

# Do the radon transform and display the result
a = radon(I, theta = mgrid[0:180])

# Remove offset
a = a - min(a.flat)

# Weight it to emphasize vertical lines
b = arange(shape(a)[1]) #
d = (0.5-0.5*cos(b*pi/90))*a

figure()
imshow(d.T)
gray()
show()

# Find the global maximum, plot it, print it
peak_x, peak_y = unravel_index(argmax(d),shape(d))
plot(peak_x, peak_y,'ro')
print len(d)- peak_x, 'pixels', peak_y, 'degrees'

Tôi đã đào tạo một trình phân loại phân biệt đối xử trên các pixel bằng cách sử dụng các tính năng phái sinh (lên đến bậc 2) trên các thang đo khác nhau.

Nhãn của tôi:

Dự đoán về hình ảnh đào tạo:

Dự đoán về hai hình ảnh khác:

Tôi đoán điều này có vẻ đầy hứa hẹn và có thể mang lại kết quả có thể sử dụng được với nhiều dữ liệu đào tạo hơn và có thể các tính năng thông minh hơn. Mặt khác, tôi chỉ mất vài phút để có được những kết quả này. Bạn có thể tự tái tạo kết quả bằng cách sử dụng phần mềm nguồn mở ilastik . [Tuyên bố miễn trừ trách nhiệm: Tôi là một trong những nhà phát triển chính.]

(Xin lỗi, bài đăng này không đi kèm với các cuộc biểu tình tuyệt vời.)

Nếu bạn muốn làm việc với thông tin TeX đã có (chữ cái và vị trí), bạn có thể phân loại thủ công các chữ cái và cặp chữ cái là "dốc" theo hướng này hay hướng khác. Ví dụ: "w" có độ dốc góc SW và SE, tổ hợp "al" có độ dốc góc NW, "k" có độ dốc góc NE. (Đừng quên dấu câu - một trích dẫn theo sau là một chữ cái lấp đầy nửa dưới của hộp glyph tạo ra độ dốc đẹp; trích dẫn theo sau là q đặc biệt mạnh.)

Sau đó, tìm kiếm sự xuất hiện của các sườn tương ứng ở các phía đối diện của một không gian - "w al" cho một dòng sông SW-to-NE hoặc "k T" cho một dòng sông từ NA đến SE. Khi bạn tìm thấy một dòng trên một dòng, hãy xem nếu một cái tương tự xảy ra, dịch chuyển sang trái hoặc phải một cách thích hợp, trên các dòng trên / dưới; Khi bạn tìm thấy một loạt những thứ này, có lẽ có một dòng sông.

Ngoài ra, rõ ràng, chỉ cần tìm các không gian xếp chồng lên nhau gần như theo chiều dọc, cho các dòng sông thẳng đứng.

Bạn có thể tinh vi hơn một chút bằng cách đo "cường độ" của độ dốc: bao nhiêu hộp trước là "trống" do độ dốc và do đó đóng góp vào chiều rộng của dòng sông. "W" khá nhỏ, vì nó chỉ có một góc nhỏ trong hộp trước để đóng góp cho dòng sông, nhưng "V" rất mạnh. "b" mạnh hơn một chút so với "k"; đường cong nhẹ nhàng hơn cho cạnh sông liên tục hơn, làm cho nó mạnh hơn và rộng hơn.