Trích xuất văn bản từ tệp PDF bằng PDFMiner trong python?

Tôi đang tìm tài liệu hoặc ví dụ về cách trích xuất văn bản từ tệp PDF bằng PDFMiner với Python.

Có vẻ như PDFMiner đã cập nhật API của họ và tất cả các ví dụ liên quan mà tôi tìm thấy đều chứa mã lỗi thời (các lớp và phương thức đã thay đổi). Các thư viện tôi đã tìm thấy rằng làm cho tác vụ trích xuất văn bản từ tệp PDF dễ dàng hơn đang sử dụng cú pháp PDFMiner cũ, vì vậy tôi không chắc chắn về cách thực hiện việc này.

Hiện tại, tôi chỉ đang xem mã nguồn để xem liệu tôi có thể tìm ra nó hay không.

Đây là một ví dụ hoạt động của việc trích xuất văn bản từ tệp PDF bằng phiên bản PDFMiner hiện tại (tháng 9 năm 2016)

from pdfminer.pdfinterp import PDFResourceManager, PDFPageInterpreter
from pdfminer.converter import TextConverter
from pdfminer.layout import LAParams
from pdfminer.pdfpage import PDFPage
from io import StringIO

def convert_pdf_to_txt(path):
    rsrcmgr = PDFResourceManager()
    retstr = StringIO()
    codec = 'utf-8'
    laparams = LAParams()
    device = TextConverter(rsrcmgr, retstr, codec=codec, laparams=laparams)
    fp = open(path, 'rb')
    interpreter = PDFPageInterpreter(rsrcmgr, device)
    password = ""
    maxpages = 0
    caching = True
    pagenos=set()

    for page in PDFPage.get_pages(fp, pagenos, maxpages=maxpages, password=password,caching=caching, check_extractable=True):
        interpreter.process_page(page)

    text = retstr.getvalue()

    fp.close()
    device.close()
    retstr.close()
    return text

Cấu trúc của PDFMiner đã thay đổi gần đây, vì vậy cấu trúc này sẽ hoạt động để trích xuất văn bản từ các tệp PDF.

Chỉnh sửa : Vẫn hoạt động kể từ ngày 7 tháng 6 năm 2018. Đã xác minh trong phiên bản Python 3.x

Chỉnh sửa: Giải pháp hoạt động với Python 3.7 vào ngày 3 tháng 10 năm 2019. Tôi đã sử dụng thư viện Python pdfminer.six, được phát hành vào tháng 11 năm 2018.

câu trả lời tuyệt vời từ DuckPuncher, cho Python3, hãy đảm bảo rằng bạn cài đặt pdfminer2 và thực hiện:

import io

from pdfminer.pdfinterp import PDFResourceManager, PDFPageInterpreter
from pdfminer.converter import TextConverter
from pdfminer.layout import LAParams
from pdfminer.pdfpage import PDFPage


def convert_pdf_to_txt(path):
    rsrcmgr = PDFResourceManager()
    retstr = io.StringIO()
    codec = 'utf-8'
    laparams = LAParams()
    device = TextConverter(rsrcmgr, retstr, codec=codec, laparams=laparams)
    fp = open(path, 'rb')
    interpreter = PDFPageInterpreter(rsrcmgr, device)
    password = ""
    maxpages = 0
    caching = True
    pagenos = set()

    for page in PDFPage.get_pages(fp, pagenos, maxpages=maxpages,
                                  password=password,
                                  caching=caching,
                                  check_extractable=True):
        interpreter.process_page(page)



    fp.close()
    device.close()
    text = retstr.getvalue()
    retstr.close()
    return text

Tính năng này hoạt động vào tháng 5 năm 2020 bằng cách sử dụng PDFminer sáu trong Python3.

Cài đặt gói

$ pip install pdfminer.six

Nhập gói hàng

from pdfminer.high_level import extract_text

Sử dụng tệp PDF được lưu trên đĩa

text = extract_text('report.pdf')

Hay cách khác:

with open('report.pdf','rb') as f:
    text = extract_text(open('report.pdf','rb'))

Sử dụng PDF đã có trong bộ nhớ

Nếu tệp PDF đã có trong bộ nhớ, chẳng hạn như nếu được truy xuất từ ​​web với thư viện yêu cầu, nó có thể được chuyển đổi thành một luồng bằng iothư viện:

import io

response = requests.get(url)
text = extract_text(io.BytesIO(response.content))

Hiệu suất và độ tin cậy so với PyPDF2

PDFminer.six hoạt động đáng tin cậy hơn PyPDF2 (không thành công với một số loại PDF nhất định), cụ thể là phiên bản PDF 1.7

Tuy nhiên, trích xuất văn bản bằng PDFminer.six chậm hơn đáng kể so với PyPDF2 theo hệ số 6.

Tôi đã hẹn giờ trích xuất văn bản timeittrên MBP 15 "(2018), chỉ định thời gian cho chức năng trích xuất (không mở tệp, v.v.) với PDF 10 trang và nhận được kết quả sau:

PDFminer.six: 2.88 sec
PyPDF2:       0.45 sec

pdfminer.six cũng có một dấu ấn lớn, yêu cầu pycryptodome cần GCC và những thứ khác được cài đặt đẩy một hình ảnh docker cài đặt tối thiểu trên Alpine Linux từ 80 MB đến 350 MB. PyPDF2 không có tác động lưu trữ đáng chú ý.

Tiết lộ đầy đủ, tôi là một trong những người duy trì pdfminer.six.

Ngày nay, có nhiều api để trích xuất văn bản từ PDF, tùy thuộc vào nhu cầu của bạn. Đằng sau hậu trường, tất cả các api này sử dụng cùng một logic để phân tích cú pháp và phân tích bố cục.

Dòng lệnh

Nếu bạn muốn trích xuất văn bản chỉ một lần, bạn có thể sử dụng công cụ dòng lệnh pdf2txt.py:

$ pdf2txt.py example.pdf

Api cấp cao

Nếu bạn muốn trích xuất văn bản bằng Python, bạn có thể sử dụng api cấp cao. Cách tiếp cận này là giải pháp tối ưu nếu bạn muốn trích xuất văn bản theo chương trình từ nhiều tệp PDF.

from pdfminer.high_level import extract_text

text = extract_text('samples/simple1.pdf')

Api dùng một lần

Ngoài ra còn có một api có thể kết hợp mang lại sự linh hoạt trong việc xử lý các đối tượng kết quả. Ví dụ: bạn có thể triển khai thuật toán bố cục của riêng mình bằng cách sử dụng điều đó. Phương pháp này được đề xuất trong các câu trả lời khác, nhưng tôi chỉ đề xuất phương pháp này khi bạn cần tùy chỉnh cách pdfminer.six hoạt động.

from io import StringIO

from pdfminer.converter import TextConverter
from pdfminer.layout import LAParams
from pdfminer.pdfdocument import PDFDocument
from pdfminer.pdfinterp import PDFResourceManager, PDFPageInterpreter
from pdfminer.pdfpage import PDFPage
from pdfminer.pdfparser import PDFParser

output_string = StringIO()
with open('samples/simple1.pdf', 'rb') as in_file:
    parser = PDFParser(in_file)
    doc = PDFDocument(parser)
    rsrcmgr = PDFResourceManager()
    device = TextConverter(rsrcmgr, output_string, laparams=LAParams())
    interpreter = PDFPageInterpreter(rsrcmgr, device)
    for page in PDFPage.create_pages(doc):
        interpreter.process_page(page)

print(output_string.getvalue())

mã này được thử nghiệm với pdfminer cho python 3 (pdfminer-20191125)

from pdfminer.layout import LAParams
from pdfminer.converter import PDFPageAggregator
from pdfminer.pdfinterp import PDFResourceManager
from pdfminer.pdfinterp import PDFPageInterpreter
from pdfminer.pdfpage import PDFPage
from pdfminer.layout import LTTextBoxHorizontal

def parsedocument(document):
    # convert all horizontal text into a lines list (one entry per line)
    # document is a file stream
    lines = []
    rsrcmgr = PDFResourceManager()
    laparams = LAParams()
    device = PDFPageAggregator(rsrcmgr, laparams=laparams)
    interpreter = PDFPageInterpreter(rsrcmgr, device)
    for page in PDFPage.get_pages(document):
            interpreter.process_page(page)
            layout = device.get_result()
            for element in layout:
                if isinstance(element, LTTextBoxHorizontal):
                    lines.extend(element.get_text().splitlines())
    return lines