Python nối các tệp văn bản

Tôi có một danh sách 20 tên tập tin, như ['file1.txt', 'file2.txt', ...]. Tôi muốn viết một tập lệnh Python để ghép các tệp này thành một tệp mới. Tôi có thể mở từng tệp bằng cách f = open(...)đọc từng dòng bằng cách gọi f.readline()và viết từng dòng vào tệp mới đó. Nó không có vẻ rất "thanh lịch" đối với tôi, đặc biệt là phần tôi phải đọc // viết từng dòng một.

Có cách nào "thanh lịch" hơn để làm điều này trong Python không?

Điều này nên làm điều đó

Đối với các tệp lớn:

filenames = ['file1.txt', 'file2.txt', ...]
with open('path/to/output/file', 'w') as outfile:
    for fname in filenames:
        with open(fname) as infile:
            for line in infile:
                outfile.write(line)

Đối với các tệp nhỏ:

filenames = ['file1.txt', 'file2.txt', ...]
with open('path/to/output/file', 'w') as outfile:
    for fname in filenames:
        with open(fname) as infile:
            outfile.write(infile.read())

Càng và một điều thú vị khác mà tôi nghĩ đến :

filenames = ['file1.txt', 'file2.txt', ...]
with open('path/to/output/file', 'w') as outfile:
    for line in itertools.chain.from_iterable(itertools.imap(open, filnames)):
        outfile.write(line)

Đáng buồn thay, phương pháp cuối cùng này để lại một vài mô tả tập tin mở, mà GC nên chăm sóc bằng mọi cách. Tôi chỉ nghĩ rằng nó là thú vị

Sử dụng shutil.copyfileobj.

Nó tự động đọc các tệp đầu vào từng đoạn cho bạn, sẽ hiệu quả hơn và đọc các tệp đầu vào và sẽ hoạt động ngay cả khi một số tệp đầu vào quá lớn để vừa với bộ nhớ:

import shutil

with open('output_file.txt','wb') as wfd:
    for f in ['seg1.txt','seg2.txt','seg3.txt']:
        with open(f,'rb') as fd:
            shutil.copyfileobj(fd, wfd)

Đó chính xác là những gì fileinput dành cho:

import fileinput
with open(outfilename, 'w') as fout, fileinput.input(filenames) as fin:
    for line in fin:
        fout.write(line)

Đối với trường hợp sử dụng này, nó thực sự không đơn giản hơn nhiều so với việc lặp lại các tệp theo cách thủ công, nhưng trong các trường hợp khác, có một trình vòng lặp duy nhất lặp lại trên tất cả các tệp như thể chúng là một tệp duy nhất rất tiện dụng. (Ngoài ra, việc fileinputđóng từng tệp ngay khi hoàn thành nghĩa là không cần withhoặc mỗi tệp close, nhưng đó chỉ là một khoản tiết kiệm một dòng, không phải là vấn đề lớn.)

Có một số tính năng tiện lợi khác fileinput, như khả năng thực hiện sửa đổi tại chỗ các tệp chỉ bằng cách lọc từng dòng.

Như đã lưu ý trong các bình luận và được thảo luận trong một bài đăng khác , fileinputcho Python 2.7 sẽ không hoạt động như được chỉ ra. Ở đây sửa đổi một chút để làm cho mã Python 2.7 tuân thủ

with open('outfilename', 'w') as fout:
    fin = fileinput.input(filenames)
    for line in fin:
        fout.write(line)
    fin.close()

Tôi không biết về sự thanh lịch, nhưng điều này hoạt động:

    import glob
    import os
    for f in glob.glob("file*.txt"):
         os.system("cat "+f+" >> OutFile.txt")

Có gì sai với các lệnh UNIX? (cho rằng bạn không làm việc trên Windows):

ls | xargs cat | tee output.txt thực hiện công việc (bạn có thể gọi nó từ python với quy trình con nếu bạn muốn)

outfile.write(infile.read()) # time: 2.1085190773010254s
shutil.copyfileobj(fd, wfd, 1024*1024*10) # time: 0.60599684715271s

Một điểm chuẩn đơn giản cho thấy rằng tắt máy hoạt động tốt hơn.

Một thay thế cho câu trả lời @ InspectorG4dget (câu trả lời tốt nhất cho đến ngày 29-03-2016). Tôi đã thử nghiệm với 3 tệp 436MB.

@ InspectorG4dget giải pháp: 162 giây

Giải pháp sau: 125 giây

from subprocess import Popen
filenames = ['file1.txt', 'file2.txt', 'file3.txt']
fbatch = open('batch.bat','w')
str ="type "
for f in filenames:
    str+= f + " "
fbatch.write(str + " > file4results.txt")
fbatch.close()
p = Popen("batch.bat", cwd=r"Drive:\Path\to\folder")
stdout, stderr = p.communicate()

Ý tưởng là tạo một tệp bó và thực thi nó, tận dụng "công nghệ tốt cũ". Nó bán trăn nhưng hoạt động nhanh hơn. Hoạt động cho các cửa sổ.

Nếu bạn có nhiều tệp trong thư mục thì glob2có thể là một lựa chọn tốt hơn để tạo danh sách tên tệp thay vì viết chúng bằng tay.

import glob2

filenames = glob2.glob('*.txt')  # list of all .txt files in the directory

with open('outfile.txt', 'w') as f:
    for file in filenames:
        with open(file) as infile:
            f.write(infile.read()+'\n')

Kiểm tra phương thức .read () của đối tượng Tệp:

http://docs.python.org/2/tutorial/inputoutput.html#methods-of-file-objects

Bạn có thể làm một cái gì đó như:

concat = ""
for file in files:
    concat += open(file).read()

hoặc một con trăn 'thanh lịch' hơn:

concat = ''.join([open(f).read() for f in files])

trong đó, theo bài viết này: http://www.skymind.com/~ocrow/python_opes/ cũng sẽ là nhanh nhất.

Nếu các tệp không phải là khổng lồ:

with open('newfile.txt','wb') as newf:
    for filename in list_of_files:
        with open(filename,'rb') as hf:
            newf.write(hf.read())
            # newf.write('\n\n\n')   if you want to introduce
            # some blank lines between the contents of the copied files

Nếu các tệp quá lớn để có thể đọc và giữ hoàn toàn trong RAM, thuật toán phải khác một chút để đọc từng tệp được sao chép trong một vòng lặp bởi các đoạn có độ dài cố định, read(10000)ví dụ sử dụng .

def concatFiles():
    path = 'input/'
    files = os.listdir(path)
    for idx, infile in enumerate(files):
        print ("File #" + str(idx) + "  " + infile)
    concat = ''.join([open(path + f).read() for f in files])
    with open("output_concatFile.txt", "w") as fo:
        fo.write(path + concat)

if __name__ == "__main__":
    concatFiles()

  import os
  files=os.listdir()
  print(files)
  print('#',tuple(files))
  name=input('Enter the inclusive file name: ')
  exten=input('Enter the type(extension): ')
  filename=name+'.'+exten
  output_file=open(filename,'w+')
  for i in files:
    print(i)
    j=files.index(i)
    f_j=open(i,'r')
    print(f_j.read())
    for x in f_j:
      outfile.write(x)