Python Å‚Ä…czy pliki tekstowe

Użyj shutil.copyfileobj. Powinno być bardziej wydajne.

with open('output_file.txt','wb') as wfd:
    for f in ['seg1.txt','seg2.txt','seg3.txt']:
        with open(f,'rb') as fd:
            shutil.copyfileobj(fd, wfd, 1024*1024*10)
            #10MB per writing chunk to avoid reading big file into memory.

Właśnie do tego służy fileinput:

import fileinput
with open(outfilename, 'w') as fout, fileinput.input(filenames) as fin:
    for line in fin:
        fout.write(line)

W tym przypadku nie jest to dużo prostsze niż tylko iterowanie plików rÄ™cznie, ale w innych przypadkach posiadanie pojedynczego iteratora, który iterauje wszystkie pliki tak, jakby byÅ‚y pojedynczym plikiem, jest bardzo przydatne. (Również fakt, że fileinput zamyka każdy plik tak szybko, jak to jest zrobione, oznacza, że nie ma potrzeby with lub close każdego z nich, ale to tylko oszczÄ™dnoÅ›ci w jednej linii, nic wielkiego.)

SÄ… pewne inne sprytne funkcje w fileinput, takie jak możliwość wprowadzania zmian w plikach poprzez filtrowanie każdej linii.

Jak zaznaczono w komentarzach i omówiono w innym poÅ›cie, fileinput dla Pythona 2.7 nie bÄ™dzie dziaÅ‚ać zgodnie ze wskazaniami. Tutaj niewielka modyfikacja, aby kod Python 2.7 zgodny

with open('outfilename', 'w') as fout:
    fin = fileinput.input(filenames)
    for line in fin:
        fout.write(line)
    fin.close()

Nie znam się na elegancji, ale to działa:

    import glob
    import os
    for f in glob.glob("file*.txt"):
         os.system("cat "+f+" >> OutFile.txt")

Co jest nie tak z poleceniami Uniksa ? (biorąc pod uwagę, że nie działa na Windows):

ls | xargs cat | tee output.txt wykonuje zadanie (możesz wywoÅ‚ać je z Pythona z podprocesem, jeÅ›li chcesz)

Jeśli pliki nie są gigantyczne:

with open('newfile.txt','wb') as newf:
    for filename in list_of_files:
        with open(filename,'rb') as hf:
            newf.write(hf.read())
            # newf.write('\n\n\n')   if you want to introduce
            # some blank lines between the contents of the copied files

JeÅ›li pliki sÄ… zbyt duże, aby mogÅ‚y być caÅ‚kowicie odczytane i przechowywane w pamiÄ™ci RAM, algorytm musi być nieco inny, aby odczytać każdy plik do skopiowania w pÄ™tli przez kawaÅ‚ki o staÅ‚ej dÅ‚ugoÅ›ci, na przykÅ‚ad za pomocÄ… read(10000).

JeÅ›li masz wiele plików w katalogu, to glob2 może być lepszÄ… opcjÄ… do generowania listy nazw plików, zamiast pisania ich rÄ™cznie.

import glob2

filenames = glob2.glob('*.txt')  # list of all .txt files in the directory

with open('outfile.txt', 'w') as f:
    for file in filenames:
        with open(file) as infile:
            f.write(infile.read()+'\n')

outfile.write(infile.read()) 2.1085190773010254s
shutil.copyfileobj(fd, wfd, 1024*1024*10) 0.60599684715271s

Prosty benchmark pokazuje, że szutil działa lepiej.

Zobacz teżmetoda read () obiektu File:

Http://docs.python.org/2/tutorial/inputoutput.html#methods-of-file-objects

Możesz zrobić coś takiego:

concat = ""
for file in files:
    concat += open(file).read()

Lub bardziej "elegancki" sposób python:

concat = ''.join([open(f).read() for f in files])

Które zgodnie z tym artykułem: http://www.skymind.com / ~ ocrow / python_string / również byłby najszybszy.

def concatFiles():
    path = 'input/'
    files = os.listdir(path)
    for idx, infile in enumerate(files):
        print ("File #" + str(idx) + "  " + infile)
    concat = ''.join([open(path + f).read() for f in files])
    with open("output_concatFile.txt", "w") as fo:
        fo.write(path + concat)

if __name__ == "__main__":
    concatFiles()

Alternatywa dla odpowiedzi @ inspectorG4dget (najlepsza odpowiedź na dzień 29-03-2016). Testowałem z 3 plikami po 436MB.

@inspectorG4dget rozwiÄ…zanie: 162 sekund

Następujące rozwiązanie: 125 sekund

from subprocess import Popen
filenames = ['file1.txt', 'file2.txt', 'file3.txt']
fbatch = open('batch.bat','w')
str ="type "
for f in filenames:
    str+= f + " "
fbatch.write(str + " > file4results.txt")
fbatch.close()
p = Popen("batch.bat", cwd=r"Drive:\Path\to\folder")
stdout, stderr = p.communicate()

Chodzi o to, aby utworzyć plik wsadowy i wykonać go, wykorzystując "starą dobrą technologię". Jego pół-python, ale działa szybciej. Działa na windows.